问题标签 [grafana-loki]

希望你们在这次疫情期间一切都好。

我有一个 Kubernetes 集群正在运行。Pod 之间的通信是通过 kafka 完成的。它当前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕。

我想设置一个 grafana 实例，让我在那里集中所有日志。存储将是 Loki + S3

为了做到这一点，我发现很多人使用 Fluentd、FluentBit 和 Promtail 之类的工具，这些工具可以集中日志并将它们发送给 Loki。但是，我已经运行了 Kafka。如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用像 fluentd 这样的工具。

我的问题是：如何将日志主题内的所有消息发送给 Loki？Fluentd 无法从 kafka 获取输入。

我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？

我正在尝试将日志从 SaaS 平台流式传输到 loki。我收到以下错误 loghttp.PushRequest.Streams: []*loghttp.Stream: loghttp.Stream.Labels: ReadString: expects " or n, but found {, error found in #10 byte of ...|","log": {"id":[469|..., bigger context ...|":[{ "stream": {"env": "XXXXX_logs","log": {"id":[4692850486,1470085],"flow_id":1470085,"pare|..

curl -v -i -u USER -H "X-Scope-OrgID: test-loki" -H "Content-Type: application/json" -XPOST -s "http://localhost:8088/loki/api/v1/push" --data-raw '{"streams":[{ "stream": {"env": "dev_logs","log": <ANOTHER HUGE JSON OBJECT HERE>}, "values": [ [ "1617704515000000000", "fizzbuzz"] ]}}]}'

我的问题是：loki 是否支持像这样在流中嵌套 Json？知道为什么会发生此错误吗？

谢谢

我是 Loki 的新手，但我想做的就是尽可能简单地与 helm 一起使用它。

我想在 kubernetes 中获取我的应用程序女巫的日志，但似乎没有关于如何执行此操作的说明。我发现的只是如何安装 Loki 并将其作为数据源添加到 Grafana，但我认为这不是 Loki 的用途。

我只是想在 kubernetes 中跟踪我的应用程序的日志，所以我使用 Loki helm 图表，我能找到的关于自定义配置的所有信息都是这一行：

我想使用 promtail 管道阶段处理传入的 Windows 事件，以将 json 消息中的密钥从更改{"levelText":"Error"}为{"level":"Error"}：

我可以在 Loki 中看到事件，但管道阶段内的处理不适用。

我的配置是否有问题，或者 Windows 事件和管道阶段的组合通常是不可能的？

我对 grafana-loki 中的保留机制有疑问，我需要存储一年的日志并能够查询它们 Setup is in k8s with the official Loki chart

下面是我的配置

现在保留配置为一年，但是当保留期限退出时，dynamodb 中的新表将被创建，旧表将立即删除？

在这种情况下，我会丢失上一年的所有日志并从头开始？

另一个方面是如何处理s3中chunk的保留？

请指教 ...

是否可以隐藏 docker 日志记录驱动程序选项或至少从文件中加载它们？

我想提交docker-compose.ymlVCS，但要LOKI_USER_ID在LOKI_API_KEY运行时挂载。

码头工人-compose.yml：

我试过像这样拆分它们：

日志记录.yml：

码头工人-compose.yml：

然后运行

但它无法解析*logging别名：

这是非常值得期待的。

实现此目的的另一种方法是使用envsubst和处理docker-compose.yml文件：

loki.env.sh：

码头工人-compose.yml：

并使用以下命令启动它：

我是 Loki 的新手，并在 Loki 中发出了警报，但我在 Alertmanager 中没有看到任何通知。Loki 工作正常（收集日志），Alertmanager 也工作（从其他来源获取警报），但来自 loki 的日志不会被推送到 alertmanager。

洛基配置：

Docker-compose Loki：

洛基规则：

有人知道有什么问题吗？

我正在使用loki/loki-stack版本“0.38.2”的 Promtail，有时会丢失短期 k8s pod 的日志消息或正在终止的 pod 的最终日志消息。

当我使用默认值时会发生这种情况

当我设置为sync_period时0.1s，不会丢失任何消息。

因此，我有以下问题：

1. 是否有关于 Promtail 的配置参数的任何文档config -> target_config -> sync_period（除了上面的评论）？
2. 当我设置sync_period为时，我会得到什么负面影响0.1s？我是否仍然可能丢失日志消息，只是不太可能？
3. 我在网上找到了很多例子，都设置sync_period为10s. 为什么他们没有像我一样丢失日志消息？我可能在我的 k8s 集群中错误配置了什么？我如何保证在我的最后一条日志消息之后仍然会发生刮擦？

我是 Loki 的新手，我正在尝试编写简单的查询。其中之一是：

但我收到一个错误：

谁能告诉我这里有什么问题？

有没有办法直接将日志发送到 Loki 而无需使用其中一个代理？

例如，如果我有一个 API，是否可以从 API 直接向 Loki 发送请求/响应日志，而不受 Promtail 等的干扰？

提前致谢！