问题标签 [logz.io]

我们logz.io/#/dashboard/kibana用来监控我们的日志。我的过滤器导致 8304 次命中。我想将它们导出为 CSV 以供进一步分析。当我单击export（在新建、保存、打开、共享和自动刷新旁边）时，我只能获得前 500 次点击。

我正在尝试设置并运行我的 logz.io，在此过程中，我注意到我的入口控制器 pod 吐出了很多日志。我不知道它是否正常，但我在日志中看到大量看起来像这样的条目

这是正常的吗？我的入口配置错误吗？我不想在我的 logz.io 实例中看到数千个这样的条目。

要将项目设置为在多个环境中运行并使用 logz.io，我需要根据构建定义设置不同的 token 和 listenerUrl 值。项目设置了 log4net.config 文件，想法是使用 log4net globalcontext 属性来传递值，就像我为布局模式标记所做的那样。不幸的是，log4net 保留了这些属性名称（占位符），并没有用 globalcontext 中的值替换它们。

我的问题是如何动态设置这些标签？

我试过的东西是：

1. 配置中的属性。
   
2. 以编程方式获取根附加程序和设置值： var rootAppender = LogManager.GetRepository(Assembly.GetEntryAssembly()).GetAppenders().OfType<LogzioAppender>();
   
3. 创建新的 Appender 对象并将其添加到hierarchy.Root.AddAppender(logzioAppender);

配置看起来非常像来自 logz.io 文档的默认配置。

今天我们的应用程序在键值对中记录数据，我们需要通过将这些键值对处理到字段来将这些日志行推送到 logz.io。今天我们使用filebeat将日志从应用程序VM推送到logstash服务器，在logstash服务器中我们使用KV处理器处理消息并推送到logz.io。

目前Filebeat不支持KV处理器，有谁知道这是否可以通过替代方式实现，从而避免通过logstash服务器？

这是我要过滤的日志的示例行：

我期待的结果如下：

我尝试使用以下 grok 表达式，但请求作为 2 个单独的值返回。

我对弹性堆栈完全陌生。

所以我的问题空间是我有在客户端机器上运行的实用程序。我们在这些机器上生成的日志很少（数千个），所以我们有三个数据源 - csv 文件、日志文件（由我的应用程序生成）和 windows事件簿 。我想将这三个结合起来并从中生成一些有用的信息。还想生成一个带有一些图表的仪表板，这些图表将由经理使用。

我已经对 elk stack 进行了归零，想法是我在客户端机器上安装 beats 并将数据推送到弹性，然后使用 Kibana 进行一些可视化。由于我可能有数千个客户端将数据推送到弹性服务器，因此将这些数据永远保存在服务器中可能是不可行的。但我需要更新的可视化，始终可用。所以我计划对弹性索引数据运行定期查询，生成的结果（这是我需要的真实信息）将保存在弹性索引中的单独索引中，并且 Kibana 中的可视化设置基于这个索引。现在可以清除所有原始数据。这样我提取真实信息并保留它并删除不必要的信息。

我对专家的问题是

1. 鉴于问题陈述，我的想法或设计是否正确（对麋鹿堆栈而言）
2. 在麋鹿堆栈中是否可行，是否有任何示例或实用程序可以实现这一目标。

谢谢高拉夫

我有以下日志文​​件作为示例，并希望在logz.io中的一行中查看 JSON 。我使用了几种配置。最后，我在 Filebeat 中使用了以下配置。但是，我仍然单独看到文本文件中的每一行。如果你能指导我，我会很高兴。

文件节拍配置

日志文件

来自 logz.io 的日志

有没有一种方法可以在将消息发送到 logz 之前清除 logstash 中消息中的 x-forwarded-for 字段。

字段：日期时间 s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes 耗时 X-Forwarded-For

对 logz.io 运行 metricbeat 时，metricbeat 会抛出以下错误：

设置如下：

• 企业防火墙后的 CentOs 8
• SELinux 已启用
• Metricbeat 根据Elastic Docs和logz.io Docs下的描述安装
• 配置（为便于阅读而缩短，但其余未注释）：

到目前为止我尝试了什么/我检查了什么：

• 我们有一台可以运行的服务器（我不知道那里为什么或有什么不同，配置和防火墙设置是相同的）
• Netcat 告诉来自 logz.io 的监听器是可达的（listener-eu.logz.io:5015）
• logz.io 的度量标记是正确的
• 该证书COMODORSADomainValidationSecureServerCA.crt是来自https://github.com/logzio/public-certificates的证书，位于/etc/pki/tls/certs
• 证书文件夹和文件夹/文件没有特殊的文件夹访问权限/etc/metricbeat/metricbeat.yml（工作参考服务器也chmod 700只设置了两者）
• 我试图ssl.enabled: true在配置部分中设置output.logstash:，但这并没有改变任何东西
• metricbeat 服务本身运行正常并记录到系统日志（嗯，它记录错误消息），所以我会声称安装没问题并且符合标准

我注意到的一些奇怪的事情是，有时不是 X509 错误发生，而是超时错误（一旦我在日志中再次得到它，我会在这里发布）。

是否有任何明显的配置遗漏或我可以在服务器上检查的更多内容？

I have a deployment of Airflow using the Kubernetes Executor storing logs onto a persistent volume, the logs are readable from the UI.

The issue is that with this configuration I can't see the logs in the pod using

Is there a way to have the logs in both places?

My end goal is to have them in the Airflow UI and in my observability platform (logz.io)