问题标签 [logstash]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
293 浏览

linux - 是否可以从日志中删除一些键值对?

我有一个 nginx 日志文件,看起来类似于这个:

我想知道是否可以使用logstash过滤器发送类似于以下内容的日志:

所以我只对整个日志中的几个领域感兴趣。

换句话说,我想从日志中提取必要的数据,然后将其发送到任何输出

0 投票
1 回答
2131 浏览

logstash - 如何让指标插件在logstash中工作

我不明白如何打印指标。

使用以下logstash配置

我只看到

而不是实际价值。

当我在 stdout 中启用调试时,我看到 @fileds 具有指标支持打印的数据。

如何访问@fields.events.count?logstash 版本 = 1.1.13

0 投票
1 回答
3586 浏览

logstash - Logstash - 可以根据过滤器设置警报吗

随着 logstash 发布版本 1.2.1,现在有一个电子邮件输出。

在它的规范中,它声明它会在收到任何事件时发送一封电子邮件doc 是否可以使用 grok 声明如果消息包含“一些不良事件”,它将发送一封电子邮件以及发送到弹性搜索?

0 投票
0 回答
647 浏览

cifs - Logstash 最初读取但随后停止从 CIFS 网络共享读取日志文件

我已经在 CentOS 服务器上设置了一个 logstash,以通过 CIFS 挂载从我们的生产 Web 服务器 IIS 日志中读取。

但是,在最初阅读了最初的大量日志之后,它就死了。

时间序列消亡 (之后提升的数据来自不同的数据源)

我从这个线程中尝试了来自 Jordan 的 hack ,但它似乎不起作用

由于安全问题,我们故意避免在我们的前端 Web 服务器上安装 Java/Logstash。那么,你能想出一种方法来完成这项工作吗?

0 投票
2 回答
5541 浏览

logstash - 如何为 logstash 配置实现单元或集成测试?

使用 logstash 1.2.1,现在可以有条件地做各种事情。如果要管理许多日志文件并实施指标提取,即使是早期版本的 conf 文件也会变得复杂。

看完这个综合示例后,我真的很想知道自己,如何才能检测到此配置中的任何破损?

有任何想法吗。

0 投票
2 回答
1202 浏览

redis - 多个 Logstash 实例导致行重复

我们正在使用具有以下配置的 Logstash 接收日志:

然后,我们使用"host"以下设置在机器上提取日志:

从这里开始,我们正在解析这些行并将它们放入 Redis 数据库。然而,我们发现了一个有趣的问题。

Logstash 将日志消息“包装”在 JSON 样式包中,即:

然后,我们在收到它并在下一台机器上传递它时,将其作为消息并将其放入另一个包装器中!我们只对实际的日志消息感兴趣,对其他内容(源路径、源、标签、字段、时间戳等)不感兴趣

有没有办法我们可以使用过滤器或其他东西来做到这一点?我们查看了文档,但找不到任何方法在 Logstash 实例之间传递原始日志行。

谢谢,

马特

0 投票
3 回答
5568 浏览

xml - 使用 grok 进行 Logstash 过滤

我正在尝试使用 grok 过滤器在结构上过滤我的日志logstash

这是一个示例日志:

这是我的过滤器 grok 匹配模式:

我收到的结构是:

除了数据字段之外,这是正确的结构,在这里我希望看到整个 SOAP XML(如您所见,它在中间被剪掉了)

有什么建议么?

0 投票
2 回答
1939 浏览

regex - logstash 解析日志字段

我正在尝试@message从 Postfix 日志中解析该字段并将其提取到多个字段中。

信息:

LogStash 输出:

我尝试使用 grok 解析器,但数据仍保留在该@message字段中。我想将 syslog 解析器与正则表达式一起使用。

我应该遵循哪些步骤来解析该@message字段?

0 投票
1 回答
6646 浏览

elasticsearch - 在一台机器上运行 Kibana3、LogStash 和 ElasticSearch

通过在 Kibana3 的 config.js 中设置,当 ElasticSearch 在不同的机器上时,Kibana3 可以成功elasticsearch: "http://different_machine_ip:9200"运行。

现在,我想在我的本地机器上运行所有三个以进行测试。我正在使用Windows7并使用Chrome浏览器。我在 Tomcat7上安装了Kibana 3。我从LogStash jar 文件启动了嵌入式 ElasticSearch。我将 ElasticSearch 位置设置为or或。当我在浏览器上检查 Kibana3 时,通过间谍活动显示的 ElasticSearch 查询没有 logstash 索引。"localhost:9200""127.0.0.1:9200""computer_name:9200"

如您所见,索引部分为空,//仅显示。预期的查询应如下所示。

浏览器能够成功调用 ElasticSearch API。例如,http://localhost:9200/logstash-2013.08.13/_mapping?pretty=true在地址栏输入返回logstash索引的映射。这证明连接ElasticSearch没有问题。

这里的问题是 Kibana 查询中的索引为空。为什么索引是空的?

0 投票
0 回答
317 浏览

nosql - Elasticsearch 的意外结果

我有一些文档存储在 ES 中(通过 logstash)。结果,在查询 ES 时,看起来不正确:

第一个查询(请参阅下面的查询和结果)应该(意味着)返回不包含region字段的文档。

更进一步,根据第一个查询的结果,显然有一个包含 field 的文档region,但是,第二个查询的结果应该(至少)返回一个带有 的文档region=IN,不包含任何文档。

  • 我的查询有问题吗?
  • 我该如何调查问题出在哪里?(ES 日志没有与这些查询相关的任何内容)

这是查询:

结果:

此外,以下查询的结果:

是:

使用以下映射:

映射(ES 返回的 - curl -XGET 'http://localhost:9200/logstash-2013.09.28/_mapping):