问题标签 [logstash]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
linux - 是否可以从日志中删除一些键值对?
我有一个 nginx 日志文件,看起来类似于这个:
我想知道是否可以使用logstash
过滤器发送类似于以下内容的日志:
所以我只对整个日志中的几个领域感兴趣。
换句话说,我想从日志中提取必要的数据,然后将其发送到任何输出
logstash - 如何让指标插件在logstash中工作
我不明白如何打印指标。
使用以下logstash配置
我只看到
而不是实际价值。
当我在 stdout 中启用调试时,我看到 @fileds 具有指标支持打印的数据。
如何访问@fields.events.count?logstash 版本 = 1.1.13
logstash - Logstash - 可以根据过滤器设置警报吗
随着 logstash 发布版本 1.2.1,现在有一个电子邮件输出。
在它的规范中,它声明它会在收到任何事件时发送一封电子邮件doc 是否可以使用 grok 声明如果消息包含“一些不良事件”,它将发送一封电子邮件以及发送到弹性搜索?
cifs - Logstash 最初读取但随后停止从 CIFS 网络共享读取日志文件
我已经在 CentOS 服务器上设置了一个 logstash,以通过 CIFS 挂载从我们的生产 Web 服务器 IIS 日志中读取。
但是,在最初阅读了最初的大量日志之后,它就死了。
(之后提升的数据来自不同的数据源)
我从这个线程中尝试了来自 Jordan 的 hack ,但它似乎不起作用
由于安全问题,我们故意避免在我们的前端 Web 服务器上安装 Java/Logstash。那么,你能想出一种方法来完成这项工作吗?
logstash - 如何为 logstash 配置实现单元或集成测试?
使用 logstash 1.2.1,现在可以有条件地做各种事情。如果要管理许多日志文件并实施指标提取,即使是早期版本的 conf 文件也会变得复杂。
看完这个综合示例后,我真的很想知道自己,如何才能检测到此配置中的任何破损?
有任何想法吗。
redis - 多个 Logstash 实例导致行重复
我们正在使用具有以下配置的 Logstash 接收日志:
然后,我们使用"host"
以下设置在机器上提取日志:
从这里开始,我们正在解析这些行并将它们放入 Redis 数据库。然而,我们发现了一个有趣的问题。
Logstash 将日志消息“包装”在 JSON 样式包中,即:
然后,我们在收到它并在下一台机器上传递它时,将其作为消息并将其放入另一个包装器中!我们只对实际的日志消息感兴趣,对其他内容(源路径、源、标签、字段、时间戳等)不感兴趣
有没有办法我们可以使用过滤器或其他东西来做到这一点?我们查看了文档,但找不到任何方法在 Logstash 实例之间传递原始日志行。
谢谢,
马特
xml - 使用 grok 进行 Logstash 过滤
我正在尝试使用 grok 过滤器在结构上过滤我的日志logstash
。
这是一个示例日志:
这是我的过滤器 grok 匹配模式:
我收到的结构是:
除了数据字段之外,这是正确的结构,在这里我希望看到整个 SOAP XML(如您所见,它在中间被剪掉了)
有什么建议么?
regex - logstash 解析日志字段
我正在尝试@message
从 Postfix 日志中解析该字段并将其提取到多个字段中。
信息:
LogStash 输出:
我尝试使用 grok 解析器,但数据仍保留在该@message
字段中。我想将 syslog 解析器与正则表达式一起使用。
我应该遵循哪些步骤来解析该@message
字段?
elasticsearch - 在一台机器上运行 Kibana3、LogStash 和 ElasticSearch
通过在 Kibana3 的 config.js 中设置,当 ElasticSearch 在不同的机器上时,Kibana3 可以成功elasticsearch: "http://different_machine_ip:9200"
运行。
现在,我想在我的本地机器上运行所有三个以进行测试。我正在使用Windows7并使用Chrome浏览器。我在 Tomcat7上安装了Kibana 3。我从LogStash jar 文件启动了嵌入式 ElasticSearch。我将 ElasticSearch 位置设置为or或。当我在浏览器上检查 Kibana3 时,通过间谍活动显示的 ElasticSearch 查询没有 logstash 索引。"localhost:9200"
"127.0.0.1:9200"
"computer_name:9200"
如您所见,索引部分为空,//
仅显示。预期的查询应如下所示。
浏览器能够成功调用 ElasticSearch API。例如,http://localhost:9200/logstash-2013.08.13/_mapping?pretty=true
在地址栏输入返回logstash索引的映射。这证明连接ElasticSearch没有问题。
这里的问题是 Kibana 查询中的索引为空。为什么索引是空的?
nosql - Elasticsearch 的意外结果
我有一些文档存储在 ES 中(通过 logstash)。结果,在查询 ES 时,看起来不正确:
第一个查询(请参阅下面的查询和结果)应该(意味着)只返回不包含region
字段的文档。
更进一步,根据第一个查询的结果,显然有一个包含 field 的文档region
,但是,第二个查询的结果应该(至少)返回一个带有 的文档region=IN
,不包含任何文档。
- 我的查询有问题吗?
- 我该如何调查问题出在哪里?(ES 日志没有与这些查询相关的任何内容)
这是查询:
结果:
此外,以下查询的结果:
是:
使用以下映射:
映射(ES 返回的 - curl -XGET 'http://localhost:9200/logstash-2013.09.28/_mapping
):