问题标签 [logstash-file]

我有这个配置文件

不明白为什么我在弹性搜索中只看到 7 月 1 日和 8 月 1 日文件的通知。没有任何意义:(问题在于文件类型“旧”，其他文件解析效果很好

我正在尝试按照官方文档配置 logstash HTTP 输入插件。我在10-syslog.conf中保存了以下配置

使用以下命令时，Logstash 确实启动成功：

我已经使用

/opt/logstash/bin/logstash -configtest -f 10-syslog.conf

配置检查返回以下错误：

错误：在第 2 行第 9 列（字节 18）输入 { 后应为 #、{ 之一

查看logstash日志我可以看到它可能是由权限引起的：

{:timestamp=>"2016-10-16T20:41:30.900000+0000", :message=>"报告的错误是：\n Permission denied - /etc/logstash/conf.d/10-syslog.conf"}

我非常不确定如何在这里进行，任何帮助和/或指导将不胜感激。

有没有办法让logstash读取文件的文件名作为输出到ElasticSearch的索引名？

我正在为logstash使用以下配置。

我希望能够放置一个文件e.g. log-from-20.10.2016.log并将其编入索引log-from-20.10.2016中。logstash 输入插件“文件”是否产生任何用于过滤器或输出的变量？

我需要有关如何在过滤器下通过 ruby​​ 添加新字段的帮助，最后将其输出到文件中。谁能给我建议？谢谢你。

的输入dns.log将如下所示：

我想通过logstash的日期过滤插件过滤twitter的推文，"@timestamps": "2016-08-10T06:46:26.031Z"如果有人帮助我，这是我现在想根据现在的日期和时间过滤的每条推文的字段？

她是我的logstash配置

但这不起作用，因为它索引了大多数推文

我正在使用 Logstash 将数据库的日志文件存储到 elasticsearch。

当我尝试存储日志文件时，logstash 会读取文件以处理这些行。在读取时，logstash 会锁定文件，并且不允许其他人对内容进行任何更改。

即使在读取了所有日志行并且没有更多行要读取之后，该文件仍然为 logstash 锁定，我无法对内容进行任何更改或添加更多行。

当我强制停止logstash的服务时，我只能进行更改。谁能给我这个问题的解决方案？

谢谢，维杰

这是我从这里开始的 grok 模式https://regex101.com/r/yMq9J1/1

现在我想在过滤器的logstash配置中使用它，但出现错误

给定的配置无效。原因：过滤器 { grok { match => { "message" => "^(?:%{LOGLEVEL:level}):\s*% {DATA:message}\s*(?:%{JAVACLASS:caller_class})\s+[%{WORD:loglevel}]\s+([\s*\S+\s+%{BASE10NUM:tstamp}. ?]\s+ )+([\s \S+\s+%{BASE10NUM:memory}\S*\s+\S+\s+%{BASE10NUM:total}.*?])" } } 输出 { elasticsearch

你们能帮我了解这里的情况吗？

错误：

c:\Program Files\Logstash\bin>logstash.bat -e 'input {stdin {}} output {stdout {}}' 出现意外错误！:Error => bad URI (is not URI?): File: //c:/Program Files/Logstash/config/log4j2.properties,:backtrace => ["C:/Program Files/Logstash/vendor/jruby/ lib/ruby/1.9/uri/common.rb:176:in split'","C:/Program Files/Logstash/vendor/jruby/lib/ruby/1.9/uri/common.rb:210: in parse '","C:/Program Files/Logstash/vendor/jruby/lib/ruby/1.9/uri/common.rb:747:in parse'","C:/Program Files/Logstash/vendor/ jruby/lib/ruby/1.9/uri/common.rb:994:inURI'","c:/Program Files/Logstash/log stash-core/lib/logstash/logging/logger.rb:76:

我的日志以此开头：

[2017-01-12 01:02:28.975] [some other stuff] more logs. this is multiline

我想匹配这个日志和它下面的所有行——当我看到一个像上面这样的新时间戳时结束日志条目。

我的输入看起来像：

这似乎不匹配。我知道我的日期格式为{yyyy-MM-dd HH:mm:ss.SSS}. 我只是不明白如何把它变成一个logstash模式。

谢谢

我是 ELK 堆栈和 grok 过滤器的新手。

需要有关在 kibana 中显示数据的 logstash conf 文件的帮助（饼图）

我的日志文件位于 C:\ELK\Test\reviewoutput.log 位置

这是我的conf文件

上面的代码没有将解析的日志回显到控制台。如果我将输入类型更改为“stdin”并在控制台中传递值，它会将日志回显到 stdout/console。不知道我在这里缺少什么。

我只是想过滤上述日志数据以查找关键字 PASS 或 FAILED 并将过滤后的数据泵入 elasticsearch。稍后在 kibana 仪表板中，我想在饼图中显示工作流的成功和失败次数（PASS/FAILED）。

我在 Windows 机器上运行 ELK 堆栈。

您的帮助/建议会有很大帮助。