问题标签 [logstash-file]

我的日志文件内容如下

我的conf文件是这样的

当我执行以下命令时，它通过跳过最后一行 55.3.244.5 GET /index.html 17689 0.059 来显示日志数据。

在少数论坛中，他们建议在最后一个日志条目之后输入一个新行。我也试过了。使用该选项，它正在读取最后一行并跳过前四个条目！！！！无论如何我不想改变我的输入源文件。

如何克服这个问题？

谢谢

我配置如下

但似乎输出文件不是 csv 格式（用 "," 分隔列，而不是通过指定列写入数据）并且文件不能用 linux 中的 "wc -l" 计数（显示 0 行，但是当以文本打开时编辑器。它可以分隔行并可以打开它）

我的配置有什么问题？或 logstash 5 更改 csv 输出插件？因为，使用相同的配置文件。它适用于logstash 2.3.4

先感谢您。对不起我的英语不好。:)

LOGSTASH 可以从某个位置读取 PDF 文件并提取其中的内容，然后将此内容发送到目的地（KAFKA）吗？

据我所知，LOGSTASH 可以读取 .TXT 或 .LOG 或 .CSV 文件，但我不确定它是否能够读取 PDF 中的内容。

这条线上的任何建议都会有所帮助。

如果没有，kafka 有这个能力吗？是否可以从 APACHE KAFKA 读取 PDF 内容？

我无法用我的 postgresql-9.5.4-1-windows-x64 配置我的 logstash-2.3.2。这是我的 log-config.conf 文件

我收到 错误

我正在使用 logstash 解析 csv 文件中的数据并将其推送到 elasticsearch。我有一个包含 600k 行的字典，它使用其中一个字段作为键将其映射到一串值。我目前正在使用这样的翻译插件来实现我所需要的

我在我的destinationField中得到一个逗号分隔的字符串，我使用

添加这 2 个块的结果使我的处理时间增加了 3 倍。如果过去需要 1 分钟来处理和推送我的所有数据，现在需要 3 分钟才能完成任务。

这是预期的行为（这是一本大字典）吗？或者有什么办法可以进一步优化这段代码？

I need to write the value of a UNIX timestamp field to @timestamp so that I can correctly index data flowing through logstash, I have this part working. However I also have the requirement that @timestamp's value should be the insertion time. To this end I have made a temporary field that holds @timestamps original value.

Here is what I am working with:

The Problem is here:

@timestamp is not being set back to its original value. When I check the data it has the same value as the timestamp field.

有人可以告诉我我做错了什么，或者为什么 Logstash 不想解析 ISO8601 时间戳？

我得到的错误信息是

操作失败...“error”=>{“type”=>“mapper_parsing_exception”，“reason”=>“无法解析 [timestamp]”，“caused_by”=>{“type”=>“illegal_argument_exception”，“ reason"=>"Invalid format: \"2017-03-24 12:14:50\" 格式错误在 \"17-03-24 12:14:50\""}}

示例日志文件行（IP 地址中的最后一个字节故意替换为 000）

GROK 模式（使用http://grokconstructor.appspot.com/do/match进行验证）

Logstash 配置（输入端）：

这是输入文件：

基本上，这样的日志是我的 NodeJs 应用程序通过 Winstom 模块的结果。我的疑问集中在如何调整 logstash 过滤器以获得在 ElasticSearch 中创建的 4 个字段。

我的意图是查看“列”（我猜在 ElasticSearch 上下文中，属性或文件可能是更好的词）：级别（例如错误）、消息源（例如 clientErrorHandler）、消息内容（例如 Erro não ...serviços）和错误时间没有纳秒（例如 2017-04-06T19:40:17）。

我被困在这一点上：

1 - 我使用了这个 logstash.conf

2 - 通过 Kibana DevTools 搜索 ElasticSearch

我看到了：

我想我应该使用一些 RegularExpresss 或 Grok 来分成四个和平：

1 - 级别 2 - “：”之前的消息 3 - “：”之后的消息 4 - 时间戳

并且，如果可能，提供更好的列（字段/属性）标签，例如：

1 - 级别 2 - message_source 3 - message_content 4 - error_time

最后删除时间戳纳秒

PS。以防万一将来的读者对我如何登录 NodeJs 感兴趣，您可以在这里：

...

PS2：在发送到 ElasticSearch 之前，我仔细阅读了诸如 Filter specific Message with logstash 之类的问题，但我真的被卡住了

我正在尝试配置应该读取位于特定目录中的所有 json 文件的 Logstash。JSON文件每次都由python脚本更新，我每次都需要从头开始读取所有文件（不仅仅是检查最后几行）。

我已经测试了两种配置变体：

1个配置：

2 配置：

两种情况的结果：

1. 当python更新文件时，Logstash无法检测到更改（文件时间戳每次都在更改）

2. 即使我更改了文件内部的某些内容，logstash 也只是第一次检测到它并打印完整文件，但之后它就无法再检测到更改了。

最终结果： 最后 Logstash 只需要获取特定目录中的所有文件（应自动检测新文件），读取内容并将其推送到某处。你能帮忙做吗？

尝试在 logstash 中创建管道时遇到了麻烦。我们有一个中央弹性堆栈，我想创建一个管道，但它似乎不喜欢我的配置文件：

我得到的错误是Cannot create pipeline {:reason=>"Expected one of #, input, filter, output at line 42, column 1 (byte 806) after "}，这是输出的最后一个花括号。有任何想法吗？:(