问题标签 [logstash-file]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
349 浏览

logstash - 如何获取部分路径名并将其添加到索引中

我目前有这样的文件名。[序列号][2014_12_04][00_45_22][141204T014214]AB​​_DEF.log

我基本上想从文件中提取年份(2014)并将其添加到logstash conf文件中的索引名称中。logstash.conf 下面是我的conf文件。

请帮忙。谢谢

0 投票
2 回答
23172 浏览

logstash - logstash 简单文件输入/输出

我无法让 logstash 正常工作。基本的logstash 示例有效。但后来我与Advanced Pipeline Example斗争。也许这也可能是弹性搜索的问题。

现在我只想检查一个简单的示例是否有效:

  • 输入:读取文本文件-a
  • 输出:使用 textfile-a 的输入生成新的 textfile-b

但我正在为此苦苦挣扎。我的配置如下:

当我运行 logstash 时,我得到以下响应并且没有任何反应。

我如何让这个简单的例子工作?

0 投票
1 回答
966 浏览

logstash-configuration - 配置logstash以访问远程日志

请任何人都可以向我提供logstash的配置以访问位于远程系统上的日志。我尝试过使用 IP 地址,但它说插件失败。

0 投票
1 回答
467 浏览

logstash - 使用 logstash 创建新字段

我有一个名为“Job Code.txt”的文件

这是我的 .conf 文件的过滤器部分,但它不起作用。如何创建新字段,即在 kibana 中看到的 jobID、描述、结果

0 投票
1 回答
437 浏览

logstash - Logstash 文件插件自定义分隔符

我使用logstash已经有一段时间了。我尝试在文件插件中使用自定义分隔符。我正在阅读一个静态文件。我看到文件插件提取 32KB 数据并将其传递给标记器以按分隔符分割。

当最后一个字节不是新行(即:行的一部分)时会发生什么。我的正则表达式在部分行上失败并跳过它。在这种情况下,我失去了一个事件。我在自定义分隔符上看到了这一点,它也可能发生在 \n 分隔符上。请赐教。

0 投票
1 回答
4319 浏览

json - 如何在 Log-stash HTTP 输出中映射嵌套的 JSON

我正在使用 Logstash 将 JSON 消息输出到 API。我正在使用“映射”属性来映射我的消息。看,按照我的托运人配置。

此配置运行良好,并产生以下输出:

输入日志条目:

格罗模式:

问题陈述:

我想通过 HTTP 的映射来跟踪输出。我想要一个嵌套的 JSON 类型在我的消息中,我应该如何在映射标签中添加它。

预期输出:

我尝试了几个选项,但我收到错误。

0 投票
1 回答
682 浏览

logstash - 如何通过 logstash shipper 仅发送错误日志

我正在使用 Logstash 将 JSON 消息输出到 API。我正在从日志文件中读取日志。我的配置工作正常,它还将所有消息发送到 API。以下是示例日志文件:

日志文件:

以下是我的配置文件:

配置文件:

问题陈述:

配置文件正常工作并将所有日志条目发送到 API,但我只想将错误日志发送到 API。所以,我想检查“MessageType”,在其中我得到日志级别,如果它的值是“ERROR”,那么它应该通过 API 发送消息,否则 logstash 应该丢弃该消息。

0 投票
1 回答
539 浏览

logstash - 如何在 Logstash 的过滤器中格式化日期

我正在使用 Logstash 将 JSON 消息输出到 API。我正在从日志文件中读取日志。我的配置工作正常,它还将所有消息发送到 API。以下是示例日志文件:

日志文件:

我正在使用 grok 模式来解析这个日志文件,以下是我的示例配置文件:

配置文件:

我能够根据我的要求解析完整的日志条目,但我想格式化日期。

问题陈述:

目前,我从解析的日志条目中获取以下格式的日期:

但是我的 API 期望日期的格式如下:

预期输出:

如何通过使用上述过滤器配置来实现这一点,我尝试使用以下配置做一些事情,但我无法成功。

0 投票
0 回答
204 浏览

logstash - 每次有修改时,logstash 都会重新读取输入文件

我有一个名为 test.csv 的输入文件,并将其用作某种配置。每次在 test.csv 文件中进行修改时,我如何强制logstash从头开始重新读取文件

编辑:我的logstash配置

输入 {

}

筛选 {

}

输出 {

}

0 投票
1 回答
6403 浏览

logstash - logstash 中的日志轮换

我在 logstash 中使用文件作为日志的输入。我的日志文件每天轮换,所以我想问一下我们如何配置logstash的文件插件,以便它与每天轮换的文件一起工作。除此之外,文件节拍也可以使用日志轮换。