问题标签 [logstash-configuration]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
558 浏览

logstash - 在 logstash 中使用 kv 过滤器访问密钥

ruby 可以在logstash的kv中使用。有什么方法可以访问密钥吗?这行得通吗?请帮忙。

0 投票
0 回答
58 浏览

logstash - 安装自定义 logstash gem 过滤器时出错

我在 /opt 中有自定义 logstash gem 过滤器 logstash*******.gem。但是当我尝试安装它时,出现以下错误。

我用来安装它的命令:sudo -u logstash /opt/logstash/bin/plugin install /opt/logstash-filter-XCBXGDNF.gem 我使用 logstash 1.4.2 和 RHEL 作为 linux 操作系统。

有什么建议吗?提前致谢!

0 投票
2 回答
917 浏览

elasticsearch - logstash 和 logstash-forwarder 之间的连接失败 i/o 超时

我在 logstash 和 logstash-forwarder 之间的连接有问题。

问题是logstash-forwarder发送一些日志文件一段时间,logstash和logstash-forwarder之间的连接会断开。

logstash-forwarder.err

日志存储配置

logstash 版本 1.5.1

我的虚拟机在 Azure

0 投票
0 回答
263 浏览

elasticsearch - _grokparsefailure 因为双引号/单引号?

我已经阅读了任何字符串的双单引号。我不知道它是如何工作的。有人可以启发我吗?因为我得到了一些行作为_grokparsefailure. 我有 21000 行,只有 16000 行成功解析。有帮助吗?

在logstash的配置中:

这是我拥有的示例数据行:

我必须在这一行中进行哪些更改才能使我的所有行都成功解析?我确实使用了 grokdebugger 并且没有错误。

0 投票
1 回答
44 浏览

logstash - 在 logstash 配置文件中读取环境值

有没有办法在 logstash 配置文件中读取环境值。我想传入一个 env 值来为 logstash 配置编写测试用例,但我不能这样做。例如,我想在我的 logatsh 配置文件中执行以下操作

0 投票
1 回答
5249 浏览

elasticsearch - Logstash Input from Elasticsearch Error

I'm using Logstash 1.5.4 and Elasticsearch 1.7.1

The following is my Logstash configuration file:

This works fine when I don't include the 'host' option for Elasticsearch input. However, once I add it, it gives me the following error and shuts Logstash off:

Now I know that using Host is optional, but I need it. What if later on I wanted an Elasticsearch input from a host other that localhost?

0 投票
0 回答
148 浏览

logstash - Logstash 导致数据丢失

我使用 Logstash 来处理我的网络日志,但我发现数据丢失的问题。

现在我有 100 行日志。通过 Logstash 处理后,我得到的结果有时少于 100 行。奇怪的是它没有显示任何错误消息。

以下代码是我对 Logstash 的配置:

0 投票
1 回答
1761 浏览

json - Logstash 解析 Json 时遇到问题

TL:DR - 我的有效 JSON 日志被 Logstash 拒绝,并抱怨 JSON 由于某些转义字符而无效。不幸的是,我无法弄清楚问题所在。

完整版本:

我的 Logstash(+Logstash-Forwarder) 从配置如下的自定义日志格式中获取 Apache 日志:

相关的 Logstash 输入/过滤器配置非常简单:

而且似乎有些日志无法解析为 JSON - 我收到很多这样的错误:

我用一个简单的 Ruby 代码片段仔细检查了原始消息,它能够解析 JSON:

我正在运行 Logstash 1.5.2。我认为这与编解码器有关,因为我尝试codec为 json 解析器设置参数并没有阻止问题。除了确保它使用正确的编解码器之外,Apache 还需要什么 - 我似乎找不到任何配置选项:(

欢迎任何帮助。

0 投票
0 回答
10672 浏览

json - Logstash 输出 json 文件

我是logstash的新手,我正在尝试通过它输入一个xml文件过滤器并输出一个特定格式的JSON文件

这是一个xml的例子

这是我的配置文件

输出似乎正在捕获我想要的信息,但它也输出了很多我不需要的垃圾。我希望最终输出像

我怎样才能做到这一点

0 投票
1 回答
1677 浏览

logstash - How to make Logstash multiline filter merge lines based on some dynamic field value?

I am new to logstash and desparate to setup ELK for one of the usecase. I have found this question relevent to mine Why won't Logstash multiline merge lines based on grok'd field? If multiline filter do not merge lines on grok fields then how do I merge line 2 and 10 from the below log sample? Please help.

Using grok patterns I have created a field 'id' which holds the value 715.