问题标签 [logstash-configuration]

我已经安装了 ES 集群和 Logstash。我有很多输入类型的消息。现在我对 Gelf 输入类型有疑问。我需要将 ES 中的所有字段存储为字符串，但如果我在 gelf“消息”字段中有 json - ES 会从这个 json 创建新的映射。我不想要它，我尝试了很多变体来禁用“消息”字段的动态映射。Logstash 模板配置：

和logstash输出：

当收到“消息”字段中带有 json 的新消息时，我在 ES 上进行了映射：http: //pastebin.com/R9Ei3zEK

我们可以将电子邮件通知发送到特定的电子邮件地址，但我想根据日志中的某些模式将电子邮件发送到不同的邮寄地址。

例如说我有三个用户的电子邮件地址

1. userOne@something.com 接收邮件 id 日志包含 [userOneModule]
2. userTwo@something.com 接收邮件 id 日志包含 [userTwoModule]
3. userThree@something.com 接收邮件 id 日志包含 [userThreeModule

使用的 Logstash 版本是 1.3.3 如果在 logstash 中可能有任何帮助或任何解决方法来实现类似的东西。

这是我的配置，虽然“安全”和“门户”都匹配，但电子邮件只发送给一个。

当我只保留一种日志说安全日志或门户日志时，它可以工作，但是当我保留两种日志时，它只会向其中一个发送电子邮件。

}

谢谢

我正在尝试连接 logstash（版本 1.5.0）以获取服务日志（在 apache-tomcat 上运行）。这些日志是 log4j。

我将此配置用于logstash：

在我的服务'log4j.xml 中，我设置了我的 SocketAppender：

它工作正常。

问题：

1. 我希望logstash不是从我的“本地主机”收集日志，而是从其他tomcat 和其他机器收集日志。我怎样才能做到这一点？当我尝试在“主机”（在logstash配置中）放入localhost（或本地机器的IP）以外的东西时，我在启动时出错：

“无法分配请求的地址 - 绑定 - 无法分配请求的地址”。

2. 如何同时将它连接到多个IP？

有任何想法吗？

我正在尝试使用 elasticsearch 和 logstash 索引一些简单的 XML 文件。到目前为止，我已经设置了 ELK-stack 和 logstash-forwarder。我正在尝试使用文档来设置 xml 过滤器，但我似乎无法正确处理。

我的 XML 格式非常简单；

我只希望每个文件都是 elasticsearch 中的一个条目，并且 DataFile-tag 中的每个参数都是我可以搜索的键值。由于文档让我无处可去，这样的过滤器看起来如何？我也尝试在这个和这个中使用答案，但没有任何运气。

我在我的 ELK 堆栈环境中使用 logstash 1.5。使用以下过滤器配置：

我有两个问题：

• 过滤器丢失或在许多日志上跳过 dns 反向过程 - 我的意思是每个日志都进入过滤器过程或 dst 和 src 字段都反转或根本不反转并保留 ip （当我使用 nslookup 测试所有 ip字段在 dns 中有名称）。
• 我不知道如何以及为什么，但我的一些日志有多个值，我收到以下错误：

DNS：跳过反向，不能处理多个值， :field=>"src" , :value=>["10.0.0.1","20.0.0.2"], :level=> warn

看起来我的（ELK）logstash 无法处理大量日志并足够快地解决它们。看起来他从不同的日志中创建了多个值的数组键。

任何想法？也许你们遇到这个问题？

我一直试图让logstash用屏蔽写到elasticseach，但没有成功。

在将屏蔽插件安装到 elasticsearch 之前，我的设置工作正常。我遵循了 elastic.co 的本指南并创建了一个新用户以供logstash user role使用：

我还按照指南中的建议更新logstash output configuration并添加了protocol、user和。password

重新启动logstash 和elasticsearch 后，我仍然没有收到来自logstash 的elasticsearch 的任何内容。我错过了什么吗？

这是我的设置：

注意：我还在transportlogstash 中安装了插件并尝试了它，而不是protocol => "http"相同的负面结果。

如果您需要更多信息，请告诉我。谢谢

编辑1：

弹性搜索日志：

Logstash 日志：（这部分重复了很多次）

我有一个如下所述的日志文件。我想使用logstash解析这个文件。

我想像下面的字段格式一样解析上面的文件

我想继续这一步直到我使用了 grok 表达式的文件结束，因为日志信息包含很多行，所以 grokparse 失败。我希望grok能逐行申请。

我想将信息解析为像这样的单独事件作为一个事件

这是另一个事件

如何在 Logstash 过滤器中实现这一点。

背景

我有这个方案：来自我的应用程序的日志通过 rsyslog 到中央日志服务器，然后到 Logstash 和 Elasticsearch。来自应用程序的日志是纯 JSON，但 rsyslog 会在日志中添加“时间戳”、“应用程序名称”和“服务器名称”文件。日志变成了这样：

问题

如何使用 Logstash 过滤器删除前三个字段？我可以通过位置编号（如在 awk 中）获取字段并执行以下操作：

或者也许我的愿景完全错误，我必须以另一种方式做到这一点？

谢谢！

有没有一种方法可以让我每 2 小时或更长时间使用 logstash-forwarder 发送数据，而无需在每次我想发送数据时使用 cronjob 脚本来启动和停止转发器？

我在 Windows 机器上使用 logstash 1.5.1。我必须打个休息电话，它会为我提供 JSON 输出。

因此，我正在使用 exec。结果不再是 json :-(。

此事件的@message 将作为一个事件将命令的整个标准输出。 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-exec.html

我的logstash配置

cmd下的输出

elasticsearch 上无法解析的输出（3 行！）

通常我会尝试只削减 JSON 输出，但不知何故，我对 Windows 的了解有限。

我试过过滤器插件拆分，将这三行分开，但不知道如何删除第 1 行和第 2 行。

任何指针表示赞赏。

最后，我只想将此行发送到elasticsearch：