问题标签 [logstash-configuration]

重新启动 Logstash 后，有时会观察到 Logstash 复制日志事件。想知道应用配置选项start_position的正确方法sincedb_path是什么。sincedb_write_interval

• 当在同一位置有多个文件时会发生什么，如下面的示例所示/home/tom/testData/*.log
• 当文件轮换发生时会发生什么，例如XXX.log文件被重命名为XXX-<date>.log并创建一个新XXX.log文件。在这种情况下，名称不会改变，但 inode 会改变。

如果有人能对此有所了解，将不胜感激。

正在使用该since_db选项，并且似乎未创建 sincedb 文件。下面是我的 LogstashFile配置。我已经验证我可以手动创建文件，所以没有权限问题。如果有人可以对此进行更多说明，将不胜感激。

我正在尝试设置 logstash 以自定义格式解析 apache 日志。

这个 grok 过滤器有效，除了 %{URIHOST} 没有进入导入的数据。

日志文件的原始行如下所示：

我正在尝试将“yards-dev.oursite.org”捕获到索引字段中。

我正在使用 Logstash Forwarder 来处理 tomcat 日志。

我的 logstash 转发器配置文件包含：

我正在使用日志轮换，因此它会在一段时间后或文件大小超过 1MB 时将日志文件存档到不同的文件夹。

如果 logstash-forwarder 关闭了几分钟，日志将被归档并且它不会处理这些日志。

我正在使用 monit 监控 logstash 转发器，但仍有可能丢失日志。

有没有办法通过logstash转发器实现容错？

我目前正在尝试使用以下配置文件运行 Lostash：

但是我确实得到了一个错误：

给我：

错误：在输出 { rabbitmq { exchange => test_exchange exchange_type => fanout host => 172.17 后的第 1 行第 105 列（字节 105）处，应为 #, } 之一

当我在主机字段中放置类似 IP 的地址时，logstash 似乎有问题。我的配置有什么问题？

使用 Logstash，我想将文档索引到 Elasticsearch 并指定需要索引的文档的类型、id 等。如何在我的配置中指定那些而不在我的文档中保留无用的字段？

示例：我想指定用于插入的 id：

这将在 Elasticsearch 中插入带有 id id的文档，但该文档将在映射中保留一个冗余字段“id”。我怎样才能避免这种情况？

我想添加

在配置中，但该字段已被删除，因此不能用作document_id ...

I am quite new to logstash but I've been spending quite some time in trying to get this right with no success. I am sending my logs from multiple applications on different server via udp to be logged. Here's the logstash configuration:

Unfortunately no message is logged. I checked and made sure that the port is available when I start logstash. I also configured properly the firewall to allow udp message via this port. When I tcpdump I can see the udp messages arriving. Additionally I tried another method of input (logs from nginx) and it works ok. What am I doing wrong?
ElasticSearch version-1.4
Logstash version - 1.5 (initially tried also with 1.4)
OS - CentOs 6.5
Java - OpenJDK Runtime Environment (rhel-2.5.5.1.el6_6-x86_64 u79-b14)

所以我一直忙于计时某些事件之间的时间差，并且遇到了一个实例，其中两个任务因同一个事件而停止，但是，当两次调用 elapsed 插件时，只记录第一个。我应该怎么做才能同时制作经过的记录？

示例配置：

感谢您在此问题上的任何帮助！我也把这个问题放在：https ://github.com/logstash-plugins/logstash-filter-elapsed/issues/13

我正在尝试为 jenkins https://wiki.jenkins-ci.org/display/JENKINS/Logstash+Plugin使用logstash pluin，并将其配置为与elasticsearch一起使用。似乎我不知道为什么我的 jenkins 日志没有被转发我在端口 6379 上运行 logstash 并寻找 fetch 并排序 trace.log

我的弹性搜索索引目前有一个输入：

索引 => "log-%{+YYYY.MM.dd}"

我有一个名为 logged_timestamp 的字段，格式为“05/05/2015:14:25:56 GMT”，它似乎在 ES 中存储为 3 个部分 [“05/05/2015”、“14:25: 56", "格林威治标准时间"],

logstash 这样做了：

%{DATE_US:logged_timestamp}:%{TIME:logged_timestamp} %{DATA:logged_timestamp}

我想要做的是使用这个捕获的字段中的 YYYY MM 和 dd 而不是当前字段作为我的索引。

但是我对如何做到这一点有点困惑，甚至可以内联吗？还是我需要先更改在输入部分中捕获该字段的方式 - 我宁愿避免这种情况？日期过滤器？