问题标签 [logstash]

有人知道什么是错误吗？

我有一个自定义格式的日志文件，日期字段如下所示：

在我的 logstash 配置中，我有这个过滤器：

据说它用日志中的自定义时间戳替换了logstash时间戳（我目前正在从旧日志中回填它以进行测试）。

如果我打开调试标志并输出到标准输出，它会显示@timestamp已被替换，custom_timestamp但我收到一条错误消息，告诉我它无法导入：

我该怎么做才能转换日期格式？

我想将我的 elasticsearch 0.19.11 配置为每 60 秒删除一次索引。我的 elasticsearch 配置有以下 3 行：

它不工作我有 2 个默认文档索引。并且预计它会在 60 年代之后

此外，如果我尝试执行以下操作，它没有任何效果

我有 2 个文档的索引，1 小时后它仍然显示

我做错什么了

PS我想用logstash部署这个配置。因此，可以建议任何其他替代方案。出于扩展原因，我不希望此自动清除成为脚本。

我在配置 logstash 以输出到 AWS EC2 上的 Elasticsearch 集群时遇到问题。

我正在使用 Logstash 版本 1.1.5 和 Elasticsearch 1.19.8。

这是我在 logstash 中的输出配置：

这是elasticsearch.yml中的对应配置

我使用以下方式启动logstash：

在启动一段时间后，我遇到了这些失败：

我的怀疑是，logstash 需要使用 cloud-aws 之类的东西，以便其弹性搜索客户端能够找到集群。有没有人有适用于aws的示例配置？

我正在尝试为集中式日志记录设置 LogStash/Redis/ElasticSearch 管道，我有几个问题，

1. 我相信要让它工作，你需要一个特定版本的 elasticsearch 和 logstash，有没有一个地方我可以找到一个一对一的映射，什么版本的 elasticsearch 和 logstash 结合在一起。

2. 这听起来可能很傻，但是在elasticsearch.yml文件中所有行都以 开头#，我是否需要去掉#一些最小值。

3. 最后我设置了整个管道，但我看到以下错误，

   /li>

我还安装了 elasticsearch head 插件，但无法加载，我看到的只是 Chrome 选项卡中的一个旋转轮。

摘要：我有一些出站 smtp 服务器和通过 rsyslog 将邮件日志集中到我正在使用 logstash 的服务器，输出到 elasticsearch，使用 kibana 搜索。

我想将 Postfix 邮件日志条目标记为“BOUNCED”，例如：

我在 logstash.conf 中使用的 grok 过滤器是这样的：

我正在使用的模式文件是https://gist.github.com/4691822

我无法将这些日志行标记为 BOUNCED ......我错过了什么？

Thu Sep 27 15:30:27 BST 2012:- Invalid token $_POST[custom], which indicates the amount, userid

这是来自我尝试使用 grok for logstash 解析的日志文件。

前几个字段没问题，它似乎非常接近 DATESTAMP_OTHER，但我认为 BST 的英国时区搞砸了。

到此为止，但不知道如何使它工作！

%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %([PMCEB][SD]T) %{YEAR} %{GREEDYDATA:message}

处理数据后：输入| 过滤器 | output > ElasticSearch 它存储的格式有点像：

我在特定字段中过滤/存储大部分重要信息，是否可以省略默认字段，例如：@source_path 和 @source_host？在不久的将来，它将每月存储 80 亿条日志，我想在排除此默认字段的情况下运行一些性能测试（我只是不使用这些字段）。

@message 属性似乎是使用 logstash 和 kibana 时的核心属性。我的 json 记录器将数据与消息一起发送到

如果我改变它

logstash 服务器将其选为“@fields.@message”。

我有点困惑如何设置此属性以正确呈现。

我尝试导入 Logstash 的日志文件包含一个有时看起来像日期/时间但有时却不是的字段。不幸的是，第一次出现看起来像日期/时间，有人（logstash 或 elasticsearch）决定将该字段定义为日期/时间。在尝试导入稍后的日志记录时，Elasticsearch 出现异常：

问题：如何告诉 logstash/elasticsearch 不要将此字段定义为日期/时间？我希望将日志中的所有字段（一个明确的时间戳字段除外）都定义为文本。

问题：在看到弹性搜索引发异常的日志文件后，logstash 似乎放弃了尝试从日志文件导入记录。如何告诉 logstash 忽略此异常并继续尝试从日志文件中导入其他记录？