问题标签 [logstash]

我安装了 Logstash 来解析 apache 文件。我花了相当多的时间来正确设置设置，而且我总是尝试使用真实的日志。我注意到（如文档所述）logstash“记住”它在文件中的位置。现在我的设置没问题，我希望 Logstash “忘记”。这似乎比我更难。我已经做了以下事情：

• 用过的：start_position => "beginning"

• 从 elastissearch 中删除了完整的“数据”文件夹（并首先将其停止）

• 查看了哪些文件由 logstash 打开lsof -p PID并删除了所有有希望的文件（在我的情况下/tmp/jffi*.tmp）

仍然 Logstash 不会忘记并仅解析日志所在文件夹中的“新鲜”文件

有任何想法吗？

我最近用 Graphite 安装了 statsd。Statsd 在 logstash 中工作：

}

石墨存储-schemas.conf：

问题是所有图表都是每秒或 10 秒，但我需要每分钟。如何将图表速率更改为一分钟？

先感谢您。此致

我在开发中使用单个弹性搜索节点。

当我PUT在短时间内执行大约 10 000 个请求（大约 64MB 数据）时，会自动创建另一个节点。

为什么会这样？

发生这种情况后，集群处于黄色状态，直到我不手动关闭该节点。

我正在使用logstash 将数据放入elasticsearch。

我很难让 Logstash、Elasticsearch 和 Kibana 的组合在我的 Windows 7 环境中工作。

我已经设置了所有 3 个，它们似乎都运行良好，Logstash 和 Elasticsearch 作为 Windows 服务运行，Kibana 作为 IIS 中的网站运行。

Logstash 运行于http://localhost:9200

我有一个 Web 应用程序以 .txt 格式创建日志文件：

日期时间=[日期时间]，值=[xxx]

日志文件在此目录中创建：

D:\wwwroot\日志\错误\

我的 logstash.conf 文件如下所示：

我的 Kibana config.js 文件如下所示：

当我查看 Kibana 时，我看到了错误：

在 处未找到索引http://localhost:9200/_all/_mapping。请至少创建一个索引。如果您使用的是代理，请确保其配置正确。

我不知道如何创建索引，所以如果有人能阐明我做错了什么，那就太好了。

我正在使用 Logstash 将元组插入 ElasticSearch。元组具有以下格式：

753469038|4057|1|0|99031479997|0|350771|1|47382594591370772|6050143149551329|2400|+|3.5

753453038|5345|1|0|23543643667|0|346661|1|47382594591370772|6050143149551329|2200|-|4.5

...

Logstash 成功解析每个字段。它们都正确导入到 ES 中。我正在使用 Kibana 查询我的数据，但在查询倒数第二个字段(+ 或 -)时遇到问题。我尝试了许多不同的方法来查询这些符号，但似乎无法检索它们。

任何帮助表示赞赏。
谢谢你。

我正在尝试将elasticsearch连接到集中式logstash聚合器上的logstash

我正在使用 kibana 通过端口 80 运行 logstash Web 界面。

这是我用来启动 logstash 的命令：

这是我正在使用的conf：

看起来好像我正在从 logstash 代理（安装在另一台主机上）接收数据。在我通过初始化脚本启动 logstash 后，我看到日志条目正在流式传输。

我可以看到我的 nagios 服务器连接到 beta 主机（beta 是安装并运行 logstash 代理的外部主机）和一些 FTP 会话（不是说我爱上了 FTP，但是你能做什么？）

然而，当我将浏览器指向 logstash 服务器时，我看到了这条消息：

这是我在 elasticsearch.yaml 中的集群设置

我在 elasticsearch.yaml 中的主机 grep -i host /etc/elasticsearch/elasticsearch.yml

我确实尝试使用以下 curl 添加索引：

但是当我重新加载页面时，我得到了同样的错误信息。在这一点上有点卡住了。我将不胜感激任何人可能有的任何建议！

谢谢！

我有来自 Logstash 的数据，这些数据正在以一种过分急切的方式进行分析。本质上，该字段"OS X 10.8"将分为"OS"、 "X"和"10.8"。我知道我可以更改现有数据的映射和重新索引，但我将如何更改默认分析器（在 ElasticSearch 或 LogStash 中）以避免在未来数据中出现此问题？

具体解决方案：在第一次将数据发送到新集群之前，我为该类型创建了一个映射。

IRC 的解决方案：创建索引模板

我有来自这种格式的日志。我已将 logstash 变量分配给下面的模式。我相信我已经使用随附的预定义 Grok 标签正确分配了这些元素中的每一个。但是，当我运行 logstash 时，它反映： [0] "_grokparsefailure" 表明它无法解析请求。我不知道我的conf到底出了什么问题。这里有人知道是什么原因造成的吗？我对logstash很陌生。提前致谢

1383834858 0 71.172.136.12 20097903 198.2.20.171 80 TCP_HIT/200 252 HEAD http://podcasts.someserver.com/80830A/podcasts.someserver.com/nyv/voice-film-club/2013/11/the-sexy-god -thor.mp3 - 0 355 "-" "播客/2.0" 33546 "-"

或者

我的 logstash.conf 文件如下所示：

我们最近开始使用 logstash 收集所有 Java 服务器日志。

默认 log4j 配置工作正常，但对于异常和 sql 查询，我们使用：

http://logstash.net/docs/1.2.2/filters/multiline

但这不能 100% 准确地工作，一些异常/SQL 没有所需的格式。

可以通过以下方式配置多行插件：

如果行的开头没有时间戳，它是多行日志消息？

I am using kibana 3 to display my nginx logs which include the request_time, I would like a graph to display the average request times over the last x seconds in kibana but am not sure how todo this. Is this easily done or do I need to push it out to graphite?