问题标签 [logstash-forwarder]

Logstash 转发器

在运行 logstash 转发器时，我看到跳过旧文件错误。

2015/01/13 14:47:30.399484 跳过旧文件：/opt/test/mc.l28.log

2015/01/13 14:47:30.399598 从文件设置受信任的 CA：/etc/logstash-forwarder/server.crt

2015/01/13 14:47:30.399938 连接到 xxx.xxx.xx.xxx.:6782

2015/01/13 14:47:30.962701 连接到 xxx.xxx.xxx.xxx:6782

我正在运行 logstash 转发器来发送日志。Forwarder、logstash、elasticsearch 都在本地主机上。我有一个 UI 应用程序，其日志文件由托运人读取。转发器运行时，日志文件归档不起作用。日志附加在同一个文件中。我已将日志文件配置为每分钟存档一次，因此我可以看到更改。一旦我停止转发器，日志文件归档就开始工作。我猜转发器一直持有文件句柄，这就是文件没有被归档的原因。请帮助我。

问候， 苏尼尔

通过使用我刚刚玩过的本教程，我是 Elasticsearch、Logstash 和 Kibana 的新手。现在我想知道如何为日志分析创建真实的生产应用程序，包括登录和证券模型。有什么办法可以用kibana实现。

我已经看到它flush_size控制了伐木工人（logstash-forwarder）中每个请求发送的事件，但我已将其设置为 150 默认值，如下所示

文件：/opt/logstash/lib/logstash/outputs/elasticsearch_http.rb

但我仍然没有看到伐木工人每个请求发送超过 100 个事件。

在此之后我重新启动了 logstash 和 logstash-forwarder，但它仍然无法正常工作。

我们设置了logstash和elasticsearch的环境进行日志分析。我的硬件环境是高端的，尽管logstash的性能很慢。现在我们的目标是找到以下需要花费大量时间输入、过滤或输出的区域。所以我们决定监控它。到目前为止，我们有一个选择是使用 Java 线程转储分析。这是唯一的方法还是任何其他可用的选项。

配置文件详细信息

我有一个使用 SLF4J、Logback 和logstash-logback-encoder创建的 webbapp 的 java 日志文件，用于logstash 1.4.2。虽然各种配置已成功从日志中检索数据，但实际上都没有返回正确的 json。根据我阅读的每个指南，以下配置应该可以工作，但不能。

日志样本

/etc/logstash/conf.d/01-lumberjack-input.conf

/etc/logstash/conf.d/10-syslog.conf

/etc/logstash/conf.d/30-lumberjack-output.conf

/etc/logstash-forwarder（其他机器）

我能够在 Kibana 中获得的最佳回报（如果有任何回报）如下所示：

显然，json转换逻辑不能正常工作，那我错过了什么？

ELK 堆栈是使用本指南配置的。

我正在使用 logstash 从服务器收集 sar 指标并将其存储在 influxdb 中。来自不同来源（CPU、内存、网络）的指标应该插入到 influxdb 中的不同系列中。当然，这些系列中字段的数量和名称取决于度量来源的类型。

这是我的配置文件：https ://github.com/evgygor/test/blob/master/logstash.conf

对于每个 [type] 的指标，我应该配置单独的 influxdb 输出。在此示例中，我配置了两种类型的指标，但我计划将其用于 SAR 指标、JMX 指标、来自 Jmeter 指标的 csv，这意味着 - 我需要为它们中的每一个配置适当的输出（十位）。

问题：

如何详细说明所需的配置？我有任何选项可以在插件中使用条件。例子：

是否有任何标志要定义到 influxdb 插件以默认使用输入中的字段名称/数据类型？是否有任何标志/能力来定义默认数据类型？是否可以设置数据类型整数保留的字段名称“时间”？非常感谢。

所以我们有一堆服务器在 EC2 Amazon Web Services 上运行，并且正在寻找为分布式日志设置 logstash/elasticsearch。

根据我的阅读，通常选择以下几个选项：

1. 每个服务器节点上的logstash，使用文件输入过滤器并直接进入ElasticSearch集群作为输出过滤器
2. 每个服务器节点上的 logstash，使用 logstash 转发器，连接到 ElasticSearch 集群上的 logstash，后者将其作为输出过滤器转发到 ElasticSearch
3. 每个服务器节点上的 logstash，使用 File 输入过滤器并使用 Redis 作为队列。然后每个 ElasticSearch 节点上的 logstash 从 redis 中提取并传递给 ElasticSearch。

也有使用 AsyncAppender 的变体（声誉不太好）。

我很想选择 #1，特别是因为我们使用的是自动转换为 JSON 的 patternLayout。因此，我们将在每个服务器节点上使用 JSON 保存额外的文件，并将文件输入直接发送到 ElasticSearch。

这有什么负面影响？为什么经常推荐队列/经纪人？

我试图告诉我的 jboss 写一个包含我需要的所有信息的访问日志，并使用每日日志轮换。到目前为止，这不是问题。最终目标是使用 logstash 转发器将所有访问日志条目发送到 elk 堆栈。也没什么大不了的。我现在遇到的问题是定义访问日志名称。

JBoss 提供开箱即用的日志轮换，但为每个日志文件添加了时间戳，因此今天的文件也有时间戳后缀。

我想要实现的是与 tomcat 或 jbosses server.log 相同的行为。这意味着今天的文件应该只命名为 access.log 并且只有在今天的文件变成昨天的文件并因此被轮换到不活动状态时才附加一个后缀。

我的 jboss 配置如下所示：

这是我启用了日志轮换的访问日志配置（具有上述时间戳行为）。当我设置 rotate="false" 时，我得到一个未评级的 access.log。

现在我看到了两种将日志文件发送到我的 elk 堆栈的方法。首先是写入没有时间戳的 access.log 并在轮换时添加时间戳，以便 logstash 转发器始终可以读取 access.log。其次是设置转发器配置以始终检查最新的 access.log 文件。这样，带时间戳的文件名就不会成为问题。但我不知道这是否可能。

我会很感激任何建议。谢谢并恭祝安康。塞巴斯蒂安

我正在尝试使用更新的配置重新解析旧日志；有什么办法吗？

我正在使用两台服务器：一台使用 logstash-forwarder（伐木工人），一台使用 elasticsearch 和 logstash。（*所有这些都是最新版本。）

我已经看到：http : //logstash.net/docs/1.4.2/inputs/file#sincedb_path 并且转发服务器上没有sincedb。（*我知道 sincedb 是可选的。）

因此，如果 sincedb 是可选的，那么尾部位于哪里——显然正在跟踪日志，但我找不到在哪里。

提前致谢！