问题标签 [logstash-forwarder]

我想知道是否可以通过logstash仅将特定的日志消息发送到elasticsearch？例如，假设我的日志文件中有这些消息：

当 logstash/log forwarder 处理这个日志时，我想跳过第二行，是否可以指示它跳过任何带有关键字“ domainlist ”的日志消息？或者只允许使用关键字“ PASS ”的日志消息？

我有 Rails 应用程序和不同的环境，如开发、登台和生产，RAILS_ENV 设置了该值。我想在logstash中添加该字段以过滤环境，所以我的问题是我在哪里设置该变量以及如何在logstash配置或logstash转发器中设置

1. Logstash 转发器很轻，但从 logstash 转发器到 logstash ，网络存在延迟。[如果我在一台机器上使用 Logstash 转发器并将日志发送到另一台机器上的 Logstash]

2. Flume /Flume-ng ：相同数据量的 CPU 使用率很高（例如 2 MB，大约 20%）

3. Fluentd ：不使用 java，它基于 CRuby ，但它的 CPU 利用率在峰值时间也是 30%，.

根据我们的用例，我们不想在我的生产机器上增加大量负载来转发日志，如果我使用logstash，我将引入新的单点故障，所以我很困惑在其中选择一个。

我的任务是在 cron 在 /var/log/cron.log 中写入错误时发送电子邮件通知。

我的 logstash-forwarder.conf：

logstash-input.conf：

logstash-filter.log：

logstash-output.conf：

现在所有事件都邮寄给我。我怎样才能从 cron.log 中只获取错误事件？它们是否由 add_tag 部分过滤？

我最近配置了一个ELK服务器，

在我的应用服务器（magento）var/log/ 目录中有很多日志文件（包括一些用于 magento 的 3rd 方扩展日志），所以我想使用 *.log 将所有日志发送到 logstash，因为我们不知道一些日志由于 3rd 方集成，将来可能创建的文件名。我们也需要抓住那些。

Magento 异常日志有一个带有堆栈跟踪的多行日志，所以我所做的是使用 gork 添加一个过滤器，现在它似乎工作（给出连接输出），

由于我有一个定义类型“staging-all-lincraft-logs”（在两个配置中）所有日志文件都通过它进行解析（参见下面的代码），

我无法删除 *.log 并在不知道文件名的情况下给出特定名称

有什么方法可以只解析logstash配置中的特定文件（exception.log和system.log）（我尝试添加parth，它不起作用）

logstash 转发器配置：

logstash 过滤器配置：

我正在使用 OSSEC 收集日志并使用 logstash-forwarder 将 JSON 日志转发到 logstash。这是我的logstash 配置。

我想提取括号内“位置”字段上指示的主机并创建一个专用标签，因为logstash仅将OSSEC视为源主机，因为它转发日志。下面是 logstash 的示例输出。

我有几个函数，每个函数都创建特定于一个事务的日志；它是一个多线程应用程序，因此 func1 的函数入口对于进行的事务可以是随机的，但对于单个事务，它将仅通过 func1、func2 和 func3 顺序进行。

现在，我想一次只为每个事务一次写入logstash；那是

然后这需要最后去elasticsearch；

我正在考虑将一半事务日志写入 RabbitMQ 临时队列，然后在完成事务后，将其提交到 RabbitMQ 生产者队列以将消息发送到 logstash；

喜欢

commit2RMQ 执行 logstash 的时间应该会收到特定于事务的完整消息以写入 elasticsearch。

问题：

1. 什么是解决这个问题的正确解决方案，将特定于事务的数据一次发送到弹性搜索？
2. 我们可以用 RabbitMQ 解决这个问题吗？如果是这样，我需要为此使用哪些正确的 API？
3. 有没有什么方法可以在没有 RabbitMQ 的情况下实现相同的效果，但只能使用 logstash 和 elasticsearch？
4. 我不想使用弹性搜索更新 API，因为它可能会为特定于事务的每条日志消息消耗大量搜索操作。

我想找出一种在不受信任的网络环境中使用伐木工人输入分别运行 logstash-forwarder 的安全方法。

据我了解，SSL 证书确保客户端和服务器之间的加密连接并为客户端验证服务器（如“好的，我知道这台服务器是真正的日志服务器”）。如何验证服务器的客户端（如“好的，我知道这个试图向我发送事件的客户端是我的一台机器，而不是其他人”）？

Logstash 转发器缺少频繁滚动日志文件的日志事件。

我的 java 应用程序有很多批处理作业和实时数据馈送。基本上它是一个企业集成应用程序。

我的应用程序为每个批处理作业创建日志文件，并使用 log4j2 作为日志框架。log4j2 被定制为根据我通过 bash 脚本调用提供的提要名称动态创建日志文件，并使用 log4j2 路由适配器来创建日志文件。

这是 log4j2 配置。

此配置运行良好，并根据提供的 loggerFile 名称创建日志文件。

很少有批处理作业可以运行更长时间并处理数百万个数据。业务需求是捕获流经我的应用程序的数据并将其记录下来以供审计。

但是，对于大多数工作，我没有看到大多数提要丢失任何日志事件。但是对于某些提要，基于大小的汇总每 3 分钟发生一次。由于处理的数据量大，有日志事件丢失。

我可能无法创建 sizeBasedTriggeringPoicy因为在任何给定时间可能有超过 1500 个提要处理，并且增加sizeBasedTriggeringPolicy 可能会导致磁盘空间问题。

这是我的logstash转发器配置

这是为 logstash 转发器设置的参数

Kibana，显示证据，每 2 分钟收到一次日志。但是我的应用程序正在连续处理数据，并且可以看到记录在我的日志文件中的事件。根据我的分析，我发现先前滚动文件的偏移量已被获取并用于当前日志文件

为了捕获所有日志事件，应将哪些配置添加到 logstash 转发器。

我试过-tail=true，但没用。

我正在使用 0.4.0 版本的 logstash-forwarder，我的操作系统是 RHEL 5.X

我logstash server在 CentOs 机器上安装了一个。我想在我的Mac. 我下载了logstash-forwarderv0.4.0一些文本文件，但下载了一些文本文件。如何在我的 Mac 上配置“logstash-forwarder”？