问题标签 [logstash-configuration]

我试图将我的 Logstash 转发器与多个 Logstash 服务器连接起来，但我不知道如何为所有服务器提供一个证书。我能够单独连接到它们中的每一个，并且我对它们中的每一个都有不同的证书。

中的详细信息/etc/logstash-forwarder.conf是：

我有一个json形式的

我正在尝试使用 logstash 中的 json 过滤器对其进行过滤。但这似乎不起作用。我发现我无法使用 logstash 中的 json 过滤器解析列表 json。有人可以告诉我任何解决方法吗？

更新

我的日志

上述日志的 URL 解码版本是

请在我的配置文件下面找到上述日志..

筛选 {

}

我需要解析事件，即events=[{"eV":"com.olx.southasia","eC":"appUpdate","eA":"app_activated","eTz":"GMT+05:30","eT":"1432386324909","eL":"packageName"}]

我在我的 spark 节点上安装了一个 logstash。

问题是它无法从动态创建的容器文件夹中收集所有日志。它确实收集了部分日志，这些日志仅来自一个容器。这是我的 logstash 配置文件的输入部分：

所以问题是，路径是否*涵盖所有容器文件夹，包括那些将在运行时创建的？

我在服务器上创建了一个 logstash-forwarder crt 和密钥，使用通配符作为通用名称，并在转发器上复制证书时收到消息

Logstash 服务器 1.5.3
Logstash 转发器 0.4.0

由于与我的问题无关的原因，我需要将端口设置为事件字段。我还不能。这是显示问题的示例代码。

Logstash 在这里抛出一个错误（运行 /bin/logstash -f syslog.conf --configtest）说：

查看 logstash 源代码后，logstash 似乎正在对端口值进行一些检查，然后再从变量中完全扩展它。这可以通过将变量的名称更改为数字来确认，然后它通过了配置检查，但不幸的是，名称-编号随后设置为端口，并且变量没有展开。

有没有人比我更了解这里发生的事情？有没有其他人能够从事件字段成功设置端口？任何帮助表示赞赏。谢谢。

附言。logstash 版本 1.5.1

我正在尝试获取时间戳、AppName (mm1-spring-music.example.com) 和 Proc id 作为 [RTR] 出现在日志中，AppID（在 app_id 之后出现在日志中：），响应时间（在 response_time 之后出现在日志中:) 来自基于来自 Logstash 的 Syslog 5424 格式的以下日志

我对logstash非常陌生，使用以下配置我无法获得所需的输出任何建议都会有很大帮助

我一直在尝试配置 logstash 以读取在我的 amazon S3 存储桶中生成的日志，但没有成功。以下是详细信息：

1. 我已经在 ec2 实例上安装了 logstash
2. 我的日志都是s3桶里的gz文件
3. conf 文件如下所示：

我试图让 logstash 解析来自我的 ELB 日志文件的 HTTP 获取请求中的键值对。

请求字段看起来像 http://aaa.bbb/get?a=1&b=2

我希望在上面的日志行中有一个字段，a但b我无法弄清楚。

我的 logstash conf（为清楚起见而格式化）在下面，它不会加载任何其他关键字段。我假设我需要拆分 URI 的地址部分，但还没有弄清楚。

我想将一个值放入嵌套哈希的一部分，但根据上游过滤器命名该部分。这是为了重构和减少整体代码大小，因为目前 20 多种传入事件类型中的每一种都有自己的部分，例如 logstash 文件中的 18 行（但目前 %{detail_part} 位是硬编码的）。

以上被硬编码为“OtherThing”。下面有一个变量，但不起作用。

在上面（非工作代码）中，detail_part 在上游过滤器中设置为字符串值，如“OtherThing”。这当前编译并运行，但没有从中输出 XML，所以我认为这些语句的结果没有任何东西被设置到哈希中。

我知道可以使用嵌入式 Ruby 代码来完成，但我想要一种尽可能简单的方法。这个过程的输出是 XML，所以我只能使用这种嵌套散列。

这对 Logstash 可行吗？

我已经建立了一个带有 redis 架构的 logstash 来处理我的日志。我组织它的方式是：

logstash ---> redis ---> logstash ---> elasticsearch

但是出现的问题是解析了近125万条日志后抛出了java异常。

在我的logstash.err日志文件中，异常显示为

我认为这个异常可能是因为logstash无法打开/关闭文件而引发的。那么我能做些什么来纠正这个错误呢？为我的第一个 logstash 服务器设置输入配置以发送日志的方式是：

而输出的发送方式是这样的：

安装redis的logstash服务器的日志中没有错误。