问题标签 [syslog-ng]

我对 syslog fifo 和日志文件有一些疑问。

例如，我有我的 gc.log，我在 syslog 上有这个配置

在 splunk 上索引这个 gc.log。但是这样我得到了很高的 cpu 消耗，我喜欢改变我索引这个日志文件的方式。

我想通过 fifo 文件进行索引，但我无法更改应用程序生成此日志文件的方式。

我怎样才能做到这一点 ？

我使用 Syslog-NG 在监控服务器上收集了一些日志，它们是：

• 复制到本地每日轮换文件中，
• 存储到 MySQL 数据库中。

不幸的是，由于它们被评估为 PHP 通知，因此没有引发错误（请参阅这篇文章）。

因此，我想知道使用 Syslog-NG 处理 PHP 错误的正确方法是什么，以便它们实际上被识别为错误。

我拼命地尝试将消息作为 JSON 发送到 PHP 脚本。

php脚本很好。使用简单的宏效果很好，但“format-json”函数总是返回这个：

模板错误：$(format-json)

我尝试了在文档中可以找到的所有内容，但我得到的所有响应都是“模板错误”。官方文档（链接）甚至使用 2 种不同的拼写，不是很有希望。

有任何想法吗？

我想将日志条目从 syslog-ng 发送到 php 脚本。看这个问题：你怎么知道 syslog-ng 是否停止了你的监听守护进程？我尝试使用其中描述的循环：

不幸的是，我从 syslog-ng 每秒数十次收到可怕的“空闲时发生 POLLERR；fd='20'”消息。显然这意味着脚本关闭了它的标准输入，但显然我的脚本没有这样做。有任何想法吗？

我想将文件从交换机记录到 mysql 数据库。我正在使用 syslog-ng 并且在配置文件中，我做了以下修改

当我运行命令service syslog restart时，我收到以下错误

Unable to initialize database access (DBI);rc='-1', error='No such file or directory (2)' Error initializing dest driver;dest='d_mysql',id='d_mysql'#0 Error initializing message pipeline

我怎样才能克服这个问题以使日志能够被定向到数据库？

我正在从他们的快速入门教程中学习 Apache Kafka：http: //kafka.apache.org/documentation.html#quickstart。到目前为止，我已经完成了如下设置。一个生产者节点，其中一个 Web 服务器在端口 8888 上运行。另一个节点上的 Kafka 服务器（代理）、消费者和 Zookeeper 实例。我已经用 3 个分区测试了默认的控制台/文件启用的生产者和消费者。设置是完美的，我可以看到我按照他们创建的顺序发送的消息（在每个分区中）。

现在，我想将从 Web 服务器生成的日志发送到 Kafka Broker。这些消息将由消费者稍后处理。目前我正在使用 syslog-ng 将服务器日志捕获到文本文件中。关于如何实现生产者使用kafka进行日志聚合，我想出了3个粗略的想法

Producer Implementations

First Kind： 监听 syslog-ng 的 tcp 端口。获取每条消息并发送到 kafka 服务器。这里我们有两个中间进程：Producer 和 syslog-ng
第二类：使用 syslog-ng 作为 Producer。应该找到一种将消息发送到 Kafka 服务器而不是写入文件的方法。syslog-ng，生产者是中间进程。
第三种：将网络服务器本身配置为生产者。

我的想法是否正确。在最后一种情况下，我们没有任何中间过程。但我怀疑它的实现会影响服务器性能。谁能告诉我使用 Apache Kafka 的最佳方法（如果上述 3 种不好）并指导我进行适当的服务器配置？..

PS：我正在为我的网络服务器使用 node.js

谢谢，
萨拉特

我正在尝试配置 syslog-ng 目标路径以使用 unix-stream 套接字进行进程间通信。我已经浏览了这个文档http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.3-guides/en/syslog-ng-ose-v3.3-guide-admin- en/html/configuring_destinations_unixstream.html。

我的 syslog.conf（只是其中的一部分）如下：

当我重新启动我的 syslog-ng 服务器时，我收到以下消息：

这个错误意味着什么？如何在 syslog-ng 中使用 unix 套接字？任何人都可以帮助我。

我想使用 rsyslog 发送到 Splunkstorm。我想将 Apache Access & Apache Errors 发送到同一个项目。根据这个答案，我可以创建两个单独的项目（对我来说这似乎浪费了最多允许的 3 个）或者我可以为我的事件添加一个标记。所以

1. 标记可以是任何值/对，例如tag=\"access\"和 tag=\"error\"（我正在使用 rsyslog $template 行语法）？
2. 我使用哪种源类型？系统日志 或通用单行数据
3. 这两个 rsyslog 配置看起来可以接受吗？access_log 是ncsa 组合，而 error_log 是 Apache 2.2 标准。

$template access,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% tag=\"access\"] %msg%"

$template error,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% tag=\"error\"] %msg%"

我试图让 syslog-ng 支持 postfix 的多行。据我了解，syslog-ng 可以使用“flags(no-multi-line)”配置选项，但它要么不起作用，要么我应用不正确。

我的配置：

客户：

服务器：

我使用 Logstash、redis、elastic search 和 kibana 创建了一个演示环境。（http://indico.cern.ch/getFile .....

这里 logstash shipper 正在从我使用 syslog-ng 集中的日志文件中读取日志。Loogstash 托运人将其转发到 redis，然后是 Logstash 索引器（过滤器），最后到 Elasticsearch。

现在我想跳过 logstash shipper 和 redis 的一部分。这是一个好主意吗？或者redis是强制的或者需要处理重负载的。我不确定。

在上面的 pdf 链接中，我读到 Logstash 的缓冲低，而 redis 管理日志流，这就是为什么使用 redis 的原因。由于 redis 将数据保存在内存中，如果内存已满怎么办？另请阅读 Logstash 和 Elasticsearch 在 RAM 使用方面的需求。JVM 选项需要适当调整。如果是这样，那么如何调整JVM？

是否需要清除/旋转弹性搜索数据/索引？

那么哪一种最适合重载呢？我想解析 [系统（操作系统和守护进程）日志、系统日志、Web 服务器日志（apache、lighttpd）、应用程序服务器日志（tomcat）、数据库服务器日志（mysql）和一些应用程序日志（通过日志文件）] 之类的日志。

提出您的改进建议。谢谢 ！！！。

请找到以下图片链接。

（http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg）