问题标签 [graylog3]

我正在尝试从 Graylog 中的几个不同消息条目中提取第一个有效的公共 mac 地址。我可以用不同的 Grok Extractor 来做，但我想用 Regex 来做，这样我就可以在 Mac 上转换为所有小写字母。下面是一些示例消息和有效的 Grok 模式。

问题，我如何将这些 Grok 提取器转换为正则表达式，或者是否有一个正则表达式适用于所有 4 个示例？基本上，正则表达式只需要匹配每个字符串中的第一个有效 MAC 地址并提取它。

示例 1：Equinox：* spamApTask1：3 月 20 日 15：26：04.033：#CAPWAP-3-ECHO_ERR：capwap_ac_sm.c:7019 未收到心跳回复；美联社：00:3a:9a:48:9b:40

示例 2：Equinox：*spamReceiveTask：3 月 17 日 12:34:39.264：#CAPWAP-3-DTLS_CONN_ERR：capwap_ac.c:934 00:3a:9a:30:f5:90：未找到 AP 192.168.99.74 的 DTLS 连接（43456 )、控制器：192.168.99.2（5246）发送数据包

Sample3：Equinox：* spamApTask1：Mar 22 08:35:14.562：#LWAPP-4-SIG_INFO1：spam_lrad.c:44474 签名信息；AP 00:14:1b:61:f8:40，警报开启，标准 sig NULL 探测响应 1，跟踪 per-Macprecedence 2，命中 1，插槽 0，通道 1，最有问题的 MAC 00:00:00:00:00 :00 #yes 但必须将 Mac 设为小写

示例 4：Equinox：*idsTrackEventTask：3 月 22 日 08:40:13.816：#WPS-4-SIG_ALARM_OFF:sig_event.c:656 AP 00:14:1B:61:F8:40：警报关闭，标准 sig NULL 探针响应 1 , track=per-Mac preced=2 hits=1 slot=0 channel=1 是但必须使 Mac 小写

我们有一个应用程序，event log我们的应用程序发送event log到Kafka。JSON format我们topic在 Kafkahas one partition因为我们需要阅读order message，我们也Logstash用于消费event log并将格式转换JSON为GELF格式然后发送到Graylog. 我们的问题是考虑到主题有分区，但是消费者(Logstash)没有按顺序阅读消息，我们的顺序被打乱了。我们用

在输出Logstash配置中，此Logstash日志确认了问题，自然，我们在 GaryLag 中没有按顺序排列的事件。为什么顺序混乱。卡夫卡或Logstash或Graylog或...的问题？

谢谢。

更新

日志存储配置：

管道配置pipelines.yml：

管道设置logstash.yml

花了很长时间才弄清楚这一点，所以这里是寻找它的其他人的解决方案。解决方案在 PHP 中实现：

奖励：如果您想按您提供的时间戳排序，请不要将其称为时间戳，因为在这种情况下使用的是 graylogs 时间戳，而不是您的时间戳。我最终在我存储的每个字段上都使用了一个前缀。

我正在使用最近升级到 Graylog3 的系统。在 Graylog 2 仪表板小部件中，单击看起来像“播放”三角形的按钮以深入查询是很容易的。

在 Graylog 3 中，小部件如下图所示，我单击的所有选项似乎都没有到达底层查询。如果我编辑小部件，我可以看到查询，然后手动重新创建它，但我只想要一种“单击”方式来获取基础数据，以便我可以深入研究它。

是否有任何文档或示例如何在 Graylog 3.2 中使用 /views/search/sync？模型架构并不是真正的自我解释，并且https://docs.graylog.org/en/3.0/pages/configuration/rest_api.html也没有真正的帮助。我知道 /search/universal/relative 存在，但我想测试新方法。

我现在和卡夫卡相处得很艰难，但我觉得我很接近。

我在 FreeNAS 上有两个虚拟机在本地运行。两者都运行 Ubuntu 18.04 LTS。

虚拟机灰色日志：192.168.1.25。运行 Graylog 服务器。从自身检索 rsyslogs 和 apache 运行良好。

虚拟机卡夫卡：192.168.1.16。运行卡夫卡。

我的目标是让 VM Graylog 通过 Graylog Kafka UDP 输入从 VM Kafka 中提取日志。第二个目标是复制这个，除了 Kafka 实例将位于我的 VPS 服务器上，从网站提供 apache 日志。当然，我想先在开发环境中进行测试。

我可以通过这行代码让我的 VM Kafka 服务器成功监听：

/opt/kafka_2.13-2.6.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic rsyslog_kafka --from-beginning

这是我的 60-kafka.conf 文件：

我正在使用默认的 server.properties 文件，它不包含任何侦听器，只是默认值。我明白我需要设置listenersand advertised.listeners。我尝试了以下设置无济于事：

尝试 1： listeners = PLAINTEXT://localhost:9092adverted.listeners=PLAINTEXT://192.168.1.16:9092

尝试 2：听众 = PLAINTEXT://127.0.0.1:9092 广告.listeners=PLAINTEXT://192.168.1.16:9092

这是在重新加载 Kafka 和 Rsyslog 并确认它们的状态处于活动状态之后。

尝试阅读消息时的示例错误。这一堆 [2020-08-20 00:52:42,248] WARN [Consumer clientId=consumer-console-consumer-70205-1, groupId=console-consumer-70205] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

其次是无限数量的这些： [2020-08-20 00:48:50,598] WARN [Consumer clientId=consumer-console-consumer-11975-1, groupId=console-consumer-11975] Error while fetching metadata with correlation id 254 : {rsyslog_kafka=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

我觉得我很接近了。也许有些事情我只是在理解。我读过很多类似的文章，他们说只需用您的服务器替换 IP 地址。我觉得我已经做到了，但没有成功。

我正在尝试为 Liunx 配置 Graylog 收集器 [filebeat]。我遇到问题的部分是路径：

我要从中收集日志的路径中包含许多日志文件。我只想收集格式为（示例）20201020.catalina.out 的文件

从命令行我运行它，它可以在服务器上运行：

调出带有今天日期的文件。

我的 filebeat 配置示例：

当收集器运行时，它只捕获 error-ssl.log 和 access-ssl.log [logs]

使用 Graylog v3.3.5：

当我查看输入提取器的度量细节时，它具有以下平均值：

指标自启动以来的总调用次数为 3,684,359 次，平均值：NaN、0.67、42.04。

谁能定义这是平均值？

其余指标如下所示： GraylogExtractorMetrics

我发现在 Graylog 中搜索“仅限今天”的消息非常困难。这是我迄今为止尝试过的：

1. 使用keyword：today 00:00:00 +0800 to today 23:59:59 +0800
2. timestamp:["now/d" to "now+1d/d"]在查询和选择中使用search all messages

None of them正在工作中！:(

有没有人有一个可以节省我一天的工作解决方案？谢谢！

地狱在那里，

我是 graylog 的新手，我们已经在配置文件中使用以下条目配置了客户端

*.* @1*.**.88.**:514;RSYSLOG_SyslogProtocol23Format （我们使用的是 514 端口）

即使我们尝试将一些日志发送到 graylog 服务器

但是在 GUI 中，我们无法看到来自该客户端的任何消息，请大家帮我们解决我们缺少的问题，因为我们对灰色日志一无所知。我们的版本是 Graylog v3.3.8+

问候，

武士