duplicates - 使用 NXLog 删除重复行

Question

我正在使用 NXLog 读取日志文件并将其发送到 Logstash。这工作正常，但一些日志项是重复的。它们在不同的行中，但内容完全相同。我无法更改将日志写入日志文件的方式，因此唯一的方法是在发送之前使用 NXlog 修复它，或者在它到达时在 Logstash 中修复它，我不想这样做。

NXlog 确实有这个功能，但它不适合我。

<Processor norepeat>
Module  pm_norepeat
</Processor>

<Route 1>
Path in => norepeat => out
</Route>

在此之后，我仍然在 Logstash 中收到重复的内容。有任何想法吗？

Answer 1

im_file填充raw_event所以你应该使用这个：

CheckFields raw_event

在这里查看答案。