问题标签 [logstash-file]

我需要使用 logstash 从我自己的系统中读取一些日志信息。我使用弹性搜索作为logstash的输出。弹性搜索将在另一台服务器中配置。

我阅读了一些文章和论坛，他们在使用 logstash 时遇到了一些内存消耗问题。

参考链接：

https://groups.google.com/forum/#!topic/logstash-users/qIdzJmD6pJ4

https://discuss.elastic.co/t/logstash-heap-size/622/6

如何在不影响性能的情况下在我的机器中配置 logstash？

我的系统配置：

视窗服务器 2012

8GB 内存

500GB 硬盘

如何使用编解码器逐行读取logstash中的文件？当我尝试以下配置但它不起作用时：

我有一个 csv 文件，其中有一列包含 json 对象，有时这种格式的 json 输入可以正常工作：

但有时是以下格式破坏了整个记录：

如何在读取 csv 文件或过滤步骤时以第二种格式转义单个 "？

我想编写一个Codec插件来使 LogStash 能够解码二进制数据格式。

编写 a 的官方文档Codec显示我需要定义一个decode接受单个参数的方法：一个名为data.

我是 LogStash 和 Ruby 的新手。主要使用静态类型语言，我不确定如何了解有关data变量的更多信息。我假设它类似于InputStream-type 对象，允许我在数据可用时读取数据，但我不确定。

问题：

1. 对象是什么类型data？它有哪些方法？
2. Ruby 开发人员通常如何研究这样的变量？我不确定我是否找到了一种无需编写骨架插件并将字符串表示形式转储data到 STDOUT 的方法。

谢谢！

我有一个字段“消息”。

当我这样做时：mutate { update => {"message" => "%{message} \n"} }

它将消息转换为："2017-12-31 Error \\n"[“2017-12-31 错误”是我的消息值]

我想要的是"2017-12-31 Error \n"

还尝试使用以下链接找出解决方案，但找不到解决方案：

使用 gsub 添加换行符

定义引号转义语义。

我正在尝试为每个输入日志文件创建索引。这是我的logstash配置：

我不明白如何根据路径创建单独的输入。我尝试%{id}用%{[id]}or替换，%{+[id]}但它不起作用。也试过用typeor tags，结果是一样的。我刚刚创建了这个索引

甚至可以为每个日志文件创建单独的索引吗？如果是，如何配置？我对文档或this和this进行了一些研究。没有什么对我有用。

编辑：
Kibana 记录的输出：

我正在使用在独立系统（无云或集群）中运行的 Logstash-5.6.5（在 Windows 中）。计划查看一些日志文件并将其发布到本地运行弹性搜索。但是当检查 Logstash 的内存使用情况时，如果没有配置来观看任何文件，它会显示大约 600MB 的内存使用情况。当我进一步添加输入文件管道配置时，它会进一步增加内存（对于观看 3 个日志文件，它增加了 70MB，但我计划添加更多多达 20 个日志）。

1. 这是预期的行为吗？
2. 有什么办法可以减少logstash的巨大内存占用？

我有脚本记录来自不同传感器的温度+湿度并将每个传感器的数据存储到他的目录中，并且每天都会以这种格式 YYYY-MM-DD.log 制作一个新日志。

日志采用以下格式：

(YYYY-MM-DD TIME 温度湿度)

我无法理解如何正确配置我的 logstash 实例，我认为我的输入应该如下所示：

过滤器应该是这样的：

我试图将输出部分中的数据导出到 ElasticSearch，但没有成功。

这是我尝试运行它时的控制台输出：

请帮我弄清楚我做错了什么以及如何解决它:)提前谢谢

PS：我使用的是最新版本的 ElasticSearch、Kibana 和 Logstash

我已经配置了一个 ELK 服务器，所有组件都在同一个服务器上。虽然，我试图logstash-syslog.conf从基于 NFS 的中心点选择我的，所以我不需要logstash在每个客户端上安装。

1) 我的logstash-syslog.conf 档案

2）当我在客户端上运行以获取数据时，它启动线程并卡在那里..

3）运行上述命令后，它会显示以下日志，然后不要在任何地方继续...

请帮助/提出任何建议..

XML 格式数据

使用logstash，我需要像这样转换。ID，名称，版本，严重性，优先级，摘要，描述 .. 我如何将 xml 转换为 json 输出。我试图在应用所有字段之前解析 id 字段。

在执行时，我在控制台中开始清空 myid 值。还告诉我格式化为 json 后如何重定向到 es 索引。