问题标签 [logstash-forwarder]

我有以下 logstash 配置文件，用于解析以下异常堆栈跟踪。

堆栈跟踪

配置文件：

我能够将堆栈跟踪解析为单个 logstash 字段名称消息。但是我想用第一个异常行的时间戳更新@timestamp ，即2015-03-02 09:01:51,040

目前它一直在为@timestamp使用默认时间戳

任何帮助将不胜感激。

我正在使用 Elasticsearch、Logstash、Kibana（ELK 堆栈）来可视化我的 perfmon 日志。我的日志是从另一个 redhat linux 机器手动复制到我的本地 linux 机器并被解析的。现在我想用伐木工人自动化这个，但我没有得到任何与伐木工人一起工作的相关信息。从某种意义上说，自动化希望从远程 linux 机器获取日志，而不是手动复制。提前致谢。

尝试将一些日志发送到 logstash 服务器。使用 logstash 转发器将日志转发到 logstash

但是它会超时：

任何想法如何解决这个问题。

如何在我的 logstash-forwarder 配置文件中添加一个自定义字段，以便它可以被 logstash 访问？

我想禁用由 logstash-forwarder 在 Elasticsearch 中创建的所有“原始”字段。因此，如果我有一个作为“主机”的字段，logstash-forwarder 将不会创建一个“host.raw”字段。但我需要所有字符串字段的通用解决方案。

我的字符串字段为“not_analyzed”，因此原始字段没有意义，只是数据的副本。

我试图删除下面映射的“字段”部分，但它在第一条日志消息之后被添加回来。我能实现的最接近的事情是添加以下映射，但这仍然会创建空的原始字段：

那么如何禁用这些字段呢？

我想使用多个工作线程使用多个工作线程处理多行日志以提高性能，但多行过滤器不起作用： - https://github.com/elastic/logstash/pull/1591 - https://github.com/elastic/日志存储/问题/1590

目前的解决方案：

• 使用多个 logstash-forwarder 并将它们发送到不同的伐木工人端口（扩展性非常差：每个具有多行的日志文件的新 logstash-forwarder）
• 使用带有redis输出的额外logstash-receiver和从redis读取并使用一个工作线程的额外logstash索引器（https://groups.google.com/forum/#!msg/logstash-users/fUhulxmZ0Ek/HfGev7BOhCUJ）
• 作为一个黑客，我尝试进行类型检查，该类型检查可以在具有伐木工人输出的logstash输出部分中具有多行，并将它们重新发送到具有编解码器多行但它不处理它们的同一个logstash实例的不同伐木工人输入（不同端口）
• 我也可以使用读取事件的rabbitMQ，但是我应该在将多行发送到rabbitMQ之前合并多行（我应该怎么做？）
• rsyslog 也可以发送日志，但它需要特殊格式的多行日志，并且不适用于正则表达式（https://serverfault.com/questions/622035/how-do-i-configure-rsyslog-to-deal-with-mysql -slow-query-log-multi-line-messages )

显然这些都不是很好，那么有没有人对此有一个体面的解决方案？

我在 logstash-forward 和 logstash 之间有问题，我已经正确安装了 SSL 证书，但是我有这个错误：

如果我使用 openssl 命令检查 SSL 工作正常：

问题出在哪里？谢谢

I'm using Logstash to forward error logs from app servers to ES. Everything is working fine except that log timestamp going as string to ES.

Here is my log format

[Date:2015-03-25 01:29:09,554] [ThreadId:4432] [HostName:AEPLWEB1] [Host:(null)] [ClientIP:(null)] [Browser:(null)] [UserAgent:(null)] [PhysicalPath:(null)] [Url:(null)] [QueryString:(null)] [Referrer:(null)] [Carwale.Notifications.ExceptionHandler] System.InvalidCastException: Unable to cast object of type 'Carwale.Entity.CMS.Articles.ArticleDetails' to type 'Carwale.Entity.CMS.Articles.ArticlePageDetails'. at Carwale.Cache.Core.MemcacheManager.GetFromCacheCore[T](String key, TimeSpan cacheDuration, Func`1 dbCallback, Boolean& isKeyFirstTimeCreated)

Filter configuration for logstash forwarder

How I can make it date in ES? Please help. Thanks in advance.

到目前为止我已经采取了一些步骤：- 1）从 vm 创建了一个图像模板 2）从该图像中旋转新的 vm 3）每个 vm（和图像）都在其上运行 logstash 转发器

现在的问题是，当我签入 logstash 时，所有消息都来自 image-vm 的相同主机名。

假设我从主机名为“test”的 vm 创建了映像所有新的 vm（即使它们具有不同的主机名）都在发送带有 host="test" 的消息

我正在努力为 Windows 2008 R2 Server 上的 logstash 转发器创建 Windows 服务。

我的设置如下所示：

Ubuntu 服务器 14.04 LTS

• 弹性搜索
• 日志存储
• 木花

Windows 服务器 2008 R2：

• 应用程序记录到某个路径。
• 通过 Logstash-forwarder 将日志发送到 ELK Stack

我目前正在使用此处的说明通过为 Windows 编译的 Logstash 转发器成功地将日志发送到 ELK-Stack... https://github.com/elastic/logstash-forwarder。唯一的问题是，我必须在 CLI 窗口中运行 logstash 转发器，并且无法将其设置为 Windows 服务。

我尝试了以下 SC 命令，服务已创建，但服务根本不会启动。只是返回以下错误：服务没有及时响应启动或控制请求。

不幸的是，谷歌也不知道任何答案。

是否有人能够使用 SC 命令在 Windows 上将 logstash 转发器作为 Windows 服务启动？一些好的建议将不胜感激。