问题标签 [logstash-forwarder]

我正在使用 Bunyan 和 bunyas-lumberjack 将我的日志发送到 log stash 并在弹性搜索中索引它们。我面临的问题是当我过滤日志时：我正在使用 Logstash 的基本过滤器：

它将来自 bunyan 的 JSON 放入 source.message 字段并在弹性搜索中对其进行索引。如何将 bunyan 中的每个字段索引到特定的弹性搜索字段中，以便我可以搜索它或在 Kibana 中使用它？

我附上我现在得到的和我想得到的作为例子。目前：

通缉：

我有一组分散在多个服务器上的 dockerized 应用程序，并尝试使用 ELK 设置生产级集中日志记录。我对 ELK 部分本身没意见，但我对如何将日志转发到我的日志存储区有点困惑。我正在尝试使用 Filebeat，因为它具有负载平衡功能。我还想避免将 Filebeat（或其他任何东西）打包到我所有的 docker 中，并保持它分开，无论是否 dockerized。

我该如何进行？

我一直在尝试以下。我的 Docker 登录标准输出，因此使用配置为从标准输入读取的非 dockerized Filebeat 我这样做：

码头工人日志-f mycontainer | ./filebeat -e -c filebeat.yml

这似乎在一开始就起作用。第一个日志被转发到我的logstash。我猜是缓存的。但在某些时候它会卡住并继续发送相同的事件

这只是一个错误还是我走错了方向？你设置了什么解决方案？

我在一个文件中写入了一个多行日志，如下所示：

但是，下面的行是在开始时跟踪的每一行中：

信息 | 虚拟机 1 | 主要 | 2014/11/06 13:41:30.112 |

有谁知道如何将这一行留在“错误”附近的开头，并用 grok 将这部分行放在跟踪中，并在 Logstash 中作为一条消息获得完整的跟踪？欢迎任何其他解决方案。

我正在研究用于日志记录的 ELK 堆栈（即 ElasticSearch、LogStash 和 Kibana）。我的大部分日志将来自我使用 NLog 作为日志框架的 .NET 服务。

不过，我在将日志导入 Logstash 时遇到了麻烦。一些研究表明我应该能够使用 Lumberjack 协议作为 Logstack 输入，并且有一个用于 Nlog ( NLog.Targets.Lumberjack ) 的 Nuget 包。

我已经使用 Docker 安装了 ELK 堆栈（如此处所述），这似乎在三个容器启动的意义上起作用，我可以连接到它们，还可以访问 Kibana 用户界面。

我还更新了 Logstack.conf 文件以指定 Lumberjack 作为输入：

该证书是使用以下命令生成的：

我正在使用 Windows，并且现在只是在本地工作，因此还将证书导入我的本地商店并拥有证书指​​纹。

我从NLog.Targets.Lumberjack nuget 包中获取了示例 NLog.config 文件，我所做的唯一更改是根据 Docker compose 文件将端口更改为 5000，并且还添加了thumbnail参数以匹配我导入的证书。

问题是当我的 .NET 代码通过 NLog 发送日志条目时，Logstash 控制台显示以下异常：

logstash_2 | {:timestamp=>"2016-11-14T14:08:13.377000+0000", :message=>"伐木工人输入：未处理的异常", :exception=>#, :backtrace=>["/opt/logstash/vendor/ bundle/jruby/1.9/gems/jls-lumberjack-0.0.26/lib/lumberjack/server.rb:225:in handle_version'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-lumberjack-0.0.26/lib/lumberjack/server.rb:210:inheader'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-lumberjack -0.0.26/lib/lumberjack/server.rb:163:in feed'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-lumberjack-0.0.26/lib/lumberjack/server.rb:332:inread_socket'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-lumberjack-0.0.26/lib/lumberjack/server. rb:315:in run'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-lumberjack-2.0.4/lib/logstash/inputs/lumberjack.rb:110:ininvoke'", "org/jruby/RubyProc.java:271:in call'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/concurrent-ruby-0.9.1-java/lib/concurrent/executor/executor_service.rb:515:inrun'", "Concurrent$$JavaExecutorService$$Job_1581663657.gen:13:in `run'"], :level=>:错误}

因此，为了尝试找出原因，我已连接到 Docker logstack 容器，得到一个 bash 提示，以便我可以查看调用堆栈中的源代码。

它似乎在下面的代码中失败了......

IE。它抛出异常，表明SUPPORTED_PROTOCOLS不包含任何version内容。

然而，SUPPORTED_PROTOCOLS是这样的吗：

根据调用堆栈，version是 1。所以对于我未经训练的 Ruby 眼（我对 Ruby 一无所知！），看起来它不应该遇到那个异常。

任何想法我做错了什么或错过了什么？

我想控制来自logstash转发器客户端的日志流，因为现在它从头开始读取整个日志文件，这在项目中不是必需的。

我希望 2015 年 11 月 10 日之前的日志不应该转发到 logstash 服务器。有没有办法我们可以做到。

我有一个托管在 azure 平台上的 Web 应用程序和一个托管在虚拟机上的 ELK 堆栈，也在 azure（相同的订阅）中，并且正在努力寻找一种将日志从应用程序发送到 logstash 的方法。

Web 应用程序将其所有文件存储在只能通过 FTP 访问的存储中，而 logstash 没有输入插件。

人们使用什么将日志从 Web 应用程序发送到 ELK？如果它作为 VM 运行，我会使用 NXlog，但这对于 Web 应用程序是不可能的。

我还使用 Log4Net 并尝试了一个 UDP 转发器，该转发器在我的本地 ELK 堆栈上工作，但不是 azure 托管的，尽管我添加了公共 UDP 端点。

我们有一个 ElasticSearch-Logstash-Kibana 部署，其中多个 logstash-forwarder（来自多个服务日志）将日志推送到 logstash，然后将其发送到 Kafka，然后另一个 logstash 从 Kafka 中提取这些日志并在 ElasticSearch 集群中对它们进行索引。

有人可以告诉我：-

1. 在这种部署中处理流量高峰的最佳方法是什么？
2. 我们能否以这样一种方式配置 Kafka，即单个 logstash-forwarder（单个服务）不会占用整个设置？我们要确保所有服务都可以公平地使用设置？
3. 如何确保一个指标与其他指标相比不会增长巨大？我们有多个服务日志的许多日常索引，我们希望确保在峰值期间，如果一个服务索引（或分片）变得太大，我们希望阻止该服务日志。这样集群性能不会受到影响？

我的工作环境有几台 ubuntu 和 RedHat Linux 机器。我在 ubuntu 上配置了ELK服务器，并在客户端机器（ubuntu，Redhat Linux）中安装了logstash-forwarder，并成功地将日志记录到 Logstash。

我需要在 Mac 书上安装 Logstash 转发器。我没有找到任何 dpkg 文件。

1. 我有 rpm 包。MAC可以安装吗？
2. 我看到 Logstash 被文件节拍所取代。我们可以为同一个 ELK 服务器同时运行 filebeat 和 logstash-forwarder 吗？

提前致谢！！！

虚拟日志文件：

多行合并具有相同 ID 的行并视为单个事件的预期结果。

我有以下 Logstash 过滤器：

我启动了它，将一些数据推送到 Elasticsearch，在 Kibana 中绘制了一些绘图，然后让一切都在周末正常工作。

当我返回时，我的绘图没有用新数据更新，并且无论我在浏览器中重新加载多少页面，我都会收到恒定的“ 14 Courier Fetch: 15 of 2465 shards failed. ”消息。

重新加载字段列表后，我发现我在“binary_size”字段中有一个冲突。我正在根据这个字段绘制数据，所以我的猜测是周末发生了一些奇怪的事情，新文档被 Logstash 推送到 Elasticsearch。

我的问题是：“我怎样才能找到那些字段冲突的文档？ ”。或者我应该怎么做才能再次绘制新数据。