问题标签 [elk]

我的编程语言是 C#。我已经在我的电脑上部署了 ELK 和 rabbitmq。现在我想使用 Logstash 连接到 RabbitMQ 来使用 RabbitMQ 消息。但是当我启动 logstash 时它不起作用，并给我一些这样的错误：

我无法理解这些错误。而且rabbitmq 消息始终处于就绪状态，没有人确认。据我所知，它一定是一些配置错误。我试图改变我的logstash配置，但它仍然没有效果。我的 LogStash 配置喜欢这样：

请帮我解决这个问题。我将不胜感激。

我的应用程序使用 log4j2 套接字附加程序和 JsonLayout 将日志事件发送到 logstash。在 kibana 中，我想以 json 格式显示除 stacktrace 之外的所有其他属性。

logstash.config

我希望输出为

但 Kibana 将 stacktrace 的输出显示为：

我应该在 logstash 配置中进行哪些更改，以便日志事件中的所有其他属性都以 json 格式显示，而不是异常堆栈跟踪。

我的集群中的索引很少

index_2019-01-01

index_2019-01-02

index_2019-01-03

index_2019-01-04

index_2019-01-05

index_2019-01-06

有两个用户 USER1 & USER2

USER1 对该索引模式拥有完全的权利。

我只想为前三个索引提供对 USER2 的访问权限。

我怎样才能在 ELK 中实现这一点

弹性版本 7.2

我正在尝试使用 logstash 将数据插入到弹性搜索中，但被卡住了。我的配置文件：

当我尝试使用以下方法插入时，我得到了这样的响应logstash-7.2.0\bin\logstash -f c:\elk\logstashCrime.conf：

我的 sampl.csv 文件如下所示：

我是 ELK 的新手。任何帮助表示赞赏。另外，我使用 Windows 10 作为我的操作系统。我使用带有 csv 的 logstash 成功创建了一个索引，但是使用 csv 它没有创建。

我想在 Kibana 中查看，但由于没有创建索引，所以在 Kibana 中看不到索引。

我运行以下命令在本地机器上设置 ELK 堆栈：

然后我添加了 logback 依赖项并在我的微服务中更改了默认 logback.xml 以配置LogstashTcpSocketAppender如下：

然后向微服务发送了一些请求。但是当我在http://localhost:5601打开 kibana 时，没有数据/日志被发送到弹性搜索。我该如何解决这个问题？

我正在使用elasticsearch 7.2.0 版并使用filebeat 发送日志。我可以使用自定义管道，但无法设置自定义索引名称。请帮忙。

以下是我的 filebeat 输出配置：

在这里，我不确定如何创建指定名称的自定义模板

更新：我找到了满足我要求的解决方案-以下配置对我有用，因为我的要求是在单独的索引中编写 weblogs（如果日志包含名称： web），其余的应用程序日志在另一个索引中（现在写入名为 filebeat 的默认索引-*)

我正在尝试将 hadoop 与 ELK 堆栈集成。我的用例是“我必须从 HDFS 路径中存在的文件中获取数据并在 kibana 仪表板上显示内容”

Hive 不在那里工作，所以我不能使用 hive。有没有其他方法可以做到这一点？

有人有任何一步一步的文章吗？

我试图通过logstash和filebeat从hadoop服务器上的linux位置获取日志，但这也不起作用。

我需要从 Kibana 6.7.1 中的 Global tenant 获取所有索引：

GET /api/saved_objects/_find?type=index-pattern

如何指定租约？

每个人。我是麋鹿的新手，我有一个关于logstash的问题。我有一些服务，每个服务都有 4 或 6 个日志；这意味着弹性文档可能有 4 或 6 个日志。我想阅读这些日志，如果它们具有相同的 id，请将它们放在一个弹性文档中。我必须指定所有日志都有一个唯一的“id”，并且每个请求和引用该请求的每个日志都具有相同的 id。每个日志都有特定的类型。我想把每个具有相同 id 和类型的日志放在一起；像这样：

同一请求集的每个日志：其中一些必须在同一组中。因为它们的类型相同。看上面的例子。Type2 是 Json 数组，有 2 个 json。我想使用 logstash 来读取每条日志并将它们分类。想象一下，我们的文档现在就像下面的 JSON：

现在一个新的日志到达，id 为 123，它的类型是 Type4。文档必须像这样更新：

再次，我有新的日志，ID 为 123，类型为 Type3。文档更新如下：

我尝试使用脚本，但没有成功。：

脚本是：

现在我的问题是这种脚本格式只是一种类型；如果它适用于多种类型，它会是什么样子？还有一个问题。我有一些日志，它们没有 id，或者它们有 id，但没有类型。我想在弹性中有这些日志，我该怎么办？

我目前有filebeat读取nginx日志并将它们推送到logstash，我试图通过查看URI上下文根来确定日志来自哪个应用程序（不确定这是否是正确的方法），但是问题是没有上下文根的时候。Logstash 将在主机之后立即解析该值。

这是我的 nginx 配置。

是否可以将变量添加到特定位置并说出应用程序名称是什么？所以对于位置/我会添加让我们说“门户”，然后在 nginx 日志中它会在最后记录“门户”？

这是我当前的 nginx.conf

我在日志末尾使用 Portal 要求的示例。

198.143.37.12 - - [31/​​Jul/2019:10:44:13 -0400]“GET /nosession HTTP/1.1”200 3890“-”“Safari/14607.2.6.1.1 CFNetwork/978.0.7 Darwin/18.6。 0 (x86_64)" "199.83.71.22" "传送门"

如果这是不可能的，还有其他关于如何解决这个问题的想法吗？