问题标签 [elk]

我已经在本地计算机上设置了 ELK，Logstash 从 stdin 获取数据没有任何问题。我想将输入 Logstash 与 Azure 服务总线连接，但我找不到任何示例如何做到这一点。

是否可以连接这两个服务？

我在这里使用回购：https ://github.com/deviantony/docker-elk

CentOS 8

ELK 版本 7.4.0

码头工人撰写版本 1.24.1

Docker 版本 18.06.3-ce

当我启动容器时，Elasticsearch 加载正常。加载后，Kibana 和 Logstash 容器将启动。但是一旦加载，他们就无法看到 Elasticsearch 容器，从而产生以下消息：

日志存储：

基巴纳：

当我查看 elasticsearch 主机名是什么时，我得到了 Docker 自动生成的主机名。

我的印象是，如果容器在同一个网络下，那么 docker 应该将 elasticsearch:9200 映射到容器的正确 IP 地址？

我尝试在 docker-compose 文件中设置主机名，如下所示：

并且变化反映在容器中：

但是 Kibana 和 Logstash 仍然没有看到。

我无法从 Kibana 容器中看到该主机：

检查 ES 容器中的日志，它似乎工作正常：

我一定错过了一些东西，但我不知道它是。我搜索了这个错误，似乎我设置它的方式应该可以工作。

任何人都可以帮忙吗？

我的 docker-compose 文件如下所示：

我想使用 grok 过滤器将版本字符串（例如 2.3.5）拆分为三个字段（major.minor.patch）。

我尝试了什么：

%{NUMBER:major}.%{NUMBER:minor}.%{NUMBER:patch}

Grok 调试器的结果： No Matches

我所期望的：

我已将 ELK 堆栈升级到 7.4 版本（filebeat、logstash、elasticalert、kibana）。我正在使用弹性搜索云。

升级后，logstash 日志文件中会显示以下错误。但很少有记录可以在 kibana 中看到。

我该如何解决这个问题？

我的 Elasticsearch 硬件配置有 3 个节点：

• 2 x 数据、主、摄取节点，64GB RAM（其中 30GB 用于 JVM），3TB 硬盘，每个 8 核；
• 1 个主节点 + 协调节点，具有 8GB RAM、500GB HDD、2 个内核。

我的数据是：

• ≈ 50 亿个文档，目前占用 ≈ 1.5-2TB 的磁盘空间（一年内将增长到 10TB）；
• 结构复杂，有很多嵌套文档（包含在父文档中），文档中的字段也根本没有标准化（也不能标准化），因此索引映射很大；
• 数据不超时（如日志）；

我需要能够搜索这些文档中的任何字段，仅通过 String Query API 对所有文档执行搜索。同样在搜索过程中，我使用sort、highlighting、total_hits_count和terms aggregation。

就个人而言，我尝试了两次存储 pr 的尝试：

• 1 个具有 16 个分片的索引- 这导致索引时间长，但搜索速度快。节点也经常崩溃，因为（我认为）映射太大，我总是在节点上使用大约 95-99 的 RAM。
• 16 个索引，每个索引有 1 个分片，分配别名 - 索引阶段执行得更快，但是搜索变得慢了很多。这是当前版本。

我不明白为什么 1x16 上的搜索比 16x1 快很多...

那么最后，根据提供的信息，将这些数据存储在 ES 中的最佳方法是什么？

此外，目前每个分片的重量为 75-128GB，建议将分片大小保持在 20-50GB，但我看到意见和建议是每个核心保留 1 个分片。因此，也欢迎对该配置提出意见。

我正在尝试使用 ELK 来可视化我的日志文件。我尝试了不同的设置：

1. Logstash 文件输入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html
2. Logstash Beats 输入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-beats.html与 Filebeat Logstash 输出https://www.elastic.co/guide/en/beats/filebeat /current/logstash-output.html
3. Filebeat Elasticsearch 输出https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

有人可以列出他们的区别以及何时使用哪种设置吗？如果不是这里，请给我指出正确的地方，例如超级用户、DevOp 或服务器故障。

我需要知道如何配置 filebeat 从多个 linux 服务器读取日志文件。我在多台windows电脑上试过这个，效果很好。以下是从网络中的多台 Windows 计算机访问多个日志文件的使用路径。

我想对多个 linux 主机做同样的事情。推荐的方法是什么？

我们有一个长时间运行的单节点 ELK 集群运行（主/数据）。我决定添加额外的数据节点。但是我在数据节点上收到以下错误

以下是主数据节点和新数据节点上的配置文件

主节点：

数据1节点：

尝试在 9200 和 9300 上从主节点到数据节点 ping 并检查 telnet，反之亦然，它工作正常

我已经尝试从 /var/lib/elasticsearch/nodes/0 中删除数据并重新启动 data1，它没有工作

我已阅读 Elasticsearch 文档。我也上了一门课。我的问题是如何编写一个查询来处理我的所有任务？我以身作则。该文档没有很多示例。我写了我认为可能是我完成这项任务的方式，但我不确定我是否正确地做到了这一点。

... 是我放置某种匹配查询的地方

我会这样做吗？

我最近开发了一个 C# Web 应用程序，它在主题类型的 RabbitMQ 交换上生成和使用消息，一切运行良好。我决定使用 ELK 堆栈来分析 RabbitMQ 日志，它也按预期工作得非常好，当我决定尝试记录所有产生和消费的消息时，我的麻烦就开始了。我按照本指南部署了 ELK 堆栈。

如何在 Debian 9 上安装 ELK Stack

比我的麻烦开始了..这是摘录curl -XGET 'localhost:9200'

并且正如官方文档所述（ Rabbitmq 输入插件），我需要通过运行此命令来启用该插件bin/logstash-plugin install logstash-input-rabbitmq，但是我没有可用的 bin/logstash-plugin 命令！我试图在万维网上寻找几乎所有地方，但三天后仍然没有结果。作为参考，我也会发布我的 logstash 配置文件。

谁能告诉我我错过了什么？该插件是否已经作为包在 logstash v.6.8.x 中提供？为什么我没有前面提到的安装插件的命令？谢谢。