问题标签 [elk]

我有linux1用于执行批处理 bash 脚本的 vm。

我需要将这些脚本的输出日志实时提供给在另一个linux2vm 上运行的 ELK 堆栈。

那可能吗？我应该从哪里开始？

谢谢

我按照本指南在 EC2 实例上安装 ELK：https ://logz.io/learn/complete-guide-elk-stack/#installing-elk

现在我要做的是在我的浏览器上查看 Kibana，例如，因为 EC2 没有 GUI；这都是一个 CLI。

现在我应该在 Kibana 和/或 Elasticsearch 配置文件中进行哪些更改以允许这种情况发生？由于 Kibana 在端口 5601 上，我如何从浏览器中看到它？

每当我将上述内容放入浏览器时，什么都没有发生。我试图将该network.host字段更改为 EC2 实例的公共 IP，但这并没有帮助。我在这里想念什么？

Kafka配置收集系统日志

我尝试使用 Elasticstack + Kibana 收集系统日志。我有以下格式的设置系统：

Filebeat -> Kafka -> Logstash -> Elasticsearch <- Kibana。

我的系统已准备就绪，但无法收集日志。我在 filebeat 输出部分下设置 Kafka 配置部分时遇到问题。

请让我知道如何使用 filebeat 和 Kafka 收集系统日志。

我在 kibana 中看到数据库、bgwriter、活动指标，但不是语句指标，我们是否必须更改 postgres.conf 才能检索语句指标

我现有的系统有一些搜索 SQL 过程，它们根据一些过滤器返回数据。现在，为了改进搜索，我们决定使用 Elasticsearch 进行所有搜索。我们目前正处于制作原型的阶段。

以下是我到目前为止所做的： -

1. 对我的 RDBMS 中的所有数据进行反规范化，并使用 Logstash 存储到 Elasticsearch 中。
2. 使用 Elastisearch SQL API 根据参数从 Elasticsearch 查询数据。

主要问题是分页。Elasticsearch Sql 支持发送 fetch_size 参数，结果它返回下一组记录的游标。

如果您想获得下一组结果，光标很好，但如果用户想从第 10 页转到第 100 页，我们如何实现呢？

我还在 elasticsearch SQL 中搜索了偏移和跳过支持，但找不到任何参考。

有没有人遇到过这样的问题？我将不胜感激任何帮助或建议。

我试图按照链接https://www.elastic.co/guide/en/elasticsearch/reference/current/sql-pagination.html

{ "query" : "通过 client_clientid, clientpolicy_policyname 从 client_paged_list 组中选择 client_clientid, clientpolicy_policyname", "fetch_size": 5 }

我是麋鹿栈的新手。根据我的理解，使日志从 filebeat 读取到 logstash 到 kibana ，以下是步骤。

服务器设置：我在不同的节点上配置了 filebeat 、 logstash 、 kibana 。

脚步 ：

问题陈述：对其中一个日志 conf 进行了更改。例如：logstash-test-log.conf。

注意：还有其他日志 conf 也被读取。

我正在尝试将字符串值更改为logstash中的日期时间。尽管格式正确，但在 kibana/elastic 搜索中，该字段显示的是字符串而不是日期。

作为分析的一部分，我尝试以多种方式改变日期，但它们都不起作用。我尝试了一些毫秒和半天的过滤器，因为我的日志的日期格式是 AM/PM。

格罗克

日期转换

kibana 中的输出

预期的结果将是获取监视时间作为数据类型日期。

我正在尝试在我的本地机器上安装弹性搜索环境的单集群 - 多节点环境。对碎片和副本的概念感到困惑

案例1）在下面的图片中：emp index no of shards =1 和 no of replica =1，这似乎很好，因为主节点不包含副本，并且分片数应该为 1，因此分配了另一个节点中的一个，它成为它的分片以及复制品

案例2）在员工索引的案例2中-我增加了分片数量=2和副本数量=2->

头下插件的建议是什么

1）我们设置的分片数量是否存在于每个节点中 - 例如，在员工的情况下为 2 个 - 每个节点上存在 2 个分片，其中 2 个是副本？为什么在 emp 的情况下它不存在于 node-2 中

2) 分片不是必须出现在主节点上，如 emp 所示 - 节点 2 不包含任何分片

我知道有未分配副本的概念，但这应该是当我的节点小于我的副本大小时。

任何指针都会有所帮助。

I am trying to convert one of our field which is in String to Integer. I tried all methods to convert but all methods are failed.

I tried in Kibana using painless, Logstash using mutate filter and Elasticsearch using reindex API.

This is our logs:

Sep 13 10:37:01 SYSTROMEGGN APP_TRAFFIC: SerialNum=H000D-8D31U-2000P-H0H5Q-E028T GenTime="2019-09-13 10:37:01" StartTime="2019-09-13 10:36:00" EndTime="2019-09-13 10:37:00" Category="search-engine" AppName="truecaller" Traffic=31104

All field types are by default string but I want "Traffic" field in integer. This is my logstash configuration pipeline:

I expect the output is that my "Traffic" field converted in Integer type but the actual output is "Traffic" field in String type.

我正在尝试在 ELK 环境（Elasticsearch、Logstash 和 Kibana 环境）中使用 metricbeat 从虚拟机获取数据，但不幸的是我无法获取与“system.diskio”相关的数据。

我从 Kibana 收到的错误消息是：“此字段存在于您的 Elasticsearch 映射中，但不在 doc 表中显示的 500 个文档中。您仍然可以对其进行可视化或搜索。” （见图）。

其他变量如cpu、内存、进程等已获取，但与system.diskio相关的变量一直无法获取。

我一直在网上寻找有关此错误的信息，但信息不清楚，我不知道从哪里开始。你有什么想法吗？

虚拟机：

1. 经销商编号：Ubuntu
2. 说明：Ubuntu 16.04.6 LTS
3. 发布时间：16.04
4. 代号：xenial

提前致谢。