将 beat 从 6.x 版本更新到 7.x 版本并因此更新弹性搜索索引模板会影响弹性搜索中的旧数据吗？

简短的问题是：是否可以从远程服务器中提取日志（在日志文件中）并将它们摄取到 ELK 堆栈中。

长篇大论如下：

• 我们有一个DMZ面向公众的设置
• 我们有一个intranet托管许多内部系统的环境，包括 ELK 堆栈
• 由于安全规定，我们无法建立DMZ从intranet.
• 然而，我们可以建立intranet从DMZ

由于此设置，我们无法按照正常路线Filebeat在存储日志的服务器上安装 a 并将消息推送到我们的logstash安装中。

我们想要做的是看起来有点像下面这样的事情：

• Filebeat 或任何其他进程在服务器内部收集日志DMZ
• 在此服务器上，有一些进程（Filebeat, logstash，另一个elasticsearch实例？）将这些信息保存在本地存储中
• 这个工具（不管它最终是什么）监听一个端口，该端口可从intranet
• 内部的另一个工具intranet连接到该DMZ工具并提取所有收集的日志以进行进一步处理。

到目前为止，我们的调查只产生了将日志信息推送到logstash或的解决方案elasticsearch。

我们不想做的一件事是使用文件共享使日志文件直接从intranet.

我们的问题是，我们的想法是否可行，如果可行，我们将使用什么工具和设置来实现这一目标。

我正在尝试设置 metricbeat 来监控 filebeat 统计信息。但是当我在我的 metricbeat 配置中尝试使用 beats 模块时，我收到了这个错误：

来自 metricbeat 日志的错误消息：

为metricset beat.stats获取数据时出错：发出http请求时出错：获取http://filebeat_ip:5044/stats：拨打tcp filebeat_ip:5044：连接：连接被拒绝

metricbeat.yml 文件

其中 filebeat_ip 是我的 filebeat 运行的 ip，它与我的 metricbeat 是同一台机器。

有人可以帮我解释为什么我会收到这个错误吗？

我正在尝试通过 kibana 堆栈监控 ui 设置对 filebeat 的监控。但是当我尝试这样做时，我无法在此页面上看到 filebeat 统计信息，我只能看到 ELK 堆栈统计信息。

这是我的 filebeat.yml 配置

现在，当我在另一台机器和文件节拍上启动我的 elk 堆栈时，我只能看到 ELK 堆栈统计信息，而不是节拍统计信息。但是，我可以通过我的 filebeat 中的 logstash 和 elasticsearch 将日志发送到 kibana，并且能够验证相同的内容。

有人可以帮助我如何在堆栈监控 ui 中配置节拍统计信息吗？

默认情况下，在文本字段上禁用 Fielddata

你好，

最近在我的弹性搜索设置中发生了一些奇怪的事情。Metricbeat 索引被替换为新名称，例如旧名称，例如 metricbeat.x.date，但现在索引显示为 metricbeat。版本和尝试可视化时。我收到以下错误。

错误：

尝试过的解决方案：

在控制台中提供了以下内容。

并且

任何人都可以帮助我解决我的问题。

我被分配了创建中央日志服务器的任务。就我而言，有许多 Web 应用程序服务器分布在其中。我的任务是从这些不同的服务器获取日志并在中央服务器中进行管理，其中将有elastic-search和kibana.

问题

1. 是否可以从具有不同公共 IP 的服务器获取日志？如果可能怎么办？
2. 中央服务器需要多少资源（CPU、内存、存储）。

看到的东西

• 看到所有日志和应用程序仅在同一台机器上的示例设置。

寻找通过公共 IP 将日志发送到弹性搜索的方法。

我正在使用安装了 x-pack 的 7.5.1 版弹性堆栈，当我尝试运行 packetbeat 时出现以下错误。

请帮我解决它。

Is there any way to configure elastic heartbeat to automatically detect the ingress resources in a cluster and run a simple health-check against each of them ?

Otherwise, what would be a simple alternative to that ? Like an operator that subscribes to Ingress resources events and for each of the active Ingress resources run a GET on a preconfigured health-check endpoint.

我对 Elastic Stack 还很陌生，我仍然没有从我正在阅读的关于这个主题的内容中看到整个画面。

例如，假设我正在使用最新版本的 Filebeat 或 Metricbeat，并将该数据推送到 Logstash 输出（然后将其配置为推送到 ES）。我希望这些节拍之一的“开箱即用”字段更改其字段类型（例如：将 beat.hostname 从当前默认的“文本”类型更改为“关键字”），最佳位置/做法是什么配置这个？这种变化是我希望在运行相同 Beat 的多个主机之间保持一致的东西。

我在文件中有一个事件（JSON 消息），需要通过 filebeat发送到 Kafka 。JSON 消息如下所示：

我想将此消息发送给 Kafka。分区键应该是 JSON 事件消息中的应用程序字段。如何在 JSON 消息中提供自定义应用程序字段作为 Kafka 记录的分区键？

filebeat.yml 是这样的：

https://www.elastic.co/guide/en/beats/libbeat/6.8/config-file-format-type.html#_format_string_sprintf 根据this reference，我们可以使用格式字符串规范来引用事件字段值。

使用此配置，默认消息“默认”始终报告为键。如何配置 filebeat.yml 以提取自定义应用程序字段并将此信息用作 Kafka 分区键？

此外，我尝试在输入部分定义一个字段，如下所示：

和相应的kafka输出为：

但随后 kafka 分区键始终为：%{[application]} string