问题标签 [elk]

在我的一个项目中，我计划将 ElasticSearch 与 MySQL 一起使用。我已经成功安装了 ElasticSearch。我可以单独管理 ES 中的索引。但我不知道如何用 MySQL 实现相同的功能。

我已经阅读了一些文件，但我有点困惑并且没有清晰的想法。

我在我的 CentOS7 VM 上安装了 ELK 堆栈版本 7.0.0，但在 Logstash 服务启动期间遇到了一个问题：

[错误] 2019-05-13 08:21:37.359 [Converge PipelineAction::Create] 代理 - 无法执行操作 {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"MultiJson: :ParseError", :message=>"JrJackson::ParseError", :backtrace=>["/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/multi_json-1.13.1/lib/multi_json/ adapter.rb:20:in load'", "/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/multi_json-1.13.1/lib/multi_json.rb:122:inload'", "/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/avro-1.8.2/lib/avro/schema.rb:36:in parse'", "/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-codec-avro-3.2.3-java/lib/logstash/codecs/avro.rb:69:inregister' ", "/usr/share/logstash/logstash-core/lib/logstash/codecs/base.rb:18:in initialize'", "org/logstash/plugins/PluginFactoryExt.java:255:inplugin'", "org/logstash/execution/JavaBasePipelineExt.java:50:ininitialize'", "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:23:in初始化'", " /usr/share/logstash/logstash-core/lib/logstash/pipeline_action/create.rb:36：在execute'", "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:325:in块中收敛状态'"]}

请帮助找出解决此问题的方法。另一个 Centos VM 上的类似安装工作正常。

我希望在 kibana 界面中名为“会话名称”的字符串字段上创建 URL，以重定向到其他搜索。

在我的 URL 中，我需要使用两个查询，一个基于字段值，我使用 '{{value}}'，第二个使用 @timestamp 值。

我有 bieng 尝试“{{rawValue:@timestamp}}”但徒劳无功。

我的目标是基于字段“会话名称”和时间戳的两个链接两个搜索。

任何人都可以帮忙吗？

我正在运行一个带有 3 个数据节点的 ELK 集群。2 个数据节点也用作使用 2 个 logstash 系统的数据摄取节点。

我在单个索引的 1 个分片和 0 个副本上运行，每个索引每天创建大约 200 万个文档。当前索引的大小约为 8GB。

由于我没有很多节点，因此 1 个分片足以用于索引。我认为。

但是 0 副本意味着，将没有可用的副本。但是当我使用 1 个分片时，每个索引都位于一个节点中。

现在我的问题是，不同的索引是存储在不同的数据节点中，还是所有数据都存储在所有数据节点中？

前段时间，一个数据节点出现故障，我将其物理移除并在集群中添加了一个新节点。根据我的理解，没有数据丢失。

我需要将副本更改为1吗？

我目前正面临logstash的结构问题。我有一个 syslog-ng 客户端通过网络将来自不同文件的日志发送到 ELK 堆栈。

我注意到 Logstash 正在混合日志，尤其是多行，将异常行添加到其他文件的非错误日志中。所以，我想问题在于我的日志在处理时与它们的文件来源没有任何区别。我找到了两种避免这种情况的方法，但它们并不是 imo 的最佳选择：

• 不要使用 syslog-ng，而是使用 FileBeat 并为每个文件添加一个标签，以识别它们的来源。然后，根据这个标签用 Logstash 解析我的日志。问题是必须使用 syslog-ng 作为客户端，如果我必须更改它会困扰我
• 更改我的 syslog-ng 源以将每个日志文件发送到 ELK 上的不同端口。我发现这有点脏，并且可能会因为大量的日志文件而感到尴尬

你怎么看？我错过了更好的解决方案吗？有没有办法像 syslog-ng 中的 filebeat 一样添加标签？

谢谢你的帮助

如何将 ID 字段添加到 Kibana / Uptime 仪表板？

我正在使用 ELK 堆栈中的范围查询。假设我只使用 GTE 检索记录，那么结果记录时间将是 = 提供的 GTE 日期还是 >= 提供的 GTE 日期？

我有 60gb 的文本文件，我想通过其中的文本字段进行搜索。我的计划是将文件放入 Elasticsearch 并在那里设置搜索。

但如果从 RAM 中读取文件，在文本文件中搜索可能会更快。

所以问题是：有没有办法从 RAM 中读取 Elasticsearch 索引并在 RAM 中搜索。它可以帮助我比较搜索 Elasticsearch 和搜索文本文件（json、.pickle 的其他格式）的速度。

我尝试使用 python 从 .pickle 文件中读取。Elasticsearch 的版本是 7.1。

我是 ELK 配置的新手。

https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elastic-stack-on-ubuntu-16-04

我已经在我的本地机器上进行了配置，它工作正常。我想使用文件节拍的日志存储将我的应用程序日志文件转发到弹性搜索。当我为系统日志配置所有工作正常时。但我无法将我的应用程序日志存储到弹性搜索。请帮我。

这是我的日志文件：

服务日志

在 kibana 中，我在“消息”字段中有以下类型的日志条目。我想从日志中搜索所有唯一/不同的 URL。

我的 URL 格式类似于 web.cluster.test.com/api/*

如果我在搜索栏中使用“web.cluster.test.com/api/*”进行搜索，它会在搜索结果中为我提供模式 URL，但它们不是唯一的。

我们如何从中获取所有唯一的 URL？感谢您的帮助并感谢您。