问题标签 [elastic-stack]

I am new to logstash and desparate to setup ELK for one of the usecase. I have found this question relevent to mine Why won't Logstash multiline merge lines based on grok'd field? If multiline filter do not merge lines on grok fields then how do I merge line 2 and 10 from the below log sample? Please help.

Using grok patterns I have created a field 'id' which holds the value 715.

TL;DR：在具有lte条件的日期上使用范围过滤器永远不会返回该日期的记录。

在以下代码段中，重点关注该@timestamp字段。

询问：

查询结果：

下一步：

我@timestamp从第一个结果 ( "2015-08-31T15:00:06.455Z") 中获取值，并将其放在同一查询中的lte键下。

增强查询：

增强查询结果：

正如您在上面看到的，我查询的日期记录没有出现在结果列表中。命中计数减 1，第一个结果是较早的时间，而不是与我查询的时间相等的确切时间。

正在使用的索引模板：

我正在使用弹性搜索 1.7.1。

谢谢！

ELK 堆栈被大量使用，但 cAdvisor 仅支持 influxdb。所以我想实现一个基于伐木工人协议的日志存储转发驱动器。

我认为 cAdvisor 可以将指标数据转发到 LogStash。

所以我打算研究这个。但我真的不知道如何开始编码。

https://github.com/google/cadvisor/issues/634

我已经用 kibana 4 设置了 ELK，一切运行良好，但我需要 LDAP 集成，所以我用 nginx-auth-ldap-master 模块重新编译了 nginx-1.7.9，但是我不完全理解语法。Kibana 正在侦听 localhost 上的端口 5601 - LDAP 配置已验证且正确，但我遗漏了一些东西。这是我的 Nginx 配置：（ELK 配置是标准的）

有没有人好心看看为什么这会返回“无法加载网页，因为服务器没有发送数据”。而不是 Kibana ？（SElinux 被禁用并且端口在 firewalld 上打开）

我是 ELK 和 grok 模式匹配的新手。我正在尝试为我的访问日志事件构建 grok 模式匹配，并且收到grokparsefailure消息。这是我的事件日志：

111.22.333.44 2015-09-15 14:27:02 POST /test/service/testservice 200 359 0.016 Grok 模式（经过一些研究后我想出了这个）：%{IP:client}%{DATESTAMP_EVENTLOG:logeventtime}%{ WORD:method}%{URIPATHPARAM:request}%{NUMBER:HTTPStatus}%{NUMBER:bytes}%{NUMBER:duration}

我怀疑问题可能与上面的日期匹配有关，我试图删除日期和时间之间的 psace 并尝试模式匹配，但这也不起作用。我一起删除了日期和时间，并尝试了remaning，这也给出了同样的错误。我不知道问题出在哪里。任何输入都会有所帮助。谢谢！

我有一个“ElasticSearch - Logstash - Kibana”部署，其中单个 logstash 实例通过专用的 ElasticSearch 客户端将数据推送到 ElasticSearch 集群。该集群有 3 个数据主节点和一个专用客户端节点。所有机器都有 64 GB RAM、32 核、2TB 磁盘和运行 Debian 8。

我在我的 logstash 日志中看到很多警告说"Failed action with response of 400, dropping action"。在弹性搜索日志中，我看到相应的错误为failed to execute bulk item (index) index. 这并非每次都发生。

logstash 输出配置如下：-

elasticsearch的完整日志如下：-

有人可以让我知道出了什么问题以及如何调试吗？

我在 Kibana 中有一个查询，我试图匹配特定字段中的字符串，但在不同字段匹配的地方返回结果。我的查询是：

消息：无效值和相关 ID：AppPrefix*

这将返回记录器字段匹配的行，例如：

消息：无效值

相关ID：AppPrefix_c0c340cc-d4d4-41e2-bfec-326ae5bacf75

记录器：AppPrefix.Api.Private

我可以通过更改我搜索的数据来解决这个问题，但我不希望我的查询搜索不必要的字段，因为它效率低下。

我的问题似乎类似于Kibana 查询完全匹配，但使用 Kibana 4.1.1 似乎无法使用原始字段。

有没有更好/正确的方法来格式化我的查询，使其只匹配指定的字段？

我有来自 logstash 的应用程序日志，格式如下。

}

}

}

我想要实现的是获得平均处理时间（使用相同 MessageId 完成的所有日志记录都是一个处理周期的一部分）。

每个事务的最后一次登录都有处理时间（如上图：“Message”：“Time Elapsed: 561 ms”），我怎样才能得到平均值？有任何想法吗？

看起来我可以使用 geoip 过滤器可以使用免费的 GeoLite 数据库从这里（http://dev.maxmind.com/geoip/legacy/geolite/）在我导入时将 AS 编号和 AS 名称添加到我的数据中它是这样的：

我已经导入了很多数据。我应该采取什么方法来更新我的数据以将 WhoIs 信息添加到 Elastic Search 中？

我在 Logstash 中生成类似于以下内容的哈希字段：

{components: ["foo", "bar", "foo bar"]}

我将它传递给 Elasticsearch，当我想获取每个字符串的出现次数时，我只有在 Kibana 中才有，因为它们foo被拆分了。barfoo bar

如何禁用此拆分以便获得真实值？现在我正在使用 gsub 将所有空格更改为下划线，但这不是目标。