问题标签 [elastic-stack]

我的系统记录请求。

如果并且当响应到达时，我希望将其与请求对象一起记录。

这意味着，当我查询 ElasticSearch 的活动时，我将为每个请求获取一行，无论是否包含响应。这类似于 SQL LEFT OUTER JOIN。

我对 Logstash-ElasticSearch 管道中各处的解决方案持开放态度。但是，由于这是时间序列数据，聚合桶不是一个可行的解决方案，因为它们会阻止分页。

谢谢。

我有以下查询，我想"Schwarz"在名称字段或消息字段中获取搜索词。语言必须是奥地利语，状态类型应与提供的列表相同。我收到以下异常，但我不知道为什么：

QueryParsingException[[my_test_index] [_na] 查询格式错误，start_object 后没有字段]; }]",

这是没有过滤器的查询仍然有效：

我已经为 logstash 转发器配置文件添加了多个路径。但只有第一个有效。它不发送第二条路径的日志。我的配置文件。

我知道我可以在第一个路径块中将它们添加在一起并且它会起作用，但是我想添加两种不同的类型，我想这不能在一个路径块中完成。

我有两个相关的问题。首先是如何最好地了解具有“杂乱”间距等的日志，第二个是我将单独询问的，是如何处理具有任意属性值对的日志。（请参阅：logstash grok 过滤器，用于具有任意属性值对的日志）

所以对于第一个问题，我有一个如下所示的日志行：

使用http://grokdebug.herokuapp.com/我最终能够想出适用于这一行的以下 grok 模式：

使用以下配置文件：

我得到以下输出：

这几乎是我想要的，但我觉得这是一个非常笨拙的模式，特别是需要使用 %{SPACE} 和 %{NOSPACE} 这么多。这向我表明，我并没有真正以最好的方式做到这一点。我应该为十六进制 ID 创建更具体的模式吗？我认为我需要 loglevel 和 logtype 之间的 %{SPACE} ，因为日志中的 INFO 和 METERING 之间有额外的空间，但这也让人感觉很笨拙。

另外，我如何获取日志的时间戳来替换似乎是 logstash 摄取日志的时间的@timestamp，这是我们不想要/不需要的。

显然，我刚刚开始使用 ELK 和 grok，因此也感谢指向有用资源的指针。

（这与我的另一个问题logstash grok filter for custom logs 有关）

我有一个日志文件，其行看起来像：

我构建了一个与第一行匹配的模式：

但显然这仅适用于data=末尾有的行，与第二行末尾的status=andfinal=或其他行上的其他属性值对相比？如何设置一个模式，说明在某个点之后会有任意foo=bar对我想识别并作为输出中的属性/值对输出？

我正在使用 ELK 和 Logstash-forwarder。我正在尝试使用一个 logstash 实例将数据发送到多个 elasticsearch clusters。我的伐木工人输出配置看起来像

当我这样写第二个elasticsearch块时，它会淹没我的logstash日志

{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack 输入：管道被阻塞，暂时拒绝新连接。", :level=>:warn}

如本 Logstash 讨论线程中所述。我发现只有这个旧的谷歌小组讨论有一个类似的案例，但评论中只有一个提到它应该有效。我检查了输出插件的文档，但据我所知，没有提到在一个输出插件 conf 文件中使用相同的输出块。

我错过了一些明显的东西吗？

我正在尝试建立一个中央日志服务器。我正在使用 nxlog 将窗口的安全事件发送到运行 elasticsearch logstash 和 kibana 的 ubuntu 服务器，但是 nxlog 输出的日志文件看起来不正确，因为 logstash 无法粘贴任何数据，它只是将其全部放入“消息”中。我正在使用 Windows 8（很快会更新到 10）并且想知道我需要做什么来解析数据。我试过 grok，但有些字段是空白的，日志中还有 2 个日期/时间。

*注意我在谷歌上搜索并尝试了其他人的建议，但日志总是一样的。即使我尝试将其导出为 XML 而不是 JSON。

nxlog.conf

logstash.conf

在logstash收到的json

我有一些数据elasticsearch，我发现很难创建我需要获取一些数据的查询。

我的数据是这样组织的（如果我要以csv格式显示它）：

我想得到这个结果集：

在SQL我熟悉的 中，我会这样写：

我正在努力在弹性搜索中获得等价物。我已经设法使用此页面的帮助按组计算数据。

但是我不知道如何获取我想要的数据（事情的总和）。这就是我想出的：

任何人都可以帮助编写我想要的查询吗？谢谢。

我已经成功设置了 ELK 堆栈。ELK 给了我对数据的深刻见解。但是，我不确定如何获取以下结果。

假设，我有一个专栏user_id和action. 实际值可以是installed、activated和。因此，我希望如果特定用户在 5 月 21 日和 6 月 21 日执行了一项活动，那么在获取 6 月份的结果时，ELK 不应该返回那些之前已经执行过该活动的用户。例如，对于下表：-engagementclickinstalled

User1 和 User2 分别于 5 月 1 日和 3 日激活。User2 也在 5 月 8 日激活。因此，当我过滤 5 月份有活动的用户时Activated，它应该返回我 count 2，即

5 月 8 日的 User2 将被删除，因为它之前曾执行过相同的活动。

现在，如果我为 6 月份编写相同的查询，它应该不会返回任何内容，因为相同的用户之前也执行了相同的活动。

如何在 ELK 中编写此查询？

我的弹性索引中的数据存在问题，其中某些字符串字段包含应该相同的不同值。例如 X-Box、X Box 和 XBox。

我意识到我可以在我的映射中添加一些转换，但这并不适合这种情况，因为我们有来自许多来源的数据并且在我们收到它们之前这些值是未知的。

是否可以在搜索时定义类似转换的东西？例如，用户搜索“XBox”，但因为我们已经定义了它（在发现差异之后），Elastic 知道还返回“X-Box 和 XBox”的文档？

希望这有意义吗？提前致谢。