问题标签 [date-histogram]

我正在汇总每个都有时间戳的文档。时间戳是 UTC，但每个文档也有一个本地时区 ( "timezone": "America/Los_Angeles")，该时区在文档之间可能不同。

我正在尝试date_histogram aggregation基于本地时间，而不是 UTC 或固定时区（例如，使用 option "time_zone": "America/Los_Angeles"）。

如何在聚合之前将每个文档的时区转换为其本地时间？

这是简单的聚合：

我有带时间戳的数据。我想对此做 date_histogram 。

当我运行查询时，它返回的总数为 13，这是正确的，但它显示了一条记录2014-10-10，但我无法在我的记录中找到该记录data。

如果您看到上面的示例，则没有记录，10-10但聚合显示该存储桶中的一条记录。

我需要从带有 N 个桶的 elasticsearch 日期直方图中获取。例如，我现在可以按间隔获取数据。1 个月 - 但我需要获取未定义间隔的日期，但我现在需要计算桶数 - 并且间隔必须由弹性搜索计算。

有可能的？

我在这里找不到答案：http ://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-datehistogram-aggregation.html

对不起我的英语不好。

PS。我可以通过创建插件请求（在我发送正确请求之前获取 date_min、date_max 并计算间隔）来做到这一点，但是 2 个请求比 1 个请求差；）

我在 ElasticSearch 中索引了一堆文档，我需要获取以下数据：

对于每个月，获取该月每个工作日的平均文档数（或者如果不可能，则使用 20 天作为默认值）。

我已经使用聚合将我的数据聚合到了几个月的存储桶中date histogram。我尝试嵌套一个stats存储桶，但此聚合使用从文档字段中提取的数据，而不是从父存储桶中提取的数据。

到目前为止，这是我的查询：

编辑

为了使我的问题更清楚，我需要的是：

• 获取当月创建的文档总数（由于date_histogram聚合，这已经完成）
• 获取当月的工作日数
• 将第一个除以第二个。

我是 Kibana 的新手。当前使用版本 4.1.0。

我在我的应用程序服务器上使用 logstash 代理将我的自定义性能计数器发布到弹性搜索事件。

使用 logstash WMI 输入插件从每个服务器获取性能计数器数据，间隔设置为 30 秒。

每隔 30 秒，我将在 elasticsearch 中有一个新行，其中包含时间戳、累积调用、每秒调用次数、累积异常、累积进程成功和每秒成功进程。

现在我的要求是在传入的性能计数器数据上绘制一个与 perfmon 非常相似的图表。

我尝试使用 Kibana 折线图来满足此要求，X 轴为 TimeStamp（日期直方图），Y 轴为其他计数器。但我不确定我需要为 Y 轴上的每个计数器选择哪个聚合，因为我需要在收到的原始数据而不是计算数据上绘制图表。

如果我选择任何聚合，那么 Kibana 会根据所选聚合对数据进行一些计算，结果与 perfmon 不匹配。

有人可以指出正确的图表类型和在 Kibana 中使用计数器的原始值绘制此图的方法。

谢谢，

这是我要执行的最小查询语句。

不过，我确实也有“where”子句。我想要做的是建立一个直方图查询并确定具有特定“onegid”的元素数量。查询 8 亿行大约需要 7 秒。有人可以提出更快的替代方案或优化。

我实际上是要尝试从由纬度和经度组成的空间数据中绘制热图，我已经为每个元素分配了一个网格 ID，但是“按聚合分组”在时间方面非常昂贵。

我想用 Elastic Search/Kibana 分析我的日志数据并按月计算唯一客户。当我使用日期直方图聚合和日期范围聚合时，结果会有所不同。

这是日期直方图查询：

结果：

这是日期范围查询：

和回应：

在第一种情况下，我有 4 月的 595,805 和 5 月的 647,788 在第二种情况下，我有 4 月的 592,179 和 5 月的 616,995

有人可以解释为什么我在这些用例之间有这些差异？

谢谢

我更新了我的第一篇文章以添加另一个示例

我添加了另一个数据较少的示例（在 1 天），但存在相同的问题。这是带有日期直方图的第一个请求：

我们可以看到第一个小时有 660 个唯一计数和 1717 个文档计数：

但是在日期范围的第二个请求中：

我们只能看到 633 个唯一计数和 1717 个文档计数：

请有人能告诉我为什么？谢谢

我正在尝试进行此聚合：

它工作得很好，但我需要按小时分组并且不要在同一小时返回多个小时，这有什么意义吗？这就是我现在得到的：

这就是我需要的（按小时分组）：

建议？

编辑

我找到了解决该问题的方法。不确定是否是最好的方法，但它有效。

我正在使用 ES Date Histogram并且开始发生奇怪的行为，我想知道为什么。

这是我发送给elasticsearch的请求：

我得到的结果是桶，第一个桶是：

所以我从 2010-07-02 过滤并仅从 2010-08-24 获得结果

这只是一个例子，我还看到这种行为有更多丢失的存储桶（几个月）。

[编辑] 这似乎与第一个结果的日期相关，这意味着该时间范围内的第一个结果是从 2010 年 8 月 24 日开始，但正如我所包括的"min_doc_count": 0那样，我希望从整个范围内获得结果

更新的问题

在我的查询中，我按日期汇总，然后按传感器名称汇总。可以从嵌套聚合和父存储桶的文档总数（或任何其他聚合）计算比率吗？示例查询：

我想要一个自定义指标，它给我比率count_by_name / all_count * 100。这在 ES 中是否可行，还是我必须在客户端计算？这对我来说似乎很简单，但我还没有找到方法。

旧帖：

有没有办法让 Elasticsearch 在计算存储桶的平均值时考虑文档的总数（或任何其他指标）？

示例：我有 100000 个传感器，它们在不同时间生成事件。每个事件都被索引为具有时间戳和值的文档。

当我想计算值和日期直方图的比率，并且某些传感器一次只生成值时，我希望 Elasticsearch 将我的传感器的不存在值（文档）视为 0 而不是 null。因此，当按天聚合并且传感器仅在晚上 10 点 (3) 和晚上 11 点 (5) 生成两个值时，当天的聚合应该是 (3+5)/24，或正式的：SUM(VALUE)/24。

相反，Elasticsearch 会计算像 (3+5)/2 这样的平均值，这在我的情况下是不正确的。

Github 上曾经有一张票https://github.com/elastic/elasticsearch/issues/9745，但答案是“在你的应用程序中处理它”。这对我来说没有答案，因为我必须为每个传感器/时间组合生成无数个零值文档才能获得正确的平均比率。

对此有什么想法吗？