1

我是一个分析团队的成员，该团队最近将其数据仓库移至 Elastic Search。DW 通过 Dremio 访问。

但是，对于执行大量日常分析的分析团队而言，Elastic Search 是否是合适的数据库，我正在重新考虑。我希望我们将 DW 保存在 BigQuery/Snowflake/Redshift 之一中，并使用“dbt”工具来转换数据并将其写回数据库。

从 Elastic Search 读取数据后，我找不到类似“dbt”的工具来执行快速数据转换，而且 Dremio 还不够成熟。我想征求您对 Elastic Search 的看法，以及是否适合日常分析的数据库。

我很欣赏你的回应。

编辑：我在一家在线零售商工作。我们的数据在任何意义上都不是“大数据”。每天大约有几千个订单。我们的大部分工作都是回应来自各个团队/部门的询问。其中一些问题超出了简单的查询范围。我们必须构建定制的数据集市，其中涉及多个步骤。因此，我们需要一个工具来快速转换数据并将结果集放入数据库。一种这样的工具是“dbt”，但它不支持 Elastic Search。所以问题是是否有适合这项工作的工具，或者 Elastic Search 不适合我们的用例。

4

2 回答 2

3

考虑在内

我们的数据在任何意义上都不是“大数据”。

很可能 ElasticSearch 不是合适的选择。使用 ES 的唯一原因是大量类似搜索的查询，其中包含对文本类型字段的“包含”过滤，并且只有当数据集太大而无法通过 SQL 兼容的数据库快速处理这些查询时。

看起来 PostgreSQL 可以完成这项工作。如果您正在寻找用于快速 OLAP 查询（聚合）的 columnar-DB，您可以查看开源 ClickHouse。

最后，Dremio 并不是唯一可以与 ElasticSearch（或 PostgreSQL、ClickHouse 等）一起使用的 BI 工具。一些 BI 工具允许您对维度/度量使用“无痛”脚本，并且您可以直接在 ES 查询中计算很多东西。

于 2020-05-13T08:44:28.037 回答
0

取决于你需要什么具体的指标，ES 聚合可以支持很多基本的指标。出于成本考虑和更少的基础设施来支持和降低复杂性，我通常建议公司在过度工程或过早优化之前先开始

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

于 2020-11-18T18:23:38.193 回答