mysql - 来自 MySQL 的大数据的推荐 ETL 解决方案？

Question

我有一种情况，第三方将数据存储在日常表中，如果记录数超过 200 万，则会创建一个后续表，依此类推，名为 [date]_x。

现在，我们有一个报告要求，需要使用这些数据。过去已经执行了手动 UNION SQL 和其他 ETL 操作，我正在尝试将其自动化。

我的第一感觉是将所有内容都放入数据湖中，并在 AWS 上进行 map-reduce。然而，看着 Tableau，我希望利用它的一些自动化来加快解决方案。现在，我不确定这是最好的解决方案。

请问有什么建议吗？

score 0 · Accepted Answer

假设您不会替换生成“每日表”的软件，让我们设计一个替代方案。

我假设这些表类似于数据仓库“事实”表。即大量面向时间的数据集。正确的？（请提供SHOW CREATE TABLE其中之一。）

您的报告需要以多种不同的方式消化和总结这些数据？

首先，总结每一天的餐桌。然后从汇总表构建报告。这涉及设计和构建一些“汇总表”。最初将每个每日事实表汇总到其中。之后，需要获取每个新的 Fact 表（每晚？）并将其汇总到汇总表中。

1 回答 1