hadoop - 从 OLTP Mysql 使用 Hadoop Hive 制作 OLAP

Question

我有点混淆了我从 Wiki 中读到的用于制作 OLAP 的 Hadoop 配置单元。现在我想从使用 Mysql 的 OLTP 数据库在 Hive 上制作 OLAP。

我怎么能解决这个问题？我可以在 Hive 中使用 Kettle 制作 OLAP 吗？任何指导如何从 OLTP mysql 在 Hive 上制作 OLAP？

谢了。

Answer 1

我建议采用以下方法：
a) 指定 OLTP 流程的历史记录部分。通常它是某种操作日志。让我们称之为事实表。
b) 按时间对事实表进行分区
c) 通过将最旧的分区导出到 CSV 并从 MySQL 中删除，定期从 MySQL 卸载最旧的分区。
e) 将此 CSV 文件加载到 Hive

通过实现此模式，您将在配置单元中拥有除最新数据之外的所有数据，并防止 MySQL OLTP 数据库的增长。