mysql - 将 mysql DB 导入 Bigquery 的最佳方法

Question

目前，我们有一个脚本可以创建 DB 转储并将其滚动到 Amazon RDS 服务器上。这种情况每小时发生一次，当新转储到达时，它的先前版本将被删除。

我希望在 Bigquery 中有这些数据。最简单的过程是什么？特别：

1. 有没有办法将转储上传到 BQ 自动删除以前的版本？

2. 有什么方法可以自动将数据库从 RDS 复制到 BQ 删除 BQ 端的先前版本？

对此的任何其他见解将不胜感激。

Answer 1

更改转储过程比尝试以这种方式创建导入脚本要好得多。将新记录流式传输到 BigQuery 是最简单的方法。如果您对所描述的转储过程感到困惑，那么正如 Mikhail 所建议的那样，Apache Airflow 将是一个不错的选择。