1

usersMySQL 数据库中存在一个表。

我们希望将数据迁移到 Amazon S3 中，以便使用 Amazon Redshift 进行进一步分析。

  • Day1 - 从 users 表中导出 10 行数据（总行数：10）
  • 第 2 天 - 从 users 表中导出 2 行额外的数据（总行数：12）
  • 第 3 天 - 从 users 表中导出修改后的行和新行数据（总行数：13）

建议的 S3 数据文件夹/命名约定：

s3://data/users/YYYYMMDD/users-YYYYMMDDHHMMSS.csv

Amazon Redshift 按如下方式加载数据以查询用户的所有行：

create EXTERNAL TABLE redshift_users from s3://data/users

问题：

  1. 我们假设第 3 天修改的行将优先于第 1 天可用的数据？
  2. 如果在 Day4 删除了 2 条现有的行，这应该如何存储在 Redshift 可以理解的 S3 中？
4

1 回答 1

0

要回答您的问题：

  1. 您假设新行将自动优先于旧行 - 事实并非如此。您需要在您的数据中添加一个“processed_timestamp”列并在您的查询中处理它 - 您的查询必须弄清楚如何只获取最新的行（我为此使用窗口函数）。

  2. 通常，您无法从 S3 中明智地物理删除行。您需要结合上面的#1 来实现一个逻辑删除过程。

于 2019-06-13T18:06:32.557 回答