3

目前,我们有一个 DMS 任务,它将获取 MySQL DB 的内容并将文件以 parquet 格式转储到 S3。

parquet 中时间戳的格式最终为 TIMESTAMP_MICROS。

这是一个问题,因为 Presto(Athena 的底层实现)不支持微秒精度的时间戳,并假设所有时间戳都是毫秒精度。

这不会直接导致任何错误,但会使时间显示为某个极端的未来日期,因为它将微秒数解释为毫秒数。

我们目前正在通过在获取这些时间戳的 Athena 表之上创建 Athena 视图来解决此问题,将它们转换为 unix 时间戳(即数字),除以 1000 以转换为毫秒分辨率,然后再转换回时间戳。

这对于概念验证和识别问题来说很好,但这对我们不起作用,因为我们有很多带有很多时间戳列的表,并且不想在顶部引入这个脆弱的视图层。

为 Athena 和 DMS 团队创建了支持票证,双方都确认了问题并在他们的末端创建了功能请求,以便为这种不兼容的问题创建本机解决方案,但两位支持工程师都无法提供内置的解决方法。DMS 似乎不支持将列类型更改为毫秒精度或 varchar 字符串。对于 Athena,这只是一个记录在案的 Presto 限制。

有没有人遇到过这个问题并找到了解决方案?

更改 MySQL 数据库中的精度并不是一个真正的选择,因为它被许多客户使用,我们不想冒险破坏界面。

我正在考虑创建一个作业,该作业将在创建新镶木地板时运行以查找 TIMESTAMP_MICRO 字段并将它们列到 TIMESTAMP_MILLIS。不完全确定最好的方法(胶水/火花工作?)

DMS 很棒,让转储到镶木地板变得超级简单,可能还有其他方法可以从 MySQL 中提取数据。有没有其他工具可以在没有太多定制开发的情况下做到这一点?

4

1 回答 1

4

使用目标端点,您可以设置“额外连接属性”。如果设置parquetTimestampInMillisecondtrue,时间戳将以毫秒为单位。

资源

于 2019-08-21T18:35:45.583 回答