0

我正在尝试将数据加载到使用来自源存储桶 S1 的 AWS 胶水创建的表中。

( session_id, Date, type, action )具有以下值的 4 列的源存储桶。购买交易持续了 1 分钟，我们得到了 2 条相同的记录。在某些情况下，我们没有得到结束记录

session_id, Date, type, action
1, 01jan20 10:00, purchase, start
1, 01jan20 10:01, Purchase, End
1, 02jan20 11:01, bal, start 
1, 02jan20 11:05, bal, end 
2, 02jan20 11:10, bal, start

我有目标表，我想在其中插入这些记录。它具有以下结构。

id, startdt, enddt, duration_spent_seconds, action
1 01jan20 10:00, 01jan20 10:01, 60, Purchase
1 01jan20 11:01, 01jan20 11:05, 240, bal
2 01jan20 11:10, , , Bal

我对 AWS 很陌生。我正在尝试 AWS 胶水，并希望将目标表/结果存储到 S3。

有人可以帮我详细说明如何实现这一点吗？

开始对我来说真的很棒

4

1 回答 1

0

您应该能够使用dynamicFrames或boto3从 s3 读取和写入 csv 文件。无论哪种方式，您都可能希望使用apache spark dataFrames 来处理对所需架构的转换。

Boto3 将直接将数据作为数据帧读取，而您需要使用df = dynamicFrame.toDF().

于 2020-12-23T16:43:21.227 回答