我在 S3 上有一堆 Parquet 文件,我想以最佳方式将它们加载到 redshift 中。
每个文件被分成多个块......将数据从 S3 加载到 Redshift 的最佳方式是什么?
另外,如何在 Redshift 中创建目标表定义?有没有办法从 Parquet 推断模式并以编程方式创建表?我相信有一种方法可以使用 Redshift 频谱来做到这一点,但我想知道这是否可以在脚本中完成。
感谢你的帮助!
我正在考虑使用所有 AWS 工具(例如 Glue、Lambda 等)以最佳方式执行此操作(在性能、安全性和成本方面)。