palantir-foundry - Foundry 数据连接中的源“S3（通过 Hadoop）”和“S3（直接）”有什么区别？

Question

Foundry Data Connection 中可用的两个 S3 源选项之间有什么区别？

• S3（通过 Hadoop）
• S3（直接）

是摄取镶木地板文件的首选吗？

Answer 1

通过 Hadoop 的 S3 是目前​​经过最佳测试且最灵活的 S3 选项，但大量文件的性能非常差。

S3 Direct 是使用 Amazon S3 开发工具包直接从 S3 读取的，其性能明显优于 Hadoop，因为它需要O(1)而不是O(number of files)网络调用。

我们建议尽可能使用 S3 直接源。