我正在浏览AWS Athena Federated Query 页面并了解到“您可以使用 Athena Federated Query（预览版）来查询数据或构建从多个数据源中提取数据并将其存储在 Amazon S3 中的管道。”
如果我在 AWS 账户之外有大量数据，我仍然需要将数据传输到 S3，以便我可以在 Athena 中使用它吗？
请各位大侠分享一下经验？谢谢
问问题
276 次
3 回答
2
如果我在 AWS 账户之外有大量数据，我仍然需要将数据传输到 S3，以便我可以在 Athena 中使用它吗？
不，您无需将数据传输到 S3 即可使用 Athena Federated Query 进行查询。您可以连接外部资源并查询它们。但是，您查询的结果将始终保存在 S3 上。
这使其成为一种从外部源提取、传输和加载数据到 S3 的相对简单的方法（例如，如果您想将其用于 AWS 中的其他服务）。
使用 Athena 联合查询，不再需要构建复杂的 ETL 工作流。只需查询您的外部数据源，数据就在 S3 中。
于 2020-05-26T20:27:20.353 回答
0
Athena 支持其他来源。Amazon 提供了这些数据源连接器的列表，并附有详细说明如何实现每个连接器的文档。
值得一提的是，如果您希望 Athena 能够通过 Internet 高效/安全地传输数据，则会挑战这一点。
于 2020-05-25T12:39:55.067 回答
0
不需要将数据传输到 S3。例如，您可以直接使用 Lambda 连接器查询 DynamoDB 中的数据，该连接器可以从 AWS 中使用。
这里值得一提的是 Athena 超时时间为 30 分钟，但如果您要使用一些使用 Lambda 的连接器，请记住 Lambda 的最大超时时间为 15 分钟。
于 2020-06-13T10:37:08.913 回答