0

我有一个 Athena/PrestoDB 查询,它返回多达 3 亿个设备 ID。此屏幕截图显示了在 AWS UI 中执行时的查询。结果显示在 1 分钟内,我在几分钟内从 UI 中提供的链接下载了完整的结果 (319MB)。

在此处输入图像描述

当我通过 JDBC 连接执行相同的查询时,我收到一个方法未实现的错误。AWS 文档中的 AthenaJDBC41-1.0.0.jar 似乎尚未实现getCharacterStream

ActiveRecord::StatementInvalid: ActiveRecord::JDBCError: com.amazonaws.athena.jdbc.NotImplementedException: Method ResultSet.getCharacterStream is not yet implemented: SELECT distinct(device_id) FROM presales.sightings_v3 WHERE DATE(date) BETWEEN DATE('2016-03-01') AND DATE('2016-03-02') AND ( contains(audiences, 1133) OR contains(audiences, 1149) OR contains(audiences, 1184) );

我正在使用来自AWS 文档的驱动程序 AthenaJDBC41-1.0.0.jar ,我的示例连接可以在这里看到

我的猜测是ResultSet.getCharacterStream方法仅用于大结果,因为我的其他查询工作正常。

理想情况下,我希望此响应包含 query_id 或 S3 路径与流式传输大数据结果。我很好奇 Athena UI 如何生成指向 S3 上结果的链接?

4

1 回答 1

1

您可以从 ResultSet 中获取查询 id

((AthenaStatementClient)((AthenaResultSet)rs).getClient()).getQueryExecutionId()

有了它,您可以构建 S3 路径

<s3_staging_dir>/<query_id>.csv
于 2017-04-01T03:51:45.463 回答