问题标签 [amazon-s3-select]

我试图了解 AWS Athena 服务和新发布的 S3 select（仍处于预览状态）之间的区别。

两者的用例有何不同？似乎都有助于从 S3 中选择部分数据。

有没有人得到“S3 Select” （ https://aws.amazon.com/blogs/aws/s3-glacier-select/，https://aws.amazon.com/about-aws/whats-new/2018/04 /amazon-s3-select-is-now-generally-available/）与boto3（甚至cli或其他sdk）一起工作？我在下面得到了神秘的 InternalError：

在具有 IAM 角色的 EC2 上运行：

Amazon 的 S3 Select允许用户针对 S3 对象编写 SQL，但关于支持哪些标准 SQL 功能的文档不足。

根据文档，Amazon S3 Select支持AVG、、、、和。但是当我运行任何聚合查询时，我会收到一个错误，例如COUNTMAXMINSUM

botocore.exceptions.ClientError：调用 SelectObjectContent 操作时发生错误 (UnsupportedSqlOperation)：不支持的 SQL 操作 GROUP BY。请查看服务文档以了解支持的操作。

这是一些要重现的代码：

我正在尝试从 s3-select 中的 json 数据中查询数据。

所有这些查询都可以正常工作并根据需要返回相应的对象，但是当我尝试搜索名称/汽车上的数据时，它不起作用。

错误：com.amazonaws.services.s3.model.AmazonS3Exception：第 1 行第 32 列的列索引无效。

s3-select online 上相关内容不多。想知道我们是否可以查询字段名称！文档中没有提供带有 s3-select 的 where 子句的选择查询示例

给定一个名为的 S3 存储桶my-bucket，其中包含一个名为 的存储桶，my-object如果对象值包含键/值对列表，是否可以从对象中检索值？

即如果my-object包含具有以下键/值对的文件：

是否可以使用 SDK for Java 通过其键检索“foo”的值？

我正在测试S3 Select，据我从示例中了解到，您可以将单个对象（CSV 或 JSON）视为数据存储。

我想为每个 S3 对象创建一个 JSON 文档，并将整个存储桶作为“数据库”进行搜索。我将每个“文件”保存为<ID>.json每个文件都有具有相同架构的 JSON 文档。

是否可以在一次调用中搜索多个对象？即查找所有 JSON 文档where customerId = 123？

Amazon S3 有一项名为的新功能select from，它允许对简单数据文件（如 CSV 或 JSON）运行简单的 SQL 查询。所以我想我会尝试一下。

我创建了以下 CSV 并将其上传到我在俄勒冈州的 S3 存储桶（我认为这个文件非常简单）：

我指出这是带有标题行的 CSV，并发出以下 SQL：

从 s3object 中选择 *

...按预期工作，返回：

然后我尝试了提供的示例查询之一，但失败了：

...错误消息是“文件中缺少查询中的某些标头。请检查文件并重试。”。

还尝试了以下方法，每次都收到相同的错误：

因此，每当我的查询在 SELECT 或 WHERE 子句中按名称或编号引用列时，我都会得到“查询中的标题丢失”。AWS 文档没有提供有关此错误的后续信息。

所以我的问题是，怎么了？是否有关于列标题的未记录要求？是否有未记录的方式来引用列？“选择来源”功能是否有错误？

我正在使用 S3 Select 从 S3 Bucket 读取 csv 文件并输出为 CSV。在输出中，我只看到行，但看不到标题。如何获得包含标题的输出。

CSV

s3select 的输出

我正在使用 S3 Select 读取 csv 文件并输出到 JSON。现在我希望将 S3 Select 的 JSON 输出转换为 pandas 数据框。是否可以将 S3 Select JSON 输出转换为 pandas 数据框？

使用mysql以下代码：

将拉动表格的第 5 到第 10 行。通过 S3 选择中的 SQL 引擎执行此操作的等价物是什么（我相信 PrestoDB）？是否有与 S3 选择一起使用的行号构造函数或运算符？