问题标签 [amazon-s3-select]

有没有办法我们可以使用版本 ID 在特定版本的 s3 对象上运行选择对象内容（s3 选择）？

我在选择对象内容文档中找不到任何引用来指定版本 ID，就像我们在获取对象请求中有版本 ID 字段一样。

我查看了链接并试图了解它是什么s3 select。

大多数应用程序必须检索整个对象，然后仅过滤掉所需的数据以进行进一步分析。S3 Select 使应用程序能够将过滤和访问对​​象内部数据的繁重工作交给 Amazon S3 服务。

根据上面的陈述，我试图想象什么是正确的用例。

如果我有一个包含 1 亿行的单个 excel 文件，坐在 S3 上，我可以使用 S3 Select 查询部分行，而不是下载整个 1 亿行，这有帮助吗？

我正在尝试使用S3 Select 使用以下查询从 S3 上的 CSV 文件中查询一些数据：

但是，这失败了：

我相信这是因为我使用反引号来逃避我想从中获取数据的列。如果我不转义列名，则会失败并显示以下内容：

我猜这是因为列名中的 / 。有没有办法从这个文件的这个特定列中获取数据？提前致谢！

我有以下代码，用于对位于 S3 存储桶中的密钥文件运行 SQL 查询。这完美运行。我的问题是，我不希望将输出写入输出文件。我可以在屏幕上看到输出（我的偏好 #1）吗？如果不是，那么附加到输出文件而不是覆盖它的能力怎么样（我的偏好＃2）。我正在使用 AWS-CLI 二进制文件来运行此查询。如果有其他方法，我很乐意尝试（只要它在 bash 内）

我正在尝试解析由二元运算符+、一元运算符not和标识符组成的表达式，这些标识符可以是任何不是的字母字符串not

跑步

给出了我的期望

但是，如果没有括号

我只得到第一个令牌：

如何在没有括号的情况下定义语言以按照我的意愿工作？

（实际情况下有更多的运算符和保留字：这是向解析 S3 Select 语言迈出的一步）

我正在尝试使用 AWS S3SelectObjectContent和 SQL 表达式从以 CSV 格式存储的数据中发出选择请求。我正在使用 Laravel 6。

当我从对象 ( ) 请求所有数据时'Expression' => 'SELECT * from S3Object'，一切正常。我检索数据并可以使用它。当我想WHERE在 SQL 表达式中使用 - 子句时会出现问题。

这是我的代码：

我收到以下错误：

当我检查文件（直接从 S3 存储桶下载）时，在第一行中，我发现标题以逗号分隔，正如我所料：continent,country,user_name,created_at

我还尝试使用位置标题并将表达式更改为'Expression' => 'SELECT * FROM S3Object s WHERE s._1 = "Europe"'and 'FileHeaderInfo' => 'IGNORE'，但这给了我另一个错误：

我不知道如何进行。我已经看过这个帖子，但它没有帮助。也许有人有线索？请随时告诉我您可能需要哪些进一步的信息来帮助我解决此问题！

提前致谢！

编辑

我尝试通过 AWS 控制台查询 csv 文件，一切正常：我使用文件头信息的 SQL 表达式以及我使用位置头信息的 SQL 表达式。在我的控制器中传输 SQL 表达式我得到了我上面提到的相同错误：

查询缺少标题'SELECT * FROM S3Object WHERE continent = "Europe"'（和'FileHeaderInfo' => 'USE'）

查询的无效列索引'SELECT * FROM S3Object s WHERE s_1 = "Europe"'（和'FileHeaderInfo' => 'NONE'）

我正在尝试在 AWS S3 SELECT Web UI 中为 CSV 选择从，但我收到以下错误消息：

但是没有选项可以设置AllowQuotedRecordDelimiter为TRUE

请指教

我正在尝试使用 S3 Select Object 内容来解析具有 NUL 分隔符的 CSV 文件。

我尝试过的 S3 API 命令是 -

这似乎不起作用并返回我

有没有办法使用 NUL 作为 S3 Select Object Content 的分隔符？

我有以下json结构：

是否可以使用 S3 选择通过标签（或标签）过滤该 json 结构？

例如：

不起作用。我想要 json 对象回来，所以

不是正确的陈述，因为它只提供标签列表。

非常感谢

我正在尝试使用 Java SDK 使用 S3 选择从 S3 中的对象中扫描并获取大量数据。我正在使用scanRange类来提供 S3 对象的start和end字节范围。s3 对象是一个 9MB 的 parquet 文件，未压缩大小为 84MB。

scanRange在获取没有选项的 s3 对象时SelectObjectContentRequest，我得到了一个 84MB 的文件，如预期的那样。

但是，scanRange即使在使用时，我也得到了整个 84MB 文件，无论我提供了多少字节。startend

以下是我正在使用的代码片段：

其中S3SelectParserRequest初始化为：

并且getS3SelectResponse被称为：