问题标签 [amazon-s3-select]

我正在尝试使用 Amazon S3 Select 从 CSV 文件中读取记录，如果该字段包含换行符 (\n)，则该记录不会被解析为单个记录。此外，根据标准 CSV 格式，字段内的换行符已通过双引号正确转义。

例如，下面的 CSV 文件

被解析为

第 1 行：身份证、姓名、年龄、姓氏、地点

第 2 行： p1,Albert Einstein,25,"Einstein

3号线：​​剑桥”，剑桥

4号线： p2,Thomas Edison,30,”Edison

5号线：加的夫”，加的夫

理想情况下，它应该被解析如下：

第 1 行：

身份证、姓名、年龄、姓氏、地点

第 2 行：

p1,阿尔伯特·爱因斯坦,25,”爱因斯坦

剑桥”，剑桥

第 3 行：

p2,托马斯·爱迪生,30,”爱迪生

加的夫”，加的夫

我在他们的文档中给出的 SelectObjectContentRequest 中将 AllowQuotedRecordDelimiter 设置为 TRUE。它仍然无法正常工作。

有谁知道 Amazon S3 Select 是否支持上述案例中所述的字段内换行符？或者我需要更改或设置任何其他参数才能使其正常工作？

我对关于返回数据和扫描数据的 S3 选择定价感到困惑。如果我想访问 json 文件中某个索引处的某些内容，它是否仍会扫描整个文件并且扫描的数据会计入整个文件大小？假设我对此示例文件使用以下查询：

select * from S3Object[*].place1[*].Houses[*]

它会对整个文件的扫描数据收费还是会因为我直接访问 Houses 数组而减少？

我正在尝试从 amazon S3 存储桶中读取 CSV（这可以是任何 CSV，所以我没有提前读取标题/数据类型信息。

我可以使用以下方式获取标题信息：

这给了我标题信息。

1. 有没有办法获得最近的数据类型（或者它总是作为字符串）。有没有其他方法可以在 javascript 中获取 csv 的数据类型。（如果我知道我可以投射的列，但这是动态的）

2. S3 Select docs 说可以进行聚合，但是在尝试相同的操作时，总是会出现“第 1 行第 12 列的列索引无效。请检查服务文档并重试”的错误。

错误

谢谢

我希望将 S3 视为主 Redis DB 的备份存储。

我希望能够将数据从 Redis 归档到很少使用的 S3 中。然而，这提出了一个问题，即 S3 选择有多快？例如响应 Apache 上的发布请求是否足够快？

我希望存储的数据是 JSON 文件，其中包含一天中每一分钟的 5 或 6 个值，因此该文件不太可能大于几兆，并且将包含 1440 个对象（一天中每分钟 1 个）。任何人都可以分享他们在选择这样的数据时的延迟经验吗？

我现在正在为其完成测试设置，但如果响应时间通常为 5 秒，我不想浪费时间。

这里是write_to_csv：

我正在使用 s3 select 读取包含 2 col 的 csv 文件。

我正在生成 1 IM :1 CTID，一对多和多对多文件并将其上传回 s3 存储桶

我该如何优化它，因为它需要 18 小时来处理从 s3 读取的 530 MB 文件大小并上传回来？

我使用 s3 select 来获取选择性数据并将它们显示在我的前端。我将字节数组转换为缓冲区，然后转换为字符串，如下所示

let dataString = Buffer.concat(records).toString('utf8');

我得到的结果是下面的字符串

现在我想将它们转换为 json 数组，我得到了如下解决方案

现在的问题是我已经用新行拆分了它们，如果 json 被压缩或数据本身可以有新行，则无法工作。

处理这种情况的最佳方法是什么。我想要下面的输出

我想将s3 select与 Java 一起使用，但出现此错误：

这是我的代码：

我使用图像adobe/s3mock:2.1.22使用 docker创建了 s3 容器，并将 JSON 文件放入我的存储桶中

请提供任何帮助；

当我尝试运行时收到“Precondition Failed”错误：

我关注了 https://metacpan.org/pod/Paws::S3::SelectObjectContent#RequestProgress-=%3E-Paws::S3::RequestProgress

我已经使用我的存储桶和密钥成功调用了“GetObject”，因此这些不对错误负责。

我有以下代码片段。

然而，正如这里所见，结果是 type Model::SelectObjectContentOutcome。通过遵循此处的文档，这包括一个Aws::NoResult，虽然有一个GetResult方法，但没有实际的方法来获取或解析结果。程序返回Success意味着请求实际上应该返回一些东西。有谁知道如何做到这一点？谢谢！

我发现 .NET v4.8 和 .NET v5.0 / .NETCore v3.1 之间的 AWS SDK 似乎发生了重大变化。按照官方博客中的教程，我发现我无法使用同步方法编译/运行 .NET v5.0 或 .NETCore v3.1 中的示例SelectObjectContent。AWS SDK API 很清楚这是一个可调用的方法，但我的 Visual Studio/Rider 看到它是作为一种internal方法实现的，所以我无法干净地访问它。事实上，我什至无法编译。

然而，经过详尽的尝试后，我意识到回到 .NET Framework v4.8，它的工作原理与宣传的一样，即使使用相同的 AWS SDK nuget (v3.7.0.21)。

是否有访问该功能的首选方式，或者是否意外引入了未记录的重大更改？我不确定如何区分这是 .NET Framework 还是 AWS SDK 的问题，所以我不确定在哪里报告。代码来自 AWS，但这取决于 .NET Framework 版本。