问题标签 [amazon-redshift]

我目前在 S3 中有一个文件。我想使用 Java AWS SDK 发出命令，以获取这些数据并将其放入 RedShift 表中。如果表不存在，我也想创建表。我一直找不到任何明确的例子来说明如何做到这一点，所以我想知道我是不是走错了路？我应该使用标准 postgres java 连接器而不是 AWS 开发工具包吗？

所以我对 Redshift 的了解有限，这是我解决问题的计划......

我想获取查询结果，并将它们用作 EMR 作业的输入。以编程方式解决此问题的最佳方法是什么。

目前，我的 EMR 作业将来自 S3 的平面文件作为输入，并且我使用 Amazon Java SDK 来设置此作业和所有内容。

我是否应该将 RedShift 查询的输出写入 S3，并将我的 EMR 作业指向那里，然后在 EMR 作业完成后删除该文件？

或者 RedShift 和 AWS SKD 是否提供了一种更有资源的方式来直接将查询从 RedShift 传输到 EMR，从而省去 S3 步骤？

谢谢

最近与 Amazon Redshift 团队的成员进行了交谈，他们表示正在制定解决方案。

我在 s3 中有一个压缩文件。我想将它插入 RedShift 数据库。我的研究发现这样做的唯一方法是启动一个 ec2 实例。将文件移到那里，解压缩，然后将其发送回 S3。然后将其插入我的 RedShift 表中。但我试图从外部机器的 JavaSDK 完成这一切，并且不想使用 Ec2 实例。有没有办法让 EMR 作业解压缩文件？还是将压缩文件直接插入 RedShift？

文件是 .zip 而不是 .gzip

我使用以下查询来创建我的表。

然后我插入大约 500 个网址，两次。我希望第二次获得没有新条目出现在我的表中的 URL，而是我的计数值加倍：

我想要的是，当我尝试添加一个已经在我的表中的 url 时，它会被跳过。我是否在我的表减速中声明了一些不正确的东西？

我正在使用 AWS 的 RedShift。

样本

\d 种子的输出

urlenrich=# \d 种子

我已经获取了每日转储文件并将其解压缩，然后将其放回 s3。

当我尝试在 postgresql 中执行复制语句时，我收到以下错误

询问：

我是否必须在每一行中添加一些字符？

原始数据：

在 AWS Redshift 中，我想将排序键添加到已创建的表中。有没有可以添加列并将其用作排序键的命令？

我有两个表，对于表 1 中的每个 ID 和级别组合，我需要在表 1 中的级别的连续时间之间计算匹配 ID 出现在表 2 中的次数。

例如，对于 table1 中的 ID = 1 和 Level=1，来自 table2 的两个 ID=1 的时间条目落在 table1 中 Level=1 和 Level=2 的时间之间，因此结果表中的结果将为 2。

结果将是

我有以下 postgres 查询：

<parameter>是一个动态文本字段，需要插入多个 ID。如果你输入

123, 456

作为ID，它会导致：

哪个不能正常运行。

我可以更改查询，但不能更改输入字段。如果你输入

123','456

结果是：

当您将查询更改为：

然后你输入

123,456 然后它导致：

我已经让它适用于 Mysql，但不适用于 Postgresql。知道如何欺骗 postgresql 吗？

对于 Amazon RedShift，通常使用“复制”命令从 S3 加载数据。我想知道命令是否是原子的。例如，是否有可能在某些特殊情况下仅将部分数据文件加载到 RedShift 表中？

我使用 Amazon Redshift 进行数据分析，有时我使用“卸载”将 RedShift 表卸载到 S3 中，然后将数据复制到另一个 Redshift 实例中。

由于我在执行“卸载”时只需要指定数据文件的前缀，并且它会在 S3 存储桶中创建许多文件，因此我需要一种优雅的方式来清理所有这些数据文件。我不想枚举存储桶中的每个对象并检查键是否与前缀匹配。