问题标签 [aws-redshift]

我正在尝试将数据从 s3 中的大量文件复制到 Redshift。我对包含这些文件的 s3 存储桶具有只读访问权限。为了有效地复制它们，我创建了一个清单文件，其中包含指向我需要复制的每个文件的链接。

这是我尝试使用存储桶 2 中的清单从存储桶 1 复制数据的命令：

但是，在运行此命令时，我收到以下错误：

我相信这里的问题是我在我的 COPY 命令中传递了 bucket_1 凭据。是否可以将多个存储桶的凭据（带有实际文件的 bucket_1 和带有清单的 bucket_2）传递给 COPY 命令？假设我没有对 bucket_1 的写入权限，我应该如何处理这个问题？

我的源数据库是 AWS RDS，我的目标表是 AWS Redshift。数据加载成功，但之后更改不会推送到目标数据库，也没有异常。

配置：迁移类型：满载，持续复制 源数据库：AWS RDS MariaDB 目标数据库：AWS Redshit

问题：第一次上传后，没有对目标数据库的插入、更新、删除。

更新：我重新启动了 DMS 任务，它复制了目标数据库上的数据库记录，但现在它正在更新目标数据库。我删除并重新加载了一张表，它复制了记录。

我需要针对我的 Redshift 集群模拟一些基本的负载测试，并且我需要并行执行大约 20 个 SELECT 查询。

由于 Redshift 不支持存储过程，我很想了解如何实现这一点。

我有这个红移 SQL 查询。我使用“REGEXP_SUBSTR”函数从评论中提取了一个带小数的数字。我还需要将它从字符串转换为数字/十进制。然后，我需要从总数中减去这个数字。

这是我的查询

我尝试在 Redshift SQL 上使用“to_number”函数，但它给了我以下信息：错误：数字类型的输入语法无效：“”

这是当前输出在从评论栏中提取数字退款金额之前：

这是在将上述 SQL 查询与 REGEXP 一起使用后的结果。我仍然得到一些异常。

两个问题

1. 如何编辑 REGEXP 以考虑上面看到的异常情况
2. 如何将我的字符串 REGEXP 转换为数值以与另一个数值列进行减法？

任何帮助，将不胜感激。

由于我无法控制的原因，我有以下几点：

• DynamoDB 中一个 AWS 账户下的一张表CustomerPhoneNumber。
• 不同AWS 账户（相同地理区域；欧盟）下的 Redshift 集群

有没有办法运行COPY命令将数据从 Dynamo 跨账户移动到 Redshift？

通常，如果他们在同一个帐户下，则可以很容易地通过IAM角色完成：

但显然这在我的情况下不起作用。

有任何想法吗？

我在红移中有超过 300 多个表。

数据每天都在更新，基本只是想知道我可以在 redshift 中创建一个 udf 来自动化 vaccum 过程。

我发现了一个使用 python 自动链接的链接，但不是我正在寻找 sql 脚本中的解决方案的那个伟大的 python 编码器。

我想知道是否有办法将表所有者分配给 Redshift 中的一个组或多个用户？如果没有，您是否有任何解决方法来解决此需求？

感谢您的任何提示。