问题标签 [amazon-redshift]

刚刚测试了AWS Redshift，并在插入时发现了一些重复数据，我希望这些数据在键列中的重复时会失败，阅读文档显示主键约束没有“强制”。

任何人都想出了如何防止主键重复（根据“传统”期望）。

感谢所有 Redshift 先驱！

我正在尝试将一些 MySQL 表迁移到 Amazon Redshift，但遇到了一些问题。

步骤很简单： 1. 将 MySQL 表转储到 csv 文件 2. 将 csv 文件上传到 S3 3. 将数据文件复制到 RedShift

第 3 步出现错误：

SQL 命令是：

从 's3://ciphor/TABLE_A.csv' 复制 TABLE_A CREDENTIALS 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx' delimiter ',' csv;

错误信息：

执行 SQL 命令时出错：copy TABLE_A from 's3://ciphor/TABLE_A.csv' CREDENTIALS 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx ERROR: COPY CSV is not supported [SQL State=0A000] Execution time: 0.53s 1 个语句失败。

我不知道 csv 文件的格式是否有任何限制，比如分隔符和引号，我在文档中找不到它。

任何人都可以帮忙吗？

我想使用 Tableau 从 AWS RedShift 检索数据然后生成报告，我尝试使用从 Tableau 网站下载的 PostgreSQL 驱动程序，但无法建立连接。

有谁知道怎么做？

更新：也在 PgAdmin 支持邮件列表中询问。

所以我有一个 AWS Redshift 集群启动并运行，我可以从命令行连接到它

$ psql -h host -d database -p port -U username

我想通过 pgAdmin III 连接到集群，但是在我连接到集群后，我收到一条错误消息：

错误：必须是超级用户才能查看 default_tablespace

请注意，我输入的字段是：名称、主机、端口、维护数据库、用户名和密码，所有这些都与使用 psql 命令输入的相同。

现在，如果我通过 psql 连接，我会检查：

$ \tu

这个用户 [AWS 授予的主用户] 实际上是一个超级用户。那么对于可能导致此错误的原因有什么建议吗？

作为后续问题，当我连接到其他远程数据库时，即使我不是超级用户，我也不会收到此错误，那么这里发生了什么？Redshift 在通过 pgAdmin 连接时会导致发生此错误怎么办？

是否有任何现有的用于一般网络分析工作负载的架构模板，例如类似于 Google Analytcis，它可能至少有以下表格

1. 用户
2. 网站
3. 要求

由于我不想重新发明轮子，我正在寻找任何现有的定义良好的模式或良好的关系建模是否适合我的需要。

任何想法？

备注：我在 AWS RedShift 上运行，但我认为大多数面向列的数据库应该有类似的架构。

这个命令给了我错误，我需要在 Postgresql 的标识列中插入一个值。

我们正在开发一个平台，该平台可以对图形中的实体流进行建模。系统必须回答这样的问题：有多少具有这些属性的实体位于图上的给定节点，节点上的流入量是多少，节点上的流出量是多少等。流数据以流的形式馈送到系统。我们正在考虑打破时间桶（比如 5 分钟）中的流数据，并针对不同的属性预先计算各种聚合，并将聚合存储在 DynamoDB 中以服务查询。

对此，我们正在评估以下选项：

• EMR：将流数据放入 AWS -S3/DynamoDB 运行 Map Reduce/hive 作业

• 将最近的数据放入 AWS-RDS，通过 sql 计算聚合

• Akka：它是一个通过 Actors 和消息传递构建分布式应用程序的框架。

  如果有人从事过类似的用例或使用过上述任何技术，请告诉我哪种方法最适合我们的用例。

有没有办法从 Amazon Redshift 进行 SQL 转储？

您可以使用 SQL 工作台/J 客户端吗？

如何在 SQL workbench/j 中添加计算列（作为 amazon redshift 的客户端）

我也尝试SELECT用常量字符串值替换语句，但它不起作用。

我在执行复制命令以从 python 将数据从 S3 加载到 Amazon 的 Redshift 时遇到问题。
我有以下复制命令：

当我使用 SQL Workbench/j 执行此命令时，一切都按预期工作，但是当我尝试使用 python 和 psycopg2 执行此命令时，命令通过 OK，但没有加载数据，也没有引发错误。
尝试了以下两个选项（假设 psycopg2 连接正常，因为它是）：

两者都通过而没有警告但尚未加载数据

想法？

谢谢