amazon-s3 - 从 RDS 到 S3 副本的模板上的数据管道错误

Question

我正在使用模板进行复制。在“S3”数据节点中，我配置了自定义格式，因为我的列数据包含“逗号”。

我使用的自定义数据格式具有以下属性

列分隔符 " 是 PIPE ("|") 并且记录分隔符是 "\n"

当我运行管道数据时不会加载到 S3 并给我以下错误

复制记录时出错\n原因：java.lang.reflect.InvocationTargetException\n原因：null\n原因：引号字符必须以记录格式定义

任何人都遇到过这个问题。

Answer 1

"Escape Char" option is not shown under "Custom" format type in AWS Data pipeline

You can use "TSV" type as your custom format type and provide:

• "Column separator" as pipe(|),
• "Record separator" as new line(\n),
• "Escape Char" as backslash(\) or any other character you want.

Answer 2

如果您使用 Aurora 作为源数据库，我建议您使用SELECT INTO OUTFILE S3命令。否则，使用 EMR 构建您自己的（hive 和 sqoop 项目将帮助您）。