postgresql - 我可以在哪里放置 SQL 代码以删除 AWS Data Pipeline 中的表？

Question

我需要添加一些 SQL 代码来删除数据管道中的 Redshift 表。我可以把它放在一个特定的领域吗？我可以把它放在创建表 SQL 字段中吗？

Answer 1

您应该能够为此使用SQL 活动。将Redshift 数据库附加到它的“数据库”字段中，并使用“脚本”字段删除所需的表。

例子：

{
  "id" : "MySqlActivity",
  "type" : "SqlActivity",
  "database" : { "ref": "MyRedshiftDatabase" },
  "script" : "... drop table or any arbitrary sql query ... ",
  "schedule" : { "ref": "Hour" },
  "queue" : "priority"
},
{
  "id" : "MyRedshiftDatabase",
  "type" : "RedshiftDatabase",
  "clusterId" : "clusterId",
  "username" : "user_name",
  "*password" : "my_password",
  "databaseName" : "database_name"
}

Answer 2

您能否为您的活动添加更多背景信息？

您可以通过 ShellCommandActivity 运行任意命令。

例子：

出错时退出脚本

设置-e

1.安装PSQL客户端

sudo yum install postgresql93 -y

2.在Redshift中运行$RedShiftFile中的sql语句

导出 PGPASSWORD=$REDPwd psql -h $RedShiftHost -p $RedShiftPort -U $RedShiftUsr -d $RedShiftDb -f $RedShiftFile

Answer 3

您能否为您的活动添加更多背景信息？

您可以通过 ShellCommandActivity 运行任意命令。

例子：

//在错误集上退出脚本 -e

//1. 安装 PSQL 客户端 sudo yum install postgresql93 -y

//2。在Redshift export PGPASSWORD=$REDPwd psql -h $RedShiftHost -p $RedShiftPort -U $RedShiftUsr -d $RedShiftDb -f $RedShiftFile 中运行sql语句