我正在尝试创建一个执行 Hive 查询的 AWS Datapipeline，其输出被写入 S3 存储桶。然后将数据从 AWS Redshift 集群中的 S3 存储桶中移出。
Hive 查询使用 Kinesis Stream 作为其输入。我正在尝试利用 Kinesis 的检查点功能，并希望将一个变量传递给我的 ShellCommandActivity，以便我可以在配置单元脚本中设置迭代次数。无论如何，我是否有一个每次运行数据管道时都会增加 1 的变量？
任何帮助都会很棒！
我正在尝试创建一个执行 Hive 查询的 AWS Datapipeline，其输出被写入 S3 存储桶。然后将数据从 AWS Redshift 集群中的 S3 存储桶中移出。
Hive 查询使用 Kinesis Stream 作为其输入。我正在尝试利用 Kinesis 的检查点功能，并希望将一个变量传递给我的 ShellCommandActivity，以便我可以在配置单元脚本中设置迭代次数。无论如何，我是否有一个每次运行数据管道时都会增加 1 的变量？
任何帮助都会很棒！