1

有人对数据管道有任何经验吗？

我一直试图找出是否有办法在管道中的活动之间传递参数。不幸的是，aws 文档在这些问题上不是很有帮助......可以说我有一个 ShellCommandActivity 和一个 EmrActivity。我想从我的 ShellCommandActivity 中获取一个字符串，稍后我可以将其用作 EmrActivity 的参数（比如说文件名或 s3 路径）或者管道中的其他对象 - 例如 DataNode

任何帮助将非常感激

4

1 回答 1

1

实现这一点的一种方法是让 shell 脚本将字符串写入 S3 中的某个文件。在 EMR 活动中读取文件。还要添加 EMR 活动依赖于 ShellCommandActivity

于 2013-08-08T14:02:12.830 回答