0

我学会了通过命令行界面创建工作流程。我正在使用亚马逊弹性 mapreduce cli 来创建和运行作业流程。我的疑问是，我想在创建的作业流创建时使用引导操作将我的源文件从 s3 存储桶放入主节点。我在交互模式下使用 Pig Program 来运行我的工作流程。

我阅读了有关引导操作的文档，但这些事情对我来说并不清楚。

提前谢谢谁能告诉我如何使用引导操作将我的文件从 s3 存储桶复制到主节点。

4

1 回答 1

1

引导操作只是标准的 Unix 脚本。确保 shebang 指向集群中机器上的解释器，一切顺利。

当您说源文件时，您是指您的猪脚本吗？这些可以直接从 s3 运行。如果您在谈论数据，则应直接从 s3 中读取这些内容，除非您有先复制到集群的用例（例如多次扫描相同的数据）

于 2013-07-27T11:06:48.323 回答