hadoop - 亚马逊 EMR 问题

Question

我必须将自定义 Linux 应用程序的输出提供给 Hadoop，Amazon EMR 似乎是一种很好的试验方式。我真的才刚刚开始研究 Hadoop 和 Amazon 文档，所以一些建议将不胜感激......

我可以在 SELinux 环境中运行我的应用程序吗？
我能否在 Amazon EMR 节点上部署/执行我的应用程序（用 C++ 编写）？在这种环境下，将应用程序（字符串、双对）的输出输入 Hadoop 的方法是什么？

谢谢你。

Answer 1

1. 是的。您可以根据需要配置 EMR 实例。
2. 是的，如果您在 EMR 集群中安装 g++，您就可以执行您的 c++ 应用程序。对于上述 2 个用例，您必须访问 EMR 中的主节点。您可以使用简单的 SSH 访问主节点。
3. 一种方法是将 c++ 应用程序的输出存储在文件中。将该文件加载到 HDFS/S3。使用 HDFS 上的该文件作为 Hadoop 的输入。