hdfs - 如何将输入文件自动放入hdfs？

Question

在 Hadoop 中，我们总是通过 -put 命令手动放置输入文件。有什么方法可以使这个过程自动化吗？

Answer 1

没有将文件输入到 Hadoop 文件系统的自动化过程。但是，可以使用一个命令 -put 或 -get 多个文件。

这是 Hadoop shell 命令的网站 http://hadoop.apache.org/common/docs/r0.18.3/hdfs_shell.html

Answer 2

我不确定您将多少文件放入 HDFS，但查看文件然后将它们放入的一种解决方案是 Apache Flume。这些幻灯片提供了不错的介绍。

Answer 3

您可以使用 Fabric 库和 python 自动执行此过程。在函数中编写 hdfs put 命令，您可以为多个文件调用它，并对网络中的多个主机执行相同的操作。Fabric 应该非常有助于在您的场景中实现自动化。