hadoop - map reduce 从 ftp 读取文件

Question

我们有一个从 FTP 服务器下载文件的应用程序。我们计划使用 Map reduce 从 ftp 下载文件来提高其效率。我的第一个问题是，使用 Map reduce 是否真的可以提高效率？我们从逻辑上认为，多个映射器和每个映射器中的读取通道实际上会使并行下载过程更快。但我们不确定是否存在技术障碍。任何指针？

Answer 1

如果您希望通过使用 Map Reduce 来提高下载速度，那么这不会有太大帮助。

您可以使用 Map Reduce 执行的操作类似于如果您有 100Gb 的文件并且您想要处理它们并有效地查找特定单词的计数。但即使是 Map Reduce 也无法立即处理 FTP 中可用的文件。为了使 Map Reduce 工作，您需要该文件在 Hadoop 分布式文件系统 (HDFS) 中可用。

要了解什么是 hadoop，什么不是 hadoop，请阅读这篇文章。