我有一个连接到远程系统并使用 sftp 协议从中传输数据的应用程序。我想使用 mapreduce 作业来做同样的事情。我需要一种从输入流中读取的输入格式。我一直在浏览 HStreamInputFormat 和 StreamInputFormat 的文档，但我的 hadoop-2.0 似乎不支持这些类。我该如何进行？任何指向使用输入格式从输入流中读取的教程或示例的链接？
问问题
325 次
1 回答
0
如果这些 SteamInputFormats 不支持您的需求，那么您最好根据您的自定义需求编写自己的 InputFormat。请阅读本教程以了解如何编写自己的自定义 InputFormat 和 RecordReader。
于 2012-12-12T05:34:11.647 回答