hadoop - 在 hadoop 流中使用 fopen

Question

当我使用 hadoop 流执行它时，如何在本机应用程序中打开文件？

例如，我的代码如下所示：

int main(int argc, char** argv){
   FILE* fp = fopen(argv[1], "a+");
   ...
   fscanf(fp, "%d", val);
   ...
   fclose(fp);
}

如果不可能，您能否建议任何其他方法或与之相关的建议。

如果可能，是否有此主题的任何文档。如何不为 hadoop-streaming 编程。

对不起我的英语不好。

谢谢

Answer 1

当我使用 Hadoop 流执行文件时，如何在本机应用程序中打开文件？

HDFS 通过WebHDFS和HttpFS为各种操作提供了 REST API 。可以从所有语言务实地访问 REST API。另请注意，这些语言还具有可轻松针对 REST API 进行编程的库。