3

是否有任何简单、易于启动的 java 工具用于可视化 map reduce 作业目录中的键/值数据?

具体来说,我想浏览一个 20-job map reduce 工作流程,点击单个文件并查看数据,甚至可能查看文件大小的直方图。

  • 这里有一些警告,例如 -

    • 一些文件有序列化数据(不仅仅是文本)
    • 显然,这个系统在“云规模”上使用可能会很愚蠢,而不是它的开发工具。

然而,这样的工具将有助于开发和本地调试大型连接的 m/r 管道。

这是出于开发目的(我没有尝试在真实集群中可视化分布式键/值 hadoop 数据)。

4

1 回答 1

1

查看KarmaSphere 工作室

逐步监控作业执行
- 带有结果的工作流:显示 MapReduce 作业每个步骤的结果输出。
- 来自桌面的 Hadoop 日志:从桌面轻松访问 Hadoop 日志。
- 作业失败选项:允许指定作业失败选项,例如在 EMR 作业失败时自动调用指定脚本。

于 2012-01-08T02:18:42.313 回答