json - 在hadoop map reduce中读取json对象以处理数据

Question

我是hadoop的初学者，任何人都可以帮助我在mapreduce工作中阅读json。

我用谷歌搜索并发现 jaql 适合阅读 json。但我没有找到任何关于如何在我们的 map reduce 工作中实现它的文档。

有没有其他支持在 map reduce 中读取 json 的框架？

对此有什么建议吗？

提前致谢

Answer 1

我宁愿相信 MapReduce 框架本身来处理这个问题。MapReduce 允许我们编写自定义的输入/输出格式来处理它不支持的 OOTB 数据，例如 JSON。有关示例，请参见此问题。我更喜欢这个，因为我不需要任何第三方的东西。这只是扩展 MapReduce API 的问题（但这只是我的选择。其他人可能会发现其他更合适的东西）。

但是，恕我直言，最简单的方法是使用 Hive 或 Pig 来处理 JSON 数据。您无需做太多工作即可使其正常工作，因为这两个项目都支持 OOTB JSON。参见Hive- JSON SerDe和Pig的JsonLoader和JsonStorage 。

高温高压