mapreduce - Hive QL 是否具有与直接在 Hadoop 上编写自己的 MapReduce 作业相同的表达能力？

Question

换句话说，

是否存在可以通过直接定义 map reduce 作业来解决的问题，但您无法形成 Hive QL 查询？

如果是，则意味着 Hive QL 的表达能力有限，无法表达所有可能的 map reduce 作业。

实际上，这意味着 Hive QL 不能完全替代定义您自己的 Map Reduce 作业。

Answer 1

Hive QL 并没有表达可以用 MapReduce 编写的所有内容。当您了解 Hive 无法推断的数据时，总会有一些情况。

我认为出于这个原因避免使用 Hive 是不公平的，如果这是您正在考虑的。SQL 与在平面文件上编写算法有同样的问题。如果设计得当，您总是可以通过从头开始编写算法来做到至少与查询语言一样好或更好。