hive - cdh 到 hdp 配置单元

Question

我已经在 cloudera 中编写了 hive udf，我们正在将其迁移到 hortonworks。当我尝试在 hortonworks 集群中应用相同的 udf 时，它会在下面抛出一个错误。

Answer 1

使用具有正确版本的正确依赖项。与管理团队坐下来讨论版本并尝试运行它。限制总是扫描很少的记录并将操作应用于该数据而不是整个数据集，因此，当我应用带有限制的 udf 时，它对我有用。如果您使用限制，即使您使用的任何版本/甚至 cdh 版本都可以使用。但是，当您将其应用于整个数据集时，问题就来了。由于我的样本数据大约有 500 万条记录，因此它必须运行 map reduce 作业。