-1

我正在尝试在 Play 2.0.1 scala 中运行 MR 作业,但我无法在作业类路径中加载映射器类。每次我在 hadoop 中运行作业时,我都会得到一个 classnotfoundexception。我已经(以几种不同的方式)添加了对类的引用以加载相应的 jar,但没有成功。任何线索将不胜感激。

谢谢!-卡洛斯。

4

1 回答 1

0

我假设您正在从开发模式运行 MR 作业。从播放开发模式运行 MR 作业存在几个问题。问题之一是在 TaskTracker 节点上找不到映射器/减速器类,因为尚未创建带有映射器/减速器的 jar。这是我的解决方案:

http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html

另一个问题是由 Play run 命令中使用的类加载器引起的。运行命令会创建一个仅具有依赖项 jar 的类加载器,因此当您使用 Class.forName 时,您的类不在类路径中。我还没有解决方案。

于 2013-04-29T19:41:25.727 回答