hadoop-yarn - marklogic 内容泵纱线支持

Question

我们mlcp.sh在 cdh5.2.4 上以分布式模式运行，作业总是在本地运行，它没有提交给纱线/资源管理器。有人成功实施mlcp吗cdh5+？

我们正在使用 marklogic-contentpump-1.0.5.jar

 bin/mlcp.sh export 
-host xxx.xx.xx.xxx 
-port xxxx 
-username <user> 
-password xxxxx 
-output_type sequence 
-compress_type record 
-output_file_path /tmp 
-mode distributed 
-job_queue cp11 
-query_type unfiltered 
-max_split_size 500 
-query_config file.properties 
-after_ts 2015-01-01T16:55:05-04:00 
-before_ts 2015-04-10T17:55:37-04:00  
-perm_path /data/mlcp

Answer 1

从 client-0.20 更改为 yarn 的客户端后修复

/usr/lib/hadoop/client-0.20使用 hadoop-client 包中提供的 JAR 文件 确保将（对于 MRv1 API）或/usr/lib/hadoop/client（对于 YARN）下提供的所有 JAR 文件添加到您的项目中。

例如，您可以将此位置添加到 JVM 类路径：

$ export CLASSPATH=/usr/lib/hadoop/client-0.20/\*