我在 S3 上运行 EMR 配置单元查询,但它失败说“映射运算符初始化失败”
我尝试HADOOP_CLASSPATH
如下设置,仍然没有运气。
set HADOOP_CLASSPATH=/usr/lib/hive/lib/*;
另外,在罐子下面添加,
add jar /usr/hive/json-serde-1.3.7-jar-with-dependencies.jar
. 此 jar 文件存在于给定路径中。
我不确定它为什么抱怨如下:
Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/SerDe
日志如下:
vertexName=Map 1, vertexId=vertex_1515176779844_0076_2_05, diagnostics=[Vertex 在 RUNNING 状态下收到 Kill。,由于 OTHER_VERTEX_FAILURE,Vertex 没有成功,failedTasks:0killedTasks:139,Vertex vertex_1515176779844_0076_2_05 [Map 1_killed/failure]由于 VERTEX_FAILURE,DAG 没有成功。failedVertices:1 killVertices:8 FAILED:执行错误,从 org.apache.hadoop.hive.ql.exec.tez.TezTask 返回代码 2。Vertex failed, vertexName=Map 10, vertexId=vertex_1515176779844_0076_2_02, diagnostics=[Task failed, taskId=task_1515176779844_0076_2_02_000031, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : attempt_1515176779844_0076_2_02_000031_0:java.lang.RuntimeException: java.lang.RuntimeException: