0

版本:spring-xd-1.0.1

分布式模式:yarn

Hadoop版本:cdh5

我已修改 config/servers.yml 以指向正确的 applicationDir、zookeeper、hdfs、resourcemanager、redis、mysqldb

但是在推送之后,当我启动管理员时,它会在一段时间后被纱线杀死。我不明白为什么容器会消耗 31G 的内存。请指出我正确的方向来调试这个问题。另外,如何提高日志级别

在日志中观察到以下错误:

得到 ContainerStatus=[container_id { app_attempt_id { application_id { id: 432 cluster_timestamp: 1415816376410 } attemptId: 1 } id: 2 } state: C_COMPLETE 诊断:“Container [pid=19374,containerID=container_1415816376410_0432_01_000002] 正在运行超出物理内存限制。 :使用了 1.2 GB 的 1 GB 物理内存;使用了 31.7 GB 的 2.1 GB 虚拟内存. 正在杀死容器。\n容器_1415816376410_0432_01_000002 的进程树转储:\n\t|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE\n\t|- 193748 19374 (java) 3903 121 33911242752 303743 /usr/java/jdk1.7.0_45-cloudera/bin/java -DxdHomeDir=./spring-xd-yarn-1.0.1.RELEASE.zip -Dxd.module.config.location=文件:./modules-config.zip/ -Dspring.application.name=admin -Dspring.config.location=./servers.yml org.springframework.xd.dirt.server.AdminServerApplication \n\t|- 19374 24125 19374 19374 (bash) 0 0 110804992 331 /bin/bash -c /usr/java/jdk1.7.0_45-cloudera/bin/java -DxdHomeDir=./spring-xd-yarn-1.0.1.RELEASE.zip -Dxd. module.config.location=file:./modules-config.zip/ -Dspring.application.name=admin -Dspring.config.location=./servers.yml org. springframework.xd.dirt.server.AdminServerApplication 1>/var/log/hadoop-yarn/container/application_1415816376410_0432/container_1415816376410_0432_01_000002/Container.stdout 2>/var/log/hadoop-yarn/container/application_1415816376410_0432/container_1415816376410_0432_01_000002/Container.stderr \ n\n容器应请求终止。退出代码为 143\n容器以非零退出代码 143\n" exit_status: 143 退出

4

1 回答 1

1

是的,使用当前版本 1.1.0/1.1.1,您不需要显式运行管理员。当您提交应用程序时,容器和管理员将由 yarn 实例化。

于 2015-04-16T07:22:33.873 回答