1

我有一个带有 Cloudera 5.10 的集群。对于分析，我正在使用参数运行 spark-submit：

--conf "spark.driver.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling"
--conf "spark.executor.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling"

它只对驱动程序有效。当我将此选项用于执行程序时，我遇到了异常

Stack trace: ExitCodeException exitCode=1:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:601)
        at org.apache.hadoop.util.Shell.run(Shell.java:504)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:786)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:748)

我在每个节点上都找不到任何有用的日志和相同的异常。如果我使用本手册则相同，请在此处输入链接描述

如果我只为驱动程序保留配置，一切正常，我可以使用 YourKit 连接到驱动程序 可能是什么问题？

4

2 回答 2

1

可能是执行程序启动 32 位 JVM？那么应该指定 32 位 YourKit 代理的路径吗？

于 2017-06-26T15:55:58.500 回答
0

我遇到了同样的问题。您必须在集群中的所有节点上安装 YourKit。

于 2018-03-16T11:57:59.097 回答