1

SnappyData v.0-5

我以非 root 用户身份登录 Ubuntu,'foo'。SnappyData 目录/安装由 'foo' 用户和 'foo' 组拥有。

我在这里使用脚本启动所有节点(定位器、引线、服务器):

SNAPPY_HOME/sbin/snappy-start-all.sh

定位器启动。服务器启动。铅死于此错误。

16/07/21 23:12:26.883 UTC serverConnector INFO JobFileDAO: rootDir is /tmp/spark-jobserver/filedao/data 16/07/21 23:12:26.888 UTC serverConnector ERROR JobServer$: 无法启动 Spark JobServer: java .lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java .lang.reflect.Constructor.newInstance(Constructor.java:423) at spark.jobserver.JobServer$.start(JobServer.scala:69) at io.snappydata.impl.LeadImpl.startAddOnServices(LeadImpl.scala:283) at io .snappydata.impl.LeadImpl$.invokeLeadStartAddonService(LeadImpl.scala:360) 在 io.snappydata。ToolsCallbackImpl$.invokeLeadStartAddonService(ToolsCallbackImpl.scala:28) at org.apache.spark.sql.SnappyContext$.invokeServices(SnappyContext.scala:1362) at org.apache.spark.sql.SnappyContext$.initGlobalSnappyContext(SnappyContext.scala:1340 ) 在 org.apache.spark.sql.SnappyContext.(SnappyContext.scala:104) 在 org.apache.spark.sql.SnappyContext.(SnappyContext.scala:95) 在 org.apache.spark.sql.SnappyContext$.newSnappyContext (SnappyContext.scala:1221) 在 org.apache.spark.sql.SnappyContext$.apply(SnappyContext.scala:1249) 在 org.apache.spark.scheduler.SnappyTaskSchedulerImpl.postStartHook(SnappyTaskSchedulerImpl.scala:25) 在 org.apache .spark.SparkContext.(SparkContext.scala:601) 在 io.snappydata.impl.LeadImpl.start(LeadImpl.scala:129) 在 io.snappydata.impl.ServerImpl.start(ServerImpl.scala:32) 在 io.snappydata.tools.LeaderLauncher.startServerVM(LeaderLauncher.scala:91) 在 com.pivotal.gemfirexd.tools.internal.GfxdServerLauncher.connect(GfxdServerLauncher.java:174) 在 com.gemstone.gemfire.internal.cache .CacheServerLauncher$AsyncServerLauncher.run(CacheServerLauncher.java:1003) at java.lang.Thread.run(Thread.java:745) 原因:java.io.FileNotFoundException: /tmp/spark-jobserver/filedao/data/jars。在 java.io.FileOutputStream.open(FileOutputStream.java:270) 在 java.io.FileOutputStream.(FileOutputStream.java:213) 在 spark.jobserver 的 java.io.FileOutputStream.open0(Native Method) 的数据(权限被拒绝) .io.JobFileDAO.init(JobFileDAO.scala:90) at spark.jobserver.io.JobFileDAO.(JobFileDAO.scala:30) ... 22 更多 16/07/21 23:12:26.891 UTC 分布式系统关闭挂钩信息快速商店:VM 正在退出 - 关闭分布式系统

我是否需要成为其他用户才能启动 Lead 节点?使用“须藤”?配置一个属性来告诉 Spark 使用目录 'foo' 有权限吗?提前自己创建这个目录?

4

1 回答 1

1

/tmp/spark-jobserver 的当前所有者似乎是其他用户。检查该目录的权限并将其删除。

如果多个用户将在同一台机器上运行潜在客户,您可以将作业服务器目录配置为此处提到的其他位置。相关属性可以在application.conf源代码中找到。这可能是麻烦多于价值,所以现在只确保单个用户在机器上启动领导节点会更容易。

我们将在下一个版本 (SNAP-69) 中将默认值修复为在 work/ 目录中。

于 2016-07-22T03:42:23.180 回答