1

我正在提交一个火花,它将使用以下命令写入 Kerborized 集群。我没有在 spark 程序中添加任何代码来启用身份验证等。我刚刚通过 spark-submit 传递了 principal 和 keytab。但我收到“无法更新令牌”错误。我的 spark 程序可以连接到 hive 元存储。

我能知道是什么原因造成的吗?

> ./spark-submit --class com.abcd.xyz.voice.cc.cc.cc --verbose --master
> yarn --deploy-mode cluster --executor-cores 6 --executor-memory 6g
> --driver-java-options "-Dlog4j.configuration=file:/app/home/abcd/conf/my_Driver.log4j" 
> --principal myowner@CABLE.abcd.COM --keytab /app/home/emm/myfile.keytab --conf
> "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/app/home/emm/conf/my_Executor.log4j
> -Ddm.logging.name=LegalDemand" /app/home/emm/bin/myjar.jar --files file:///app/home/emm/mykeytab.keytab --conf
> spark.hadoop.fs.hdfs.impl.disable.cache=true
> /app/home/emm/conf/my.properties

2011 年 7 月 17 日 18:02:42 INFO yarn.Client:客户端令牌:N/A 诊断:无法更新令牌:种类:TIMELINE_DELEGATION_TOKEN,服务:172.27.30.133:8188,标识:(所有者 = 我的所有者,更新者 = 纱线, realUser=, issueDate=1499796160528, maxDate=1500400960528, sequenceNumber=74505, masterKeyId=294) ApplicationMaster 主机:N/A ApplicationMaster RPC 端口:-1 队列:默认开始时间:1499796160725 最终状态:FAILED 跟踪 URL:http:// abcd.net:8088/proxy/application_1499697586013_1727/ 用户:myowner

4

0 回答 0