我有一个在我的 Hadoop 环境中运行的 Apache Apex 应用程序。
我对应用程序没有任何问题,除了它在 7 天后失败。而且,我意识到这是因为任何应用程序的集群级别设置。
有什么办法,我可以定期更新委托令牌以确保作业连续运行而不会失败!
我可以在网上找到有关如何更新 hdfs 委托令牌的任何资源!!有人可以分享你的知识吗?
我有一个在我的 Hadoop 环境中运行的 Apache Apex 应用程序。
我对应用程序没有任何问题,除了它在 7 天后失败。而且,我意识到这是因为任何应用程序的集群级别设置。
有什么办法,我可以定期更新委托令牌以确保作业连续运行而不会失败!
我可以在网上找到有关如何更新 hdfs 委托令牌的任何资源!!有人可以分享你的知识吗?
Apex 文档中提到了该问题。它还详细提供了2个解决方案。Hadoop 系统的非侵入式方法是选择“自动刷新方法”。基本上你需要将你的 keytab 文件复制到 HDFS 并配置
<property>
<name>dt.authentication.store.keytab</name>
<value>hdfs-path-to-keytab-file</value>
</property>
在您的dt-site.xml中。
高温高压