1

我在安装了 apache livy 的谷歌云平台上安装了 dataproc。我正在使用 livy rest api 提交作业。当我尝试从 Yarn RM 中杀死 livy 作业时，我在浏览器控制台选项卡中遇到错误。

{"RemoteException":{"exception":"AuthorizationException","message":"Unable to obtain user name, user not authenticated","javaClassName":"org.apache.hadoop.security.authorize.AuthorizationException"}}

当我打开纱线 RM。我不确定如何为 Yarn RM Web 界面设置用户身份验证。另外，当我打开 yarn ui 时，它不会询问我任何用户名和密码。

但是我可以使用以下命令杀死应用程序

yarn application -kill application_id
4

1 回答 1

1

如此处所述，这是 Dataproc 1.3 中的回归，假设您使用的是该映像版本。

如果您在较旧的 Dataproc 版本上使用 Tez init 操作，您也会遇到此问题，因为它还会安装和配置应用时间线服务器。

你只需要设置hadoop.http.filter.initializers=org.apache.hadoop.security.HttpCrossOriginFilterInitializer,org.apache.hadoop.http.lib.StaticUserWebFilter.

我计划在 Dataproc 1.3 中解决这个问题（将在接下来的几周内推出），并且我为 Tez init 操作提交了一个问题。

于 2018-10-25T18:17:42.187 回答