2

我正在尝试使用 SparkR 包从 RStudio 桌面（Windows）连接我的 HDP 集群。

Spark init 失败，没有凭据错误消息，这似乎是因为缺少 kerberos 凭据。（可以在下面找到确切的错误消息）我已经有一个 kerberos 代码，但发现 RStudio 桌面不支持 Kerberos 身份验证，而我需要的是 RStudio server pro。但是，看起来 RStudio server Pro 无法安装在 Windows 上。

如果我想坚持我当前的基于 Windows 的 R 和 RStudio 环境，有没有其他方法可以连接 Hadoop？

此外，核心 R 本身（没有 RStudio）中是否有任何包可以用来对 Hadoop 集群进行身份验证？

看起来我可以在 Windows 上安装 Microsoft R，但它看起来不支持 Kerberos 身份验证？

sparkR.init(master = "yarn-client",appName = "sparkR", sparkHome = "C:/spark-1.6.2-bin-hadoop2.6",sparkEnvir = list(spark.driver.memory="2g"))

Error in invokeJava(isStatic = TRUE, className, methodName, ...) : 
  java.io.IOException: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "HostName/IPAddress"; destination host is: "HostName:PORT; 
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
    at org.apache.hadoop.ipc.Client.call(Client.java:1472)
    at org.apache.hadoop.ipc.Client.call(Client.java:1399)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
    at com.sun.proxy.$Proxy23.getClusterMetrics(Unknown Source)
    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:202)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
    at sun.reflect.DelegatingMethod
4

1 回答 1

1

Windows 上的 Microsoft R Server 作为在 Hadoop 上运行的 Microsoft R Server 的客户端，确实支持 Kerberos 身份验证。它已经使用 Cloudera、Hortonworks HDP 和 MapR 进行了测试。

将 Microsoft R Server（客户端）上的计算上下文设置为 RxHadoopMR() 时，可以在 Hadoop 集群上远程执行 R 脚本，并且只要所有节点都具有有效的 Kerberos 票证，就应该一切就绪。

请参阅：https ://msdn.microsoft.com/en-us/microsoft-r/rserver-install-hadoop在 Hadoop 上安装 Microsoft R Server。

和：https://msdn.microsoft.com/en-us/microsoft-r/rserver-install-windows用于在 Windows 上安装 Microsoft R Server。

于 2017-05-08T19:44:49.097 回答