1

我按照指南在 Alluxio 上部署 spark。当我尝试从 alluxio 加载数据以运行 rdd 操作时，

val ccc = sc.textFile("alluxio://localhost:19998/findbugs.xml")
ccc.count

错误显示如下：

16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml)
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)!
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)!
    at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137)
    at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101)
    at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)

java版本为1.8.0_74，spark:1.2.0；alluxio 1.2.0
这个问题困扰了我很久。

4

1 回答 1

1

此错误的典型原因是使用错误的端口连接到 Alluxio 主设备。默认端口是 19998。您可以尝试重新启动 spark-shell 并连接到正确的端口。

此错误的另一个可能原因是客户端和主服务器具有不同的安全设置。认证类型（配置参数alluxio.security.authentication.type）应该在客户端和主服务器上匹配。以下是有关配置参数的信息：http ://www.alluxio.org/docs/master/en/Configuration-Settings.html#security-configuration

于 2016-08-05T14:12:35.300 回答