0

我尝试将 Impala 配置为在 Alluxio 之上运行，但失败了。

这是 Impala 配置：

/etc/impala/conf/core-site.xml( http://www.alluxio.org/docs/1.6/en/Running-Hadoop-MapReduce-on-Alluxio.html )

<configuration>
<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value>
  <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
</property>
<property>
  <name>fs.AbstractFileSystem.alluxio.impl</name>
  <value>alluxio.hadoop.AlluxioFileSystem</value>
  <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
</property>
</configuration>

/etc/impala/conf/hive-site.xml( http://www.alluxio.org/docs/1.6/en/Running-Hive-with-Alluxio.html )

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

然后我启动了 Impala(impala-server, impala-catalogd, impala-state-store)，但是在日志中我发现了这个：

...impala-server.cc:282] Currently configured default file system: FileSystem. fs.defaultFS (alluxio://192.168.1.10:19998/) is not supported.
...impala-server.cc:285] Aborting Impala Server startup due to improper configuration. Impalad exiting.

我在 Bing 上搜索了很多，但没有运气。即使搜索关键字“alluxio 上的黑斑羚”也没有什么结果。那么 impala 可以在 alluxio 之上运行吗？任何建议将不胜感激。

我的 Impala 版本：2.10.0-cdh5.13.0 RELEASE，Alluxio 版本：alluxio-1.8.0-hadoop-2.7

4

1 回答 1

2

您是否尝试过在 Alluxio 上使用外部表运行 Hive？不要将 Alluxio 设置为 defaultFS，而是删除

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

并使用类似下面的东西在 Alluxio 上创建一个表：

hive> CREATE TABLE u_user (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master_hostname:port/table_path';

这可能有助于解决 Impala 的文件系统实现检查。在 CDH 5.13 及以下版本中也存在一个错误，该错误会阻止 Impala 读取 Alluxio 中的数据。您可能想要升级到修复了该问题的 CDH 5.14。

于 2018-10-01T18:19:24.130 回答