0

有谁知道 HPCC/HDFS 连接器。我们同时使用 HPCC 和 HADOOP。HPCC 开发了一个实用程序（HPCC/HDFS 连接器），它允许 HPCC 集群访问 HDFS 数据

我已经安装了连接器，但是当我运行程序以从 hdfs 访问数据时，由于 libhdfs.so.0 不存在而出现错误。

我尝试使用命令构建 libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给了我错误

项目“hadoop”中不存在目标“compile-libhdfs”

我又用了一个命令

 ant compile-c++-libhdfs -Dlibhdfs=1

它给出的错误为

常春藤下载：

  [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

  [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

  [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

构建失败 java.net.ConnectException：连接超时

任何建议都会有很大帮助

4

1 回答 1

0

Chhaya，您可能不需要构建 libhdfs.so，这取决于您安装 hadoop 的方式，您可能已经拥有它。

签入，您的 hadoop 安装位置在HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so哪里，并且是机器的架构（i386-32 或 amd64-64）。HADOOP_LOCATIONarch

找到 lib 后，确保 H2H 连接器配置正确（请参阅此处的第 4 页）。

只需更新HADOOP_LOCATION配置文件中的 var 即可： /opt/HPCCSystems/hdfsconnector.conf

祝你好运。

于 2012-06-19T20:50:53.053 回答