问题标签 [libhdfs]

当我尝试使用 File (.tar.bz2) 安装下面的库时出现以下错误。我的 hadoop 集群中没有 Internet 连接，这就是我使用以下命令使用 conda 安装 pyarrow 的原因。

当我尝试导入时，出现以下错误

以下是 conda 列表输出：

更新 pyarrow 和 arrow 到 0.15

更新的错误结果：

注意：我可以看到它看起来像是共享对象文件路径的问题。

提前致谢，

戈尔

我正在尝试使用以下代码读取工作 HDFS 位置的文件：

我收到以下错误：

我还尝试在pars = {"hadoop.security.authentication": "kerberos"}HDFileSystem 函数中添加参数，因为我相信 hadoop 集群是 kerberized。

任何人都可以帮助解决这个问题吗？为这个笨重的问题道歉，我是 python 新手，所以我不想意外遗漏错误中的相关内容。

谢谢

在使用 hadoop 管道运行 hadoop map reduce 程序时，map reduce 找不到 hdfs 中存在的文件。如果程序在没有 hadoop 管道的情况下执行，则 libhdfs 库很容易找到该文件，但是在运行程序时使用

命令，libhdfs 找不到该文件，并抛出 java.io.exception。已尝试在命令中包含 -fs 参数，但结果仍然相同。我还在文件中包含了 hdfs://localhost:9000/ ，但仍然没有结果。文件参数在c代码中为：

我正在尝试使用 pyarrow，但我不断收到以下错误。

所以我读了一些stackoverflow，它说我需要为ARROW_LIBHDFS_DIR设置环境变量。
libhdfs.so 的路径是 /usr/local/hadoop/native/
它试图在 bashrc 中设置它但它不起作用
conda 安装似乎不起作用，即

如果我得到这个，这将是一个很大的帮助。提前致谢。

我正在尝试将 pyarrow Filesystem 接口与 HDFS 一起使用。我在调用 fs.HadoopFileSystem 构造函数时收到 libhdfs.so not found 错误，即使 libhdfs.so 显然位于指定位置。

我尝试了不同的 python 和 pyarrow 版本并设置了 ARROW_LIBHDFS_DIR。为了测试，我在 linuxmint 上使用以下 dockerfile。

我有一个正在运行的 hdfs 实例，如下所示 -

和

我从官方文档中复制了在 C 中使用 libhdfs 的规范示例-

我“成功地”编译它 -

但是在尝试运行可执行文件时出现错误-

我不知道为什么我会收到这个错误，当我看到它libhdfs.so.0.0.0存在于$HADOOP_HDFS_HOME/lib/native-

我的其他环境变量也已适当设置-

这可能是我在core-site.xml文件中设置的相关配置选项 -

我非常感谢在修复此错误方面能获得的所有帮助。