2

我正在尝试使用 pyarrow，但我不断收到以下错误。

ImportError: Can not find the shared library: libhdfs3.so

所以我读了一些stackoverflow，它说我需要为ARROW_LIBHDFS_DIR设置环境变量。
libhdfs.so 的路径是 /usr/local/hadoop/native/
它试图在 bashrc 中设置它但它不起作用
conda 安装似乎不起作用，即

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3

如果我得到这个，这将是一个很大的帮助。提前致谢。

4

1 回答 1

1

确保libhdfs.so在$HADOOP_HOME/lib/native以及在$ARROW_LIBHDFS_DIR

使用它来检查您是否在 bash 环境中设置了变量ls $ARROW_LIBHDFS_DIR

如果找不到使用的文件 locate -l 1 libhdfs.so

使用将您找到的目录路径分配给 ARROW_LIBHDFS_DIR 变量 ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>

在此处引用 SO - https://stackoverflow.com/a/62749351/6263217

于 2020-07-30T21:57:44.577 回答