问题标签 [hadoop-native-library]

我已经安装了 hbase-0.98-6-hadoop2 以与 hadoop-2.4.1 一起使用，但是当我启动 hbase shell 时，我收到以下消息：

Configuration.deprecation：不推荐使用 hadoop.native.library。相反，使用 io.native.lib.avaiable

我知道这样的消息只是一个日志信息，但是我想知道我能做些什么来解决这样的问题。我尝试了很多东西，其中基本上都是关于将 $HADOOP_INSTALL/lib/native 放入我的类路径 java.library.path 和 LD_LIBRARY_PATH; 这些都不能解决问题。

有人可以帮助我吗？

谢谢

I am trying to use LZ4 compression with Apache Spark and I understand that using the regular textFile method should be sufficient. However, if I load my file uncompressed everything works as expected but if I do it lz4-compressed the output ends up being empty.

I am wondering if the issue is related to the way I am compressing and decompressing. I am compressing my files using the java library https://github.com/jpountz/lz4-java version 1.3.0 (lz4 version 123). However, in the machine where the Spark workers are installed I have the hadoop native libraries for other versions. If I run the command to check them it shows:

Then the RPM I am installing for having the lz4.so library installed is the following:

http://rpm.pbone.net/index.php3/stat/4/idpl/28577074/dir/redhat_el_6/com/lz4-r127-1.el6.x86_64.rpm.html

As you see, it looks like I have three different versions of LZ4 but I am unable to find the same version. My first question is: should this work even if I don't have the same version?

If not, what should I do to configure correctly the native libs for Spark to understand lz4 compressed files?

I am using Spark 1.1.0 and passing the location of the native libraries via --driver-library-path with spark-submit.

我正在尝试在 Hadoop 上实现 JCUDA 代码。然而，在运行应用程序时，它给出了不满意的链接错误：

无法加载基本名称为“JCudaDriver”的本机库“JCudaDriver-linux-x86_64”'

我尝试在 、 等中添加库的路径LIBJARS。LD_LIBRARY_PATH我尝试在 Java 代码中使用System.setProperty(). 我也试过变量-Djava.library.path。然而，似乎没有任何工作。

操作系统：Linux
Jcuda 版本：0.7.0
CUDA 版本：7.0
Hadoop 版本：1.2.1

我正在尝试将 OpenCV 与 Hadoop 一起使用。下面是我的代码。我只是在测试 OpenCV 库是否适用于 Hadoop，即当我在 public int run(String[] args)Hadoop 功能中运行 OpenCV 代码时。

我在网上搜索，发现了一些如何libopencv_java310.so在 Hadoop 中添加 OpenCV 原生库（）的方法。我尝试了一些方法，但没有奏效。例如本教程。

它说添加JAVA.LIBRARY.PATH到hadoop-config.sh文件。但它没有用。我收到了这个错误

最后，我将 OpenCV 本机库 ( libopencv_java310.so) 添加到此路径（从 Internet 获取解决方案）

它似乎奏效了。我没有收到上述错误。但我在下一行得到了这个错误：

此错误位于以下行：

据我所知，如果未加载 OpenCV 本机库，我们会收到此错误。但是现在加载了库，我不知道这个错误的原因是什么。

在 Mac OS X 上，当我使用压缩编解码器是 hadoop 时，我收到以下错误：

但是我已经配置了本机库。（我已经在本地构建了 hadoop 并将本机库复制到 hadoop 目录。

所以看起来本机库还可以。

PS：当我使用 B2ZIPCodec 时，一切正常。

PSS：也许我的 .profile 有助于了解发生了什么？

更新此配置在半年前运行良好。一些软件更新后，它坏了。

我尝试在 Mac“OSX El Capitan”上安装 hadoop-2.7.2 并收到与 Native 库相关的错误：

对于安装，我使用了命令 hadoop brew install，我做了所有必需的配置更改，但仍然没有解决方案。在此之后，我还尝试使用 Apache 网站上提供的软件包安装 hadoop，但即使在那里我也面临与本机库相关的相同问题。

我已经hadoop从 github 下载了源代码并使用以下native选项进行了编译：

然后我将 .dylib文件复制到 $HADOOP_HOME/lib

更新了 LD_LIBRARY_PATH 并重新启动了 hdfs：

（注意：这也意味着docker-spark 上的 Hadoop“无法为您的平台加载本机 hadoop 库”错误的答案？对我不起作用..）

但checknative仍然统一返回false：

Java HotSpot(TM) 客户端 VM 警告：您已加载库 /home/happyhadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0 可能禁用了堆栈保护。虚拟机现在将尝试修复堆栈防护。强烈建议您使用“execstack -c”修复库，或使用“-z noexecstack”链接它。17/04/30 21:30:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类在 [localhost] happyhadoop@localhost 的密码上启动 namenodes: localhost: namenode running作为进程13997。先停止它。happyhadoop@localhost 的密码：localhost：datanode 作为进程 14153 运行。先停止它。启动二级namenodes [0.0.0.0]happyhadoop@0.0.0.0的密码：0.0.0.0：secondarynamenode 作为进程 14432 运行。先停止它。Java HotSpot(TM) 客户端 VM 警告：您已加载库 /home/happyhadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0 可能禁用了堆栈保护。虚拟机现在将尝试修复堆栈防护。强烈建议您使用“execstack -c”修复库，或使用“-z noexecstack”链接它。17/04/30 21:30:36 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 s 强烈建议您使用“execstack -c”修复库，或使用“-z noexecstack”链接它。17/04/30 21:30:36 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 s 强烈建议您使用“execstack -c”修复库，或使用“-z noexecstack”链接它。17/04/30 21:30:36 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类

有人可以帮我解决这个警告吗？

我在hadoop中工作，突然一旦我为我的图像处理程序创建了可运行的jar，就会发生这个错误，它与opencv本机库路径有关

在使用 Eclipse 时，我可以使用以下方式设置路径：

// System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

但是在使用 hadoop 执行可运行的 jar 时，它会出错。有谁能指正？

我正在关注https://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/在我的 Mac 上安装 hadoop 以执行本地小任务。

当 hstart/hstop 时，得到“ WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”

已尝试以下链接中的选项来重命名 lib/native 的文件夹/路径。重命名libexec/为lib/libexec 应该正确的脚本中的错误。 Hadoop“无法为您的平台加载本机 hadoop 库”警告

然而，在 hadoop 3.0.0 中，结构是这样的：

请问有什么想法吗？谢谢你。