问题标签 [libhdfs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java-native-interface - libhdfs 在通过 callgrind 运行时在常量池错误中抛出 Illegal UTF8 string
我正在尝试通过 callgrind 运行我的流程。其中一个子进程（我需要跟踪）调用 libhdfs 并且在通过 callgrind 运行时会引发异常：
正常运行时，我没有收到此异常。知道发生了什么吗？我是 valgrind/callgrind 的新手。
apache - 在 hdfs C API 中调用 hdfsOpenFile 时出现 Hadoop 异常 java.lang.NoSuchMethodError
首先，我使用 mvn 构建了 hadoop-2.7.2，并正确设置了环境变量。然后我试图在Apache网站上运行这个简单的例子：C API libhdfs example code
然后我收到如下错误消息：
$ 找不到从类 org/apache/hadoop/fs/FileSystem 中创建带有签名的方法 (Lorg/apache/hadoop/fs/Path;Lorg/apache/hadoop/fs/permission/FsPermission;ZISJILorg/apache/hadoop/util/ Progressable;Z)Lorg/apache/hadoop/fs/FSDataOutputStream;
$ 线程“main”中的异常 java.lang.NoSuchMethodError: create
$ 调用 org.apache.hadoop.conf.FileSystem::create((Lorg/apache/hadoop/fs/Path;Lorg/apache/hadoop/fs/permission/FsPermission;ZISJILorg/apache/hadoop/util/Progressable;Z )Lorg/apache/hadoop/fs/FSDataOutputStream;) 失败！
但我确实可以在 org.apache.hadoop.fs.FileSystem 中找到“创建”函数： org.apache.hadoop.fs.FileSystem 函数列表
有人知道发生了什么吗？
c++ - 错误：使用 libhdfs 的 c 代码中的 java.lang.IllegalMonitorStateException
我尝试使用 hdfs c api 运行用 c++ 代码编写的程序。但它不起作用。此代码用于读取本地文件并写入 hdfs，如hdfs dfs -put命令。
这是我的工作环境：
hdfs-site.xml：
我的代码：
错误 ：
请帮我。
java - 如何使用 Cloudera libhdfs.so 解决随机崩溃？
使用 Cloudera 的 libhdfs.so 时，在 libjvm.so 中获取 SIGSEGV 崩溃。考虑到堆栈跟踪，这些似乎发生在随机点，但最常见于 Java 函数 Monitor::wait() 期间。
任何建议将不胜感激。
环境：
- CentOS 6.7
- Linux 2.6.32-573.7.1.el6.x86_64 #1 SMP 2015 年 9 月 22 日星期二 22:00:00 UTC x86_64 x86_64 x86_64 GNU/Linux
- GNU libc 2.12
- java版本“1.7.0_79”
- Java(TM) SE 运行时环境 (build 1.7.0_79-b15)
- Java HotSpot(TM) 64 位服务器 VM（内部版本 24.79-b02，混合模式）
- Hadoop 2.6.0-cdh5.11.0
我曾尝试使用 Java 1.8 但没有帮助。我没有选择使用比 CentOS 6.7 更新的版本。
广发银行：
堆栈
hdfs - 将 pyarrow 与 libhdfs3 连接
我正在尝试通过 pyarrows' HdfsClient/连接到 hadoop 集群hdfs.connect()。
我注意到 pyarrows 的have_libhdfs3()函数，它返回 False。
如何获得 pyarrow 所需的 hdfs 支持？我知道 libhdfs3 有一个 conda 命令，但我非常需要通过一些不涉及 conda 之类的“香草”方式使其工作。
如果它很重要，我有兴趣阅读的文件是镶木地板文件。
编辑：
库的创建者hdfs3制作了一个允许安装 libhdfs3 的仓库：
hadoop - 当所有数据都缓存在堆外时，为什么某些 HDFS 读取速度如此之慢？
我正在对 HDFS 进行性能测试。我正在使用 HDFS C++ API。我注意到大多数读取最多需要 5 微秒。但有些读取需要 500-800 微秒。考虑到所有数据都在操作系统缓存中，可能是什么原因？不应发生磁盘访问。
c++ - AppData\Local\Temp\cc59LXDc.o:test1.cpp: 未定义引用`constructNewObjectOfClass(JNIEnv_*, _jthrowable**, char const*, char const*, ...)'
目标：通过c++代码访问hadoop集群文件（HDFS读/写）。Windows 7 操作系统。下面是我的示例代码
注意：我已经启动并运行了单节点 hadoop 集群。
获取上述命令的错误堆栈跟踪：
python - 列出 HDFS 文件时出现分段错误 11
抱歉，因为我不知道正确地问这个问题；我所知道的是，每当我尝试使用Python3PyArrow中的驱动程序列出存储在 HDFS 上的多个文件时，我都会遇到 Segmentation Fault: 11 错误：libhdfs3
这是我正在运行的代码：
这很好地连接到 HDFS，所以我然后运行：
有趣的是，如果我删除其中一个文件......
...它可以工作并且不会出现段错误。
由于我什至不知道我的环境的哪一部分可能导致这种情况（Python？Pyarrow？libhdfs3？），所以我什至不确定要搜索什么来进行故障排除。
非常感谢任何想法或建议！
c++ - 当 libhdfs hdfsRename 将返回 -1
当我使用 hdfsRename 将文件从旧路径 mv 到新路径时，我在我的 c++ 程序中使用 libhdfs。新路径不存在，旧路径存在。
但是当我运行程序时，我得到一个错误，函数 hdfsRename 只是返回 -1 没有任何提示或异常。
我使用gdb调试程序，但我无法进入jvm线程以了解发生了什么。
所以任何人都可以告诉我，当 hdfsRename 将返回 -1 时，有没有办法调试到 jvm 中？
hdfs - 如何使用 pyarrow 在 HDFS 上写入
我正在使用 python 和 pyarrow 库，我想在 HDFS 上编写一个 pandas 数据框。这是我的代码
根据文档，我应该使用以下代码在 HDFS 上编写 pyarrow.Table
我不明白我应该在哪里使用我的连接（fs），因为如果我不使用它，write_parquet那么它怎么知道 HDFS 在哪里？