0

您好我正在尝试使用 Java API 从 HDFS 读取文件。

连接到 HDFS 并列出文件工作正常。

但是在尝试读取文件时出现以下异常

函数调用：fs.copyToLocalFile(path, dPath);

java.io.IOException: Could not obtain block: blk_-747325769320762541_16269493 file=/user/s3t.txt
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:2266)
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.blockSeekTo(DFSClient.java:2060)
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:2221)
    at java.io.DataInputStream.read(Unknown Source)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:68)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:47)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:100)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:230)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:163)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1222)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1203)
    at Access.main(Access.java:59)

注意：我能够使用 fs.createNewFile(myPath); 创建新文件

4

2 回答 2

0

您可以通过两种方式进行检查。

  1. 检查文件的权限，文件的用户和组以及您的用户和组，您必须具有访问该文件的权限。
  2. 当您远程访问文件时，可能是网络路径问题。

请检查两者。

于 2013-10-21T15:35:03.367 回答
-1

https://stackoverflow.com/a/37661092/5797400 - 这可能会有所帮助。这是我的解决方案could not obtain block: BlockMissingException。
以下是链接的要点：

  1. Namenode 不直接读取或写入数据。
  2. 客户端（使用直接访问 HDFS 的 Java 程序）与 Namenode 交互以更新 HDFS 命名空间并检索块位置以进行读/写。
  3. 客户端直接与 Datanode 交互以读取/写入数据。
于 2016-06-06T15:27:25.623 回答