shell - HDFS 命令行追加

Question

有什么方法可以从命令行附加到 HDFS 上的文件，例如复制文件：

hadoop fs -copyFromLocal <localsrc> URI

Answer 1

此功能在 Hadoop 2.3.0 中作为appendToFile实现，语法如下：

hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile

（它在 2009 年首次提出，当时正在考虑 HDFS 附加功能： https ://issues.apache.org/jira/browse/HADOOP-6239 ）

Answer 2

cli 不支持追加，但 httpfs 和 fuse 都支持追加文件。

w301% ls -lA
total 0
-rw-r--r-- 1 hdfs supergroup 0 Nov 14 01:02 test.me
w301% cat test.me
w301% sync
w301% cat test.me
hello
w301% echo "more rows" >> test.me
w301% sync
w301% cat test.me 
hello
more rows

编辑：但请记住，只有一个客户端可以附加到文件。