为什么在Hadoop中使用称为HDFS的特定文件系统?HDFS 相对于 NTFS 或 FAT 的优势是什么?hadoop选择HDFS的原因是什么?
2 回答
...因为 NTFS 和 FAT 不是分布式的。HDFS的优势在于它是。
请参阅HDFS 简介。
我想知道HDFS是否是
a) ntfs 和 ext4 等文件系统的直接替代方案(“我是否必须格式化硬盘驱动器才能设置 HDFS 节点并且会丢失所有现有数据?”)
b) 安装在底层文件系统之上。
并在寻找答案时发现了这个 SO 问题。
嗯,这是b)
HDFS 不是一个实际的文件系统,但它使用 API 访问底层文件系统。Yahoo 使用 ext3 作为 hadoop 部署的基本文件系统。
相关问题和文章:
https://wiki.apache.org/hadoop/DiskSetup#Underlying_File_System_Options
https://www.quora.com/Does-HDFS-replace-local-file-systems-FAT32-NTFS-etc-or-operate-on-top-of-them
https://community.hortonworks.com/articles/14508/best-practices-linux-file-systems-for-hdfs.html
https://askubuntu.com/questions/359481/where-in-linux-file-system-can-i-see-files-of-hadoop-hdfs