hbase - HBase BulkLoad 数据恢复

Question

由于 Bulkload 方法完全绕过了写入路径，WAL 不会作为进程的一部分被写入，因此在区域服务器故障/崩溃的情况下如何恢复批量加载的数据？

Answer 1

HBase 将数据存储在 HFiles 中，HFiles 是不可变的，放在 HDFS 中，这已经是可靠的存储。通常，此类文件的最小大小约为 128mb。在创建 HFile 之前，HBase 在内存中积累了所需的数据量，为了在此过程中实现持久性，HBase 使用 WAL。在这种情况下，在批量加载中，您不需要 WAL，因为批量加载操作直接创建 HFiles，并且在告诉 HBase 将它们用作数据存储的一部分时。