mapreduce - HDFS：如何使写入原子化？

Question

我有一些（奇怪的）用例，需要从多个映射器写入 HDFS 文件（侧 HDFS 文件）。但我不确定在不破坏文件完整性的情况下是否允许这样做。请指教。谢谢！

Answer 1

HDFS 本​​身无法满足这种需求。在单个点上仅支持一个活动编写器。

您可以在编写器中使用分布式锁定机制，在每个写入实例处追加和关闭（缓慢但达到您想要的效果），或者单独编写并在最后合并（在分布式环境中更快）。