我们正在使用 distcp -diff 基于两个快照对 hive 表进行增量备份。
但有时这个 distcp 会失败,错误是快照源目录中不存在特定文件。
当我们在两个快照之间做 Snapshodiff 时,它显示了一些文件被添加
但是当我们对快照文件夹中的这些文件执行“hdfs dfs -ls”时。它显示文件不存在。
我们怀疑
- 它与 Snapshotdiff 的问题。
- 或相关的 hive 压缩,因为我们只收到 hive delta/base 文件的错误。
我们正在使用 distcp -diff 基于两个快照对 hive 表进行增量备份。
但有时这个 distcp 会失败,错误是快照源目录中不存在特定文件。
当我们在两个快照之间做 Snapshodiff 时,它显示了一些文件被添加
但是当我们对快照文件夹中的这些文件执行“hdfs dfs -ls”时。它显示文件不存在。
我们怀疑