1

我在 hadoop-1.0.4 源代码中阅读了 SequenceFile.java。并且我找到了sync(long)用于在 MapReduce 中将 SequenceFile 拆分为文件拆分时在 SequenceFile 中查找“同步标记”（在文件创建时生成 16 字节 MD5）的方法。 

/** Seek to the next sync mark past a given position.*/
public synchronized void sync(long position) throws IOException {
  if (position+SYNC_SIZE >= end) {
    seek(end);
    return;
  }

  try {
    seek(position+4);                         // skip escape
    in.readFully(syncCheck);
    int syncLen = sync.length;
    for (int i = 0; in.getPos() < end; i++) {
      int j = 0;
      for (; j < syncLen; j++) {
        if (sync[j] != syncCheck[(i+j)%syncLen])
          break;
      }
      if (j == syncLen) {
        in.seek(in.getPos() - SYNC_SIZE);     // position before sync
        return;
      }
      syncCheck[i%syncLen] = in.readByte();
    }
  } catch (ChecksumException e) {             // checksum failure
    handleChecksumException(e);
  }
}

这些代码只是寻找包含与“同步标记”相同数据的数据序列。

我的疑问：
考虑到SequenceFile中的数据恰好包含与“同步标记”相同的16字节数据序列的情况，上面的代码会错误地将16字节数据视为“同步标记”，然后SequenceFile赢了'没有被正确解析？

我没有找到任何关于数据或同步标记的“转义”操作。SequenceFile 如何是二进制安全的？我错过了什么吗？

4

1 回答 1

0

冲突在技术上是可能的，但实际上它们极不可能发生。

来自http://search-hadoop.com/m/VYVra2krg5t1：

给定的随机 16 字节字符串出现在 PB（均匀分布）数据中的概率约为 10^-23。您的数据中心更有可能被陨石摧毁（http://preshing.com/20110504/hash-collision-probabilities）。

于 2013-10-17T15:39:33.750 回答