0

嘿，我对很多擦除编码概念都很陌生。我大多只读过 Reed-solomon，但它不符合我的需要。

我需要找到一种可以在不占用大量系统资源的情况下在大数据上创建奇偶校验分片的技术。

例如：

我想存储一个 32gb 的视频，分割成 8 个 4gb 的碎片。我想为此创建 3 个奇偶校验分片。我最多不能超过几百 MB 的内存，并且我希望增量创建整个奇偶校验分片，以便我可以将它们写入另一个文件系统，而无需将整个内容存储在内存/本地磁盘上。

是否有擦除编码技术，所以我可以：

  • 在不使用大量内存的情况下为大型文件创建奇偶校验分片
  • 通过在创建字节时发送字节来增量创建奇偶校验分片并将其分发到另一个系统。
4

1 回答 1

0

为了让我理解这里的目标，如果您将八个 4gb 分片视为 8 行矩阵，其中每行有 4gb 数据，那么奇偶校验将是 3 行，每行有 4gb 数据？假设是这种情况，那么代码将需要一次编码和传输 11 个行块，可能使用 10 MB 块，这将需要 110MB 内存（加上 RSECC 使用的表的开销）。使用更小的块可能会更好，这取决于传输数据时的消息传递开销。

在接收端，您希望至少双缓冲接收到的数据，将初始视频输出延迟至少一个缓冲时间，以便数据接收和校正与视频显示并行发生。

问题提到了擦除，这是否是一个仅在出现错误时需要重新传输的擦除方案？使用 3 个奇偶校验，可以纠正 1 行数据块，留下一个奇偶校验行用于错误检测。

于 2017-04-19T20:13:46.383 回答