11

鉴于存储布局需要与逻辑设计完全匹配，我想知道如何最好地使用磁盘数据结构。我发现当您需要为存储设置特定布局时，结构对齐和包装并没有太大帮助。

我解决这个问题的方法是使用处理器指令定义结构的（宽度），并在分配遵循逻辑结构模型的数据后写入磁盘的字符（字节）数组时使用宽度。

例如：

typedef struct __attribute__((packed, aligned(1))) foo {
   uint64_t some_stuff;
   uint8_t flag;
} foo;

如果我将 foo 持久保存在磁盘上，则“标志”值将出现在数据的最后。鉴于我可以在使用 &foo 类型的 fread 读取数据时轻松使用 foo ，然后正常使用该结构而无需任何进一步的字节摆弄。

相反，我更喜欢这样做

#define foo_width sizeof(uint64_t)+sizeof(uint8_t)

uint8_t *foo = calloc(1, foo_width);

foo[0] = flag_value;
memcpy(foo+1, encode_int64(some_value), sizeof(uint64_t));

然后我只使用 fwrite 和 fread 提交和读取字节，但后来解压缩它们以使用存储在各种逻辑字段中的数据。

我想知道哪种方法最好使用，因为我希望磁盘存储的布局与逻辑布局相匹配……这只是一个例子……

如果有人知道每种方法在解码/解包字节与直接从其磁盘表示复制结构方面的效率如何，请分享，我个人更喜欢使用第二种方法，因为它可以让我完全控制存储布局，但我还没有准备好牺牲寻找性能，因为这种方法需要大量循环逻辑来解包/遍历字节到数据中的各种边界。

谢谢。

4

3 回答 3

1

根据您的要求（考虑外观和性能），第一种方法更好，因为编译器将为您完成艰苦的工作。换句话说，如果一个工具（在这种情况下是编译器）为您提供了某些功能，那么您不想自己实现它，因为在大多数情况下，工具的实现会比您的更有效。

于 2014-11-19T23:10:29.560 回答
0

如果您在 Linux 或 Windows 上，那么只需对文件进行内存映射并将指针转换为 C 结构的类型。无论您在此映射区域中写入什么内容，都会以操作系统可用的最有效方式自动刷新到磁盘。这将比调用“写”更有效，并且对您来说麻烦最少。

正如其他人所提到的，它不是很便携。要在 little-endian 和 big-endian 之间进行移植，常见的策略是用 big-endian 或 little-endian 编写整个文件，并在访问时进行转换。但是，这会降低您的速度。保持速度的一种方法是编写一个外部实用程序，它将整个文件转换一次，然后在您将结构从一个平台移动到另一个平台时运行该实用程序。

如果您有两个不同的平台通过共享网络路径访问单个文件，如果您尝试自己编写它只是因为同步问题，您会遇到很多痛苦，所以我建议使用完全不同的方法，例如使用 sqlite .

于 2014-12-01T18:59:59.550 回答
0

我更喜欢接近你的第二种方法的东西，但没有 memcpy：

void store_i64le(void *dest, uint64_t value)
{  // Generic version which will work with any platform
  uint8_t *d = dest;
  d[0] = (uint8_t)(value);
  d[1] = (uint8_t)(value >> 8);
  d[2] = (uint8_t)(value >> 16);
  d[3] = (uint8_t)(value >> 24);
  d[4] = (uint8_t)(value >> 32);
  d[5] = (uint8_t)(value >> 40);
  d[6] = (uint8_t)(value >> 48);
  d[7] = (uint8_t)(value >> 56);
}

store_i64le(foo+1, some_value);

在典型的 ARM 上，上述 store_i64le 方法将转换为大约 30 个字节——时间、空间和复杂性的合理权衡。从速度的角度来看并不是最佳，但从空间的角度来看，在不支持未对齐写入的 Cortex-M0 之类的东西上并不比最佳差多少。请注意，编写的代码对机器字节顺序的依赖性为零。如果有人知道有人正在使用一个小端平台，其硬件会将未对齐的 32 位访问转换为一系列 8 位和 16 位访问，则可以将方法重写为

void store_i64le(void *dest, uint64_t value)
{  // For an x86 or little-endian ARM which can handle unaligned 32-bit loads and stores
  uint32_t *d = dest;
  d[0] = (uint32_t)(value);
  d[1] = (uint32_t)(value >> 32);
}

这在它可以工作的平台上会更快。请注意，该方法的调用方式与逐字节版本相同；调用者不必担心使用哪种方法。

于 2014-11-20T03:48:27.467 回答