2

我刚刚读完 Google 文件系统 (GFS) 论文。论文说 GFS 是

optimized for appending operations rather than random writes.

看到整篇论文都强调了这一特点，我认为它一定非常重要。

作为一个完全没有工作经验的学生Appending Operations，谷歌所说的现实生活中有哪些例子？听起来很激烈。

4

1 回答 1

1

这是 Google 文件系统的核心限制。它将它与 GPFS 等通用并行文件系统进行对比。然而，当涉及到复制时，它使设计变得容易得多。由于 Google 能够围绕其文件系统设计其应用程序，并且随机操作本质上很慢（在旋转媒体上），这对他们来说很好。

很多事情都是“追加”操作：

  • 新的日志条目会附加到日志文件中。（GoogleFS 也可以附加到一个已经关闭的文件（有一定的限制，非常相似的http://hadoop.apache.org/hdfs/不能做到这一点）。
  • 新的 Web 爬网数据会附加到爬网文件，而不是覆盖文件中现有的爬网版本。
  • 所有MapReduce（您还应该阅读那篇论文）输出都是从头到尾写入文件，将键/值对附加到文件中。
  • ...

使用 seek 或 pwrite 操作对文件不更新文件中间数据的所有写入都是追加的。随机写入最重要的用途是（经典）数据库后端。

于 2012-01-08T21:08:14.940 回答