问题标签 [gfs]

谷歌文件系统是否提供读取一致性。我很困惑，因为我知道主节点在 GFS 中保持写一致性。如果一个系统提供了写一致性，是不是它也提供了读一致性？

谢谢曼吉特

Google 如何存储和组织文档，例如 Google Docs 中的文档？我想问一下 Google 使用哪种文件系统，但我知道它使用 GFS，一种用于存储大文件的分布式文件系统，基本上是包含我感兴趣的文档等内容的大型数据库。

我的问题是：每个文档都是数据库中的记录吗？它如何识别分层系统中的文档，例如网页？如果需要，它如何关联它们或表示层次结构？

看起来谷歌在数据库中创建了自己的“文件系统”（除了底层的 GFS）。有谁知道任何规范或其工作？

在论文The Google File System Section 2.3 中，它说：

文件被分成固定大小的块。

但不要说为什么。这样做有什么好处？

我正在阅读 Google File System 上发表的论文，发现 GFS 支持在现有文件的任意位置追加和更新。

据我所知，HDFS 不支持更新操作，因为它是用于一次写入和多次读取的功能。HDFS 现在确实支持追加操作。他们将最新版本的 dfs.support.append 默认设置为 false。

所以我的问题是有什么方法可以进行某种更新操作。我试过寻找，但我发现HDFS不支持更新操作。

希望早日收到你的消息。

仅供参考：我读过很多关于 claudera 和其他关于此的帖子。我能够在 hadoop 贡献者的一些博客中找到 HDFS 确实支持更新操作的可能性。但是没有人提到或准确说明它是如何进行更新操作的。

划分为 64 MB 有什么理由吗？他们将每个块划分为 64 KB 块。这有什么原因吗？

facebook 使用 SQL 和 NOSQL 数据库

1.是否使用GFS或HDFS或BOTH或其他？

2.有哪些不同的抽象应用层可用于 HDFS 和 GFS ？

3.听说HADOOP，Map Reduce是如何工作的？

请叙述优点。

并深入叙述第二个问题。

在 GFS 论文中，第 4.1 节描述了 GFS 如何能够在目录中进行并发突变，同时只需要为每个客户端对目录进行读锁——GFS 中没有实际的 inode，因此客户端可以自由创建、删除或突变而只需要在和/x/y/somefile上进行读锁定。/x//x/y/

如果没有 inode，那么是否仍然可以维护显式树结构？我能看到这个工作的唯一方法是，如果主服务器维护一个从目录或文件名到它们的元数据的扁平的一维映射，允许快速创建和操作文件。

假设 GFS 的某个客户端想要扫描目录中所有文件的名称 - 例如，ls. 如果没有对所有元数据节点进行迭代，这怎么可能？

客户端可能会维护他们自己认为的 GFS 中目录树的版本，但这只有在每个客户端都保存在自己的目录中时才有效。

为什么GFS中的块大小为64Mb，但当文件大小不是 64 的倍数时可能会导致内部碎片？

我从美国 gfs 天气模型下载数据（来自ftp://ftp.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/gfs.2014101812/master，如果您阅读超过 1 个月，请编辑日期之后）。这些是 grib 文件。

我正在使用 grads 绘制数据，如果我在地图上绘制来自 1 个时间步长（=1 个文件）的数据，它可以正常工作。所以我的第一次尝试是打开前 2 个文件并制作一个阴影图，以相同的颜色显示具有相同风速的区域。我得到的是一个带有正确轴的空图。

我正在使用 opengrads – 网格分析和显示系统 (GrADS) 版本 2.0.2.oga.2。

谁能帮我将不同时间步长（=不同文件）的数据绘制到一个图中？

我在Google Compute Engine中部署了一个 6 节点的Hadoop 集群。

我使用的是Google 文件系统(GFS) 而不是Hadoop 文件分发系统(HFS)。
. 因此，我想以与 HDFS 中的分布式缓存方法相同的方式访问GFS中的文件

请告诉我一种以这种方式访问​​文件的方法。