问题标签 [gfs]

I was reading about GFS and its consistency model but I'm failing to grasp some of it. In particular, can someone provide me with a specific example scenario (or an explanation of why it cannot happen) of:

• concurrent record append that could result in record duplication
• concurrent record append that could result in undefined regions
• concurrent writes (on a single chunk) that could result in undefined regions

问题描述：对于我们的应用程序（RHEL 5,6），我们使用共享存储（EVA）并且需要为节点之间共享的几个 FS（2-7）找到OCFS2 替换（RHEL 6 不支持）。当前的提示是GFS2和GlusterFS。

用法：系统接收（SFTP/SCP）并处理大小为 10-100 MB 的文件（创建、在目录中重命名、在目录之间移动、读取、删除）。

限制：以这种方式处理的数据量（创建、删除）最多为3 TB/day（最大值60 MB/s）。文件系统应能够在积压期间处理单个目录中的数千个此类文件。

GFS2/GlucterFS 的原因：两者都是 RedHat。与 GFS2 相比，尝试 GlusterFS 的原因是简单，GFS2 需要 RH 集群安装，而 GlusterFS 不需要。问题是性能。

获得更多建议和/或找到一些比较可能真的很有帮助（我知道它们通常属于不同的类型，但无论如何）。

谢谢简

我有一个 Base64 字符串，我将其转换为二进制，如下所示：

我需要将它插入到 MongoDB GridFS 中。我遇到的问题是 createReadStream 需要一个文件路径，我已经在内存中拥有该文件。

这就是我正在尝试但不起作用的方法

但正如我所描述的，它想要一条我拥有的路径buf

更新---我想多了...这行得通

我尝试使用 pygrib 使用 matplotlib 绘制 gfs 天气模型的输出以保存数据，这些数据保存在 grib 文件中。几乎一切正常，输出如下所示：

通过使用 0 度的数据，该程序似乎没有缩小 359.5 度和 360 度之间的差距。如果数据位于常规列表或其他内容中，我将使用 0° 的数据并通过附加列表将其保存为 360°。我见过人们对非 pygrib 数据有同样的问题。如果您知道如何更改 pygrib 数据（不幸的是，常规操作不适用于 pygrib 数据）或如何使 matplotlib 缩小差距，那么您真的会帮我解决这个问题。也许“addcyclic”功能可以提供帮助，但我不知道如何。

编辑：我解决了问题，请参阅我的答案。

所以这是产生问题的代码：

1. 谁能解释一下 Apache Hadoop 与 Google Bigdata 之间的主要区别
2. 哪个更好（hadoop 或 google 大数据）。

我有集群 RHEL6、cman、corosync、pacemaker。

添加新成员后，我在安装 GFS 时遇到错误。GFS 从不安装在服务器上。

在流程中：

fsck.gfs2 -yf /dev/vg_shared/lv_gfs_01

gfs2_edit -p 0xad0047 字段 di_size /dev/vg_shared/lv_gfs_01

如何丢弃标记被阻止，从 GFS 加入？

我正在阅读 GFS 论文但无法理解一点，master 是否也为每个文件副本维护 64kb 的元数据？假设主人的内存是 8 GB，我存储 1000 个文件，每个文件 1 kb，它将占用多少内存？如果复制因子为 3。

我想显示来自http://nomads.ncep.noaa.gov/过滤器生成的 NOAA GFS 数据子集的天气预报数据。据我所知，输出文件是 GRIB2 格式。不幸的是，我找不到任何 PHP 库，它会“给我”给定纬度/经度坐标的预测（我发现一些只适用于 Fortran 或 Python）。有人知道这样的 PHP 库吗？

How exactly SSTable stores its string string keys [row, column, timestamp] triples to the file system, are all triplets in the same directory, in different directories, in the same file or in some other way? The question is specifically about the file/directory structure of SSTable , which is part of BigTable and based on GFS. More specifically about the actual names of the files that store that triplets and their directory structure.

It seems that an example of actual storing and retrieving such key value triplets would demystify the concept.

Ideally a nice diagram or multiple diagrams would make it much more clear.

我从Google 文件系统论文中不明白这一点

一个小文件由少量块组成，也许只有一个。如果许多客户端访问同一个文件，存储这些块的块服务器可能会成为热点。

一个小文件有什么不同？许多客户端访问的大文件不是同样可能导致问题吗？

我曾想过/阅读以下内容：-

• 我假设（如果我错了，请纠正我）大文件块存储在不同的块服务器上，从而分配负载。在这种情况下，假设 1000 个客户端从每个块服务器访问文件的 1/100。所以每个 chunkserver 不可避免地会收到 1000 个请求。（与访问单个小文件的 1000 个客户端不同。服务器收到 1000 个小文件请求或 1000 个大文件部分请求）
• 我读了一些关于稀疏文件的内容。小文件根据文件填满一大块或几块。因此，据我了解，不会重建小文件，因此我已将其排除为热点的可能原因。