问题标签 [lustre]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
70 浏览

lustre - collectl 说“系统没有安装光泽模块”

我想使用 collectl (V4.1.0-1) 来获得光泽 (version=2.12.2_178_ga0680fe_dirty) 特定的统计信息。但是,它说“-sl disabled 因为这个系统没有安装光泽模块”!但是,系统确实有必要的光泽模块。有人可以帮助解决这个问题。

以下是系统详细信息。

0 投票
1 回答
417 浏览

lustre - 如何为 MOFED 正确重建 Lustre

我最近一直在努力让 o2ib 在特定的 MOFED 版本上正常运行。到目前为止,我尝试的是安装 Lustre 内核,为该 Lustre 内核重建 MOFED(似乎正在工作),然后观察 ib0 在重新启动时列出,然后安装通用 Lustre kmod-lustre kmod-lustre- osd-ldiskfs 光泽-osd-ldiskfs-mount 光泽光泽-资源代理。然而,仅仅因为 ib0 存在,并不意味着 o2ib 出现在 Lustre 中。即使运行“lnetctl net add --net o2ib --if ib0”只会给出无法找到接口的错误。

我曾多次尝试重建 Lustre 以尝试获取 o2ib 接口,但无济于事。rpm 已构建,但当我安装它们时,情况并没有好转。我的流程如下(对于 Lustre 2.12):

git clone git://git.whamcloud.com/fs/lustre-release.git cd lustre-release git checkout 2.12.0 sh autogen.sh ./configure --with-o2ib=/usr/src/ofa_kernel/default/制作 rpm

有人有什么建议吗?

谢谢!

0 投票
2 回答
372 浏览

ceph - 搜索最新且在 FreeBSD 和 Linux 上运行良好的集群文件系统(文件存储)

我有一个 FreeBSD 12.1-RELEASE 服务器和一个 CentOS 7 服务器。两者都在 amd64 上运行。

我想建立一个在两个平台上都运行良好的集群文件系统。它应该有 CentOS 7 包和 FreeBSD 包。解决方案应该是开源软件并且“免费使用”。

经过一番研究,我发现了以下内容,但我总是遇到缺点:

  • MooseFS3:适用于 FreeBSD 和 CentOS,两者都有软件包,但只有商业版 MooseFS3 Pro 具有真正的集群功能,例如可以从多个节点挂载文件系统。当我从文件系统运行 dovecot 时,我的 dovecot imap 服务器守护程序访问的文件也有锁定问题。

  • GlusterFS:似乎运行良好,但没有适用于 FreeBSD 的最新版本 8.x 的软件包。截至今天,FreeBSD 只为 GlusterFS 3.x 提供了一个端口。不同版本的 GlusterFS 不能一起运行。

  • Ceph:配置起来非常复杂,我无法执行 FreeBSD 官方文档中的所有步骤,因为 ceph-disk 工具已被弃用,取而代之的是 ceph-volume。但是,使用 Ceph-volume,我无法在 FreeBSD 上使用我的 zfs 池运行它,因为用于 ceph-volume 的 zfs 插件在移植到 FreeBSD 或类似软件时似乎有一些 Linux 代码,所以它可能只在 Linux 本身上使用 ZFSOnLinux 运行。

  • OCFS2:我对那个没有太多经验,但它的版本似乎有点过时了。

  • Lustre:没有适用于 FreeBSD 的软件包,也没有关于如何在最近的 FreeBSD 系统上进行设置的准确和最新文档

  • BeeGFS (Fraunhofer):没有适用于 FreeBSD 的软件包,仅适用于 Linux

  • Hadoop MapR 文件系统:BigData 存储的用例比 UNIX 集群文件系统更多,我不知道它是否有 FreeBSD 包。

因此,对于在 FreeBSD 和 CentOS Linux 上运行的集群文件系统,我没有找到好的解决方案。即使我打算将 CentOS 服务器迁移到 Fedora 服务器,所以它也应该在那里运行。

谁能向我推荐一个最新的兼容集群文件系统,我可以在 FreeBSD 和 CentOS/Fedora 服务器上使用它并且允许真正的集群文件系统功能,如复制和 HA?

还是目前没有满足我需求的集群文件系统,我必须迁移运行相同操作系统的两台机器?

先感谢您。

最好的问候, rforberger

0 投票
0 回答
35 浏览

c - 需要测试异步 I/O

我是异步 I/O 的新手。我试图让它在 Linux 系统上以 C 和 Fortran 代码工作。根据我对平台有点过时的 Lustre 文件系统的了解,aio支持各种例程,但尚不清楚它们是否可以以真正的异步方式执行。是否有一些简单的代码来测试代码执行中是否发生了真正的异步 I/O?

0 投票
1 回答
53 浏览

c - 需要测试以确定异步 I/O 是否实际发生在 C 代码中

我是异步 I/O 的新手。我需要让它在 Linux 系统上的一些 C 和 Fortran 程序中工作。我设法编写了一个从两个文件异步读取的小 C 测试代码(包括在下面)。代码编译并运行。不过,我想知道的是,我是真正获得异步 I/O,还是 I/O 真的是串行的?我正在处理的 luster 文件系统有点过时,不清楚它是否真正支持异步 I/O,似乎没有人有明确的答案。所以我想知道是否有一些时间语句或任何类型的输出可以添加到代码中,以确定它是否以真正异步的方式运行。我打赌我需要比我正在处理的文件大得多的文件才能进行有意义的测试。不知道我还需要什么。

代码是:

0 投票
2 回答
290 浏览

docker - 在运行的容器内挂载 Lustre 不起作用(已添加所有功能)

我们正在尝试将 luster 文件系统挂载到正在运行的容器中,并且已经通过以特权模式运行的容器成功地完成了这项工作。

然而,对于那些在非特权模式下运行的容器,即使包含了 linux 提供的所有功能(数十种功能),安装 luster 也失败了!

然后

  1. “privileged: True”和“cap_add: all capabilites”有什么区别?
  2. 为什么在容器中添加了所有功能后,安装 luster 仍然失败?

安装错误 在此处输入图像描述

非特权模式容器:

0 投票
1 回答
116 浏览

amazon-web-services - 我们能否将 Amazon S3 IAM 策略传播到 FSx 以获得光泽文件系统?

我想为由 Amazon S3 存储桶支持的光泽文件系统创建 FSx,并希望将其安装在 EC2 上。

现在,如果我在 Amazon S3 上创建了一些 IAM 策略,谁可以对 Amazon S3 存储桶内容执行什么操作。例如,不允许对 Amazon S3 存储桶的写访问,这是否也适用于 FSx 的光泽文件系统?

如果不是,我如何管理某个用户创建的 EC2 机器对 FSx 文件系统的访问权限,哪些用户可以列出、读取或写入该 Amazon S3 存储桶的内容。

以及如何管理有关谁可以将更改传播回 Amazon S3 而谁不能的访问权限?

0 投票
1 回答
101 浏览

file - 在 ubuntu 上安装 luster 文件系统并卡在问题上

我正在 Linux Ubuntu 20.04, kernel version - 4.15.0-154-generichttps://wiki.whamcloud.com/display/PUB/Build+Lustre+MASTER+with+Ldiskfs+on+Ubuntu+20.04.1+from+Git#BuildLustreMASTERwithLdiskfsonUbuntu20.04.1fromGit-Prerequisites 源代码在 ubuntu 20.04 上安装光泽文件系统。在我的最后一步configure ,得到:

0 投票
1 回答
26 浏览

gdb - 如何调试从 lustre 读取产生的悬挂作业?

我有一份处于可中断睡眠状态(S)的工作,挂了几个小时。

  • 不能使用 gdb(附加到 PID 时 gdb 会挂起)。
  • 无法使用 strace,strace 将恢复挂起的工作 =(

WCHAN 字段显示 PID 正在等待 ptlrpc。网上搜索了一下,貌似这是个光彩操作。打印文件还显示该程序卡在从 lustre 读取数据。关于如何进行诊断的任何想法或建议?或者挂起发生的可能原因?