问题标签 [cephfs]

我有一个包含三个节点的集群

但是没有实现名为 mgr 的容器并且在所有主机上都没有处于侦听模式的端口 8443。

我怎样才能运行这个守护进程？

我正在学习 BlueStore。我想运行它，以便获得具体的工作流程。但是，BlueStore 已集成到 CEPH 中，这让我很难只专注于自己感兴趣的事情。

那么如何将 BlueStore 与 CEPH 分开并单独运行呢？

我正在学习ceph的bluestore。我正在尝试使用 ceph_object_store 来测试 bluestore。但我看到很多不相关的日志输出。但我看不到任何与基准相关的输出。我发现基准测试使用 dout(0) 来打印日志。那么如何关闭不相关的日志输出并将基准设置为打印呢？

那些不相关的日志输出喜欢：

2021-07-13T08:17:51.821+0000 7f9b76d5f2c0 1 bluestore(/var/lib/ceph/osd/ceph-admin) _upgrade_super 从 4，最新 4 2021-07-13T08:17:51.821+0000 7f9b76d5f2c0 1 bluestore(/ var/lib/ceph/osd/ceph-admin) _upgrade_super 完成 2021-07-13T08:17:51.825+0000 7f9b6cddd700 0 在 4 KB 的块中写入 10 MB 2021-07-13T08:17:51.885+0000 7f9b76d5f2c0 0 写了 1 MB in 64958us，速率为 157640 KB/s 和 39410 iops 2021-07-13T08:17:51.889+0000 7f9b76d5f2c0 1 bluestore(/var/lib/ceph/osd/ceph-admin) umount 2021-07-13T08: 17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph-admin) 分配统计探测 1：cnt：2560 碎片：2560 大小：10485760 2021-07-13T08:17:51.897+0000 7f9b6d5bluede700 0 (/var/lib/ceph/osd/ceph-admin) 探测 -1: 0, 0, 0 2021-07-13T08:17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph-admin ) 探针 -3: 0, 0,0 2021-07-13T08:17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph-admin) 探测 -5:0,0,0 2021-07-13T08:17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph-admin) 探测 -9: 0, 0, 0 2021-07-13T08:17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph -admin) 探测 -17: 0, 0, 0 2021-07-13T08:17:51.897+0000 7f9b6d5de700 0 bluestore(/var/lib/ceph/osd/ceph-admin) ---------- -- 2021-07-13T08:17:51.897+0000 7f9b76d5f2c0 4 rocksdb: [db/db_impl/db_impl.cc:446] 关机：取消所有后台工作 2021-07-13T08:17:51.897+0000 7f9b76d5f2c0 4 rocksdb: [ db/db_impl/db_impl.cc:625] 关闭完成 2021-07-13T08:17:51.897+0000 7f9b76d5f2c0 1 bluefs umount 2021-07-13T08:17:51.897+0000 7f9b76d5f2c0 1 bdev(0x55d2cc088/88/ osd/ceph-admin/block) 关闭 2021-07-13T08:17:52。173+0000 7f9b76d5f2c0 1 freelist 关闭 2021-07-13T08:17:52.173+0000 7f9b76d5f2c0 1 bdev(0x55d2cc098400 /var/lib/ceph/osd/ceph-admin/block) 关闭

我不确定这是否是要问的平台。但希望是:)。

我有一个 3 节点的 ceph 设置。

但是由于某种原因，当我关闭一个节点时，它根本不会开始回填/恢复。它只报告 3 个 osd 如下所示。但是没办法修复它......

如果我运行 aceph -s我得到以下输出：

奇怪的是，当我再次启动我的第三个节点时，它确实恢复并同步了。但看起来它只是没有开始回填......有什么可能导致它吗？

更新 我注意到的，如果我将驱动器标记为 out，它会恢复它......但是当服务器节点关闭并且驱动器被标记为 out 时，它根本不会恢复它......

更新 2： 我在试验时注意到，如果 OSD 已启动，但已退出，它确实会恢复...当 OSD 被标记为关闭时，它根本不会开始恢复...

我目前正在运行 Ceph 集群（Nautilus 14.2.8-59.el8cp），我对显示的大小有疑问：

• 'ceph df' 输出中的“USED”和“MAX AVAIL”列到底是什么，它是如何计算的？
• 如果我在 Linux 机器上挂载 CephFS 空间，为什么“df -h”输出的“size”列会发生变化？我的意思是，几天前我有“48T”的大小，现在我有“46T”，我的 CephFS 池正在缩小？？？

完全没有 OSD

用户清理了他们的 CephFS 空间，检索了 11T 的可用空间，总提高到 48T 而不是 46T，这很奇怪

CephFS我有1024个PG，不知道够不够

我找不到有关 Ceph 显示的大小计算的文档，它有点像黑盒

谢谢

我将此 bluestore_min_alloc_size 应用到 4096，无论我如何应用设置，它都不会被守护进程拾取，我也尝试在应用设置后重新启动所有守护进程 pod，但没有效果。

头文件

您可以看到 60.80k 对象的存储大小为 209MB，但使用的是 3.8Gb，即 64x60.8x1000 kb = 3.8912 Gb 这表明仍在使用 64k 块大小而不是 4kb

我是 Ceph 技术的新手，所以我可能不知道明显的东西。我开始使用 cephadm 部署 ceph 集群，我做到了。在我的第一次尝试中，我给了每个节点 3 GB RAM（一段时间后我发现它需要更多）。当节点的 ram 和交换之一填满 100% 时，我的集群挂起。现在我给每个节点 8GB 内存和 10GB SSD 交换，它是固定的：

Node01：4x CPU，8GB RAM，60GB SSD

Node02：4x CPU，6GB RAM，60GB SSD

Node04: 4x CPU , 8GB RAM , 60GB HDD

我通过创建 CephFS 开始使用它（它创建了 2 个池，一个用于数据，一个用于元数据（3x 副本规则））。我使用 ceph-common 在 Ubuntu 20.04 上安装了这个 FS：

它工作正常。我通过运行渲染地图并将切片保存在文件系统（我的 CephFS 池）中的服务来使用这个 fs。它工作大约 1 天半并生成 ~56.65GB 文件）。第二天，我看到了 1 个 OSD（带有 HDD 的 OSD）并且只有两个 OSD 在运行。我检查了 3 个节点的 RAM 和 CPU 状态。在 2 个节点中使用了 50% 的 RAM，在一个节点（节点 01）中使用了 85% 的 RAM，交换空间约为 4GB。我试图通过重新启动 OSD 来解决这个问题。当我重新启动它们时，关闭的 OSD 一直在崩溃。（之前运行的 OSD，重启后成功启动。我查看了 OSD 日志：

以上是down OSD中的日志。我开始阅读它并找到一个有用的日志以在 google 中搜索：

我发现了一个与版本 16.2.1 相关的错误（我使用 16.2.6）： https ://tracker.ceph.com/issues/50656

我想从我的 OSD 中得到一个转储（我不完全理解他们在说什么）：

我使用使用容器的 cephadm 部署集群，所以我认为我无法以这种方式访问​​套接字。这个命令引导我使用 ceph-bluestore-tool 查看我的物理磁盘的状态（查看容量、运行 fsck 或修复）但运行 ceph-bluestore-tool 需要指定我无法运行的 osd 的 --path主机（我的容器不断崩溃，所以我无法在容器内运行此命令）。我尝试使用 cephadm 在 osd 容器中运行命令，但无论如何都找不到这样做。

如果您需要此处的完整日志，请告诉我（由于字符限制，我无法发送）但它是相同的崩溃日志

我真的不明白发生了什么事。

我尝试使用 ceph-volume 将块设备挂载到主机上使用 ceph-bluestore-tool 在其上使用fsck或repair在其上使用。（它需要一个 --path 参数来指向 osd 文件）（我什至不知道以这种方式使用 ceph-volume 是否正确，或者它是为此而构建的 - 正如我告诉我的 Ceph 新手）

我尝试使用 cephadm 在崩溃的 OSD 中运行 ceph-bluestore-tool 命令，但我做不到。（我上面提到的socket错误）

我的 SSD OSD 已填满 94%，所以其他的 OSD 上仍有可用空间（我猜）。

我可以在互联网上找到的唯一线索不起作用。

我真的很想找到答案。如果你能帮助我，我会很高兴。甚至告诉我阅读文档或学习一些东西。

我将在此处发布有关我的集群的一些信息：

[Ceph 仪表板][1]

我在自己的虚拟机上搭建了一个cephfs集群，然后想用这个集群来存储一批镜像数据（共1.4G，每个镜像8KB左右）。集群存储两个副本，总共有12G的可用空间。但是当我在里面存储数据时，系统提示可用空间不足。如何解决？集群的详细信息如下：

集群信息：

簇：

服务：

数据：

Cephfs 空间使用：

[root@node1 0]# df -hT 文件系统类型 容量已用 可用已用%挂载点</p>

/dev/mapper/nlas-root xfs 36G 22G 14G 62% /

devtmpfs devtmpfs 2.3G 0 2.3G 0% /dev

tmpfs tmpfs 2.3G 0 2.3G 0%

/dev/shm

tmpfs tmpfs 2.3G 8.7M 2.3G 1%/运行

tmpfs tmpfs 2.3G 0 2.3G 0%

/sys/fs/cgroup

/dev/sda1 xfs 1014M 178M 837M 18% /boot

tmpfs tmpfs 2.3G 28K 2.3G 1%

/var/lib/ceph/osd/ceph-0

tmpfs tmpfs 471M 0 471M 0%

/运行/用户/0

192.168.152.3:6789,192.168.152.4:6789,192.168.152.5:6789:/ceph 12G 11G 1.5G 89% /mnt/test

头显 OSD：

[root@node1 mnt]# ceph osd pool ls

cephfs_data

cephfs_metadata

[root@node1 mnt]# ceph osd pool 获取 cephfs_data 大小

尺寸：2

[root@node1 mnt]# ceph osd pool 获取 cephfs_metadata 大小

尺寸：2

ceph.dir.layout：

[root@node1 mnt]# getfattr -n ceph.dir.layout /mnt/test

getfattr：从绝对路径名中删除前导“/”

# 文件：mnt/test

ceph.dir.layout="stripe_unit=65536 stripe_count=1 object_size=4194304 pool=cephfs_data"

我知道建议提供一个新的干净硬盘来创建一个 osd。但我只是在做一个调查，我真的不想为它提供硬盘。我只想将我的系统盘 /dev/vda2 用于 osd。我不知道“ceph-deploy create”是否会清理我的 /dev/vda2。

顺便说一句，如果这个命令真的会格式化我给的磁盘，我怎么能在不提供新磁盘的情况下创建一个 osd，只使用我的旧磁盘并保留旧数据？

我尝试为 osd 使用正常路径，我得到了这个：

我正在尝试在 k8s 集群内的命名空间之间共享一个 cephfs 卷。我将 ceph-csi 与 cephfs 一起使用。

按照https://github.com/ceph/ceph-csi/blob/devel/docs/static-pvc.md#cephfs-static-pvc在两个命名空间中创建静态 pv+pvc。如果我不在同一个节点上启动两个 pod，则可以使用。

如果两个 pod 在同一个节点上，第二个 pod 会出现错误：

任何想法如何解决这个问题或如何在不同的 NS 中使用单个 RWX 卷？

团队-x 的 PV+PVC：

团队用 PV+PVC