问题标签 [raid]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Python寻求性能的最佳存储配置
我有一个我在 Python3.4 中开发的科学应用程序,它使用 struct 包来生成我在后面的分析步骤中使用的条目的紧凑二进制表示。这些结构存储在一个大型二进制文件(300+ Gb)中,我称之为缓存文件。这个缓存文件被排序和索引。该文件的索引很容易放入内存中,并进行二进制搜索以找到缓存文件中的位置,我应该开始顺序读取缓存文件以检索所需的条目。此外,这些条目“引用”另一个缓存文件(基本缓存文件),我必须从中为缓存文件中的每个检索到的条目检索另一个条目,这个较小的基本缓存文件通常小于 1GB。这是通过寻找条目指定的位置并读取该位置的条目来实现的。
这个实现可以正常工作,但是我将大部分运行时都花在了磁盘访问上,我想尽量减少这种情况。我无法显着更改应用程序的设计,但我可以控制硬件的配置方式。我目前正在使用由 5 个三星 950 专业人士组成的条带 LVM,缓存和基本缓存都驻留在该 LVM 上。我没有硬件 raid 控制器,我使用的是 CentOS6,系统有 256GB 的 RAM。我经常使用相同的缓存和基本缓存文件运行多个分析实例。我不知道我使用当前解决方案实现的队列深度。
有人对如何优化此任务的存储配置有任何提示吗?我假设在文件中查找受 IOPS 的限制比阵列的总带宽更多。在 Python 中查找是否比顺序对数组的随机性能征税更多?将基本缓存放在单独的设备上是否明智?Ramdisk 可能是一种选择,但如果可能的话,我想避免这种情况。在这种情况下,较小的条带尺寸是否比较大的条带尺寸更好?
我目前正在对数组、条带大小和文件系统的一些组合进行置换,但一些指导将最大限度地减少测试的可能性。
amazon-web-services - 如何为 Kubernetes StatefulSet 条带化 EBS 卷?
我有一个使用多个卷声明模板的 Kubernetes StatefulSet 设置。这些声明会生成 EBS st1 卷。我想为他们配置 RAID-0 条带化。有没有办法在我的 Kubernetes 配置文件中执行此操作?
zfs - ZFS - 如何创建 RAID-50
我想在我的 32 个磁盘上创建 RAID-50。计划是在 4 个创建的 VDEV 上创建 4 个 VDEV,包括 RAIDZ 和 RAID-0 中的 8 个磁盘。我读到 VDEV 可能只有 RAID-1/2/3,所以 RAID-50 不应该是可能的(我假设)。我找不到任何信息如何构建它,所以我的问题是:
- 是否可以在 ZFS 上安装 RAID-50?如果不是,为什么可以使用 RAID-10 而不能使用 RAID-50?
- 这是一个好主意,如果不是,为什么以及什么是更好的方法(也许是 RAID-10)?
- 实施的建议是什么?我想有一个安装点,所以也许 LVM ?
raid - IO 即读写操作已停止使用 iostat 验证的一些驱动器
我在 RAID Box 中插入的 105 个硬盘驱动器上运行 IO。我盯着 FIO 在我的所有磁盘上运行 IO 并使用 iostat 观察读写。但过了一段时间,我发现一些驱动器显示每秒读写速率为 0。我不明白它是真的停止还是仍在运行。一些驱动器 IO 操作如下。
linux - mdadm 上的失败事件
我收到了这个错误:
这是从在 host.xx.xx 上运行的 mdadm 自动生成的邮件消息
在 md 设备 /dev/md2 上检测到失败事件。
它可能与组件设备 /dev/sda2 有关。
忠实于你的,等等。
PS /proc/mdstat 文件当前包含以下内容:
未使用的设备:
然后我收到了另一封电子邮件:
主题:FailedOpenDevice
设备:/dev/sda [SAT],无法打开设备
我如何知道我拥有的 2 个磁盘之一是否有问题?
snmp - SNMP LSI Raid 控制器
首先,我是一个完整的 SNMP 新手。
我目前的情况:我需要使用 Zabbix 在 Ubuntu 16.04 机器(我们称之为 fserv)中监控 LSI MegaRAID SAS 9361-8i。
我设法安装/配置 SNMP 以在 Zabbix 服务器上显示一些信息。所以我确信 snmp 一般适用于 fserv 并向 Zabbix 服务器提供数据。我已经在 fserv 上安装了 lsi snmp 代理,但我不确定它是否配置正确。我已经修改了 snmpd.conf 文件以通过 lsi 代理。
如果我snmpwalk -v2c -c public <ip-from-fserv> .1.3.6.1.4.1.3582
在 Zabbix 服务器上输入答案是iso.3.6.1.4.1.3582 = No Such Instance currently exists at this OID
. 如果我snmpwalk -v2c -c public localhost .1.3.6.1.4.1.3582
在 fserv 上运行命令,也会发生同样的情况。
对我来说看起来有点奇怪的一件事是 lsi_mrdsnmpd 服务被标记为活动(退出)。我认为它应该是活跃的,但这只是一个猜测。
我的 conf 文件:
lsi_mrdsnmpd.conf
snmpd.conf
我不知道下一步该做什么。
raid - 断电后如何在重新添加时重新组装 RAID5 阵列
所以,这是历史:断电后,我的 RAID5 无法工作,因为需要重新添加 3 个驱动器。我启动了 mdadm --manage --re-add /dev/md0 /dev/sd[abd]1 ,就像我在电源问题后经常做的那样。
这通常需要 2 秒,但这次运行了很长时间。不幸的是,又发生了一次停电。
当前的 RAID5 不会重新组装:
虽然一切看起来都不错,但我无法重新组装:
请注意,没有磁盘被标记为备用。另外,在 dmesg 中,我看到:
我不明白这里发生了什么,一切看起来都很好(所有磁盘上的更新时间和事件都相同),我不确定如何恢复数据。有任何想法吗 ?没有磁盘是备用的,没有磁盘过期,也没有磁盘出现故障。
vmware - 在 VMware ESXi 安装期间无法检测到硬盘驱动器
我正在尝试在新的 hetzner 服务器机器上安装 VMWare ESXi,我已经订购了带有 4 端口硬件 RAID 控制器和总共 4 个 SSD 的机器。我创建了一个具有 RAID5 配置的阵列,现在如果我使用 VMWare-VMvisor 安装程序重新启动服务器(尝试使用版本 5.5 update03 和 6.5 update01),在初始化设置结束时,它会询问硬盘驱动器,但什么也不显示(没有选项选择)。
有人可以告诉我我做错了什么吗?我认为这是由于 RAID 配置造成的,但似乎并非如此。
centos7 - CentOS 7.5 HP Proliant Microserver G8(HPE 动态智能阵列 B120i 控制器)
我想在 HP Proliant Microserver G8 上安装 CentOS 7.5。
此服务器使用需要内核特定驱动程序才能工作的假阵列控制器(HPE 动态智能阵列 B120i 控制器)。
我在 HP Suppurt 网站 ( b120i rhel7u4/rhel7u5 ) 上找到了驱动程序包 (rpm )
我需要将此驱动程序提供给 OS 安装程序。
这可能会通过,linux modprobe.blacklist=ahci inst.dd
但由于某种原因,安装程序只搜索*.iso
文件。
有没有办法为操作系统安装程序提供 RPM kmod?
任何帮助将不胜感激。
ubuntu-18.04 - 恢复重启后丢失的 RAID10
我最近创建了一个带有四个 3TB 驱动器的 Raid10,一切正常,复制了我所有的文件,重启后 raid 变得无法访问。
我一直在对此进行大量搜索,但不确定如何进行。
背景:
我有一个带有三个 3TB 驱动器的工作 RAIDZ,并决定切换到一个带有四个 3TB 驱动器的 RAID10(我又买了一个)。
我将所有文件复制到备用驱动器,解散 RAIDZ,组装 RAID10,将文件复制回来,一切似乎都正常。
我以为我已经重新启动并检查了一切是否仍然有效,但是一旦我重新启动,RAID10 就变得不活动了,我似乎无法让它再次活动。
我认为我犯的错误:
- 当我仍然有备份时,没有详尽地测试所有内容。
- 我使用了原始的第 4 个驱动器,但在创建 RAID10 之前忘记重新分区 3 个现有驱动器。
- 我按照指向原始驱动器 [sdb, sdc, sdd, sdf] 而不是分区 [sdb1, sdc1, sdd1, sdf1] 的指南创建了 RAID10(注意:备份 USB 硬盘出于某种原因是 sde)
诊断:
这很可怕,因为它只能看到 4 个驱动器之一:
这很可怕,因为它将驱动器列为 zfs_member:
如果我能让他们被认为是 linux_raid_member 的一部分,我是否有希望让事情正常进行?
还是系统认为它仍然是 ZFS 并破坏了超级块的现实?
检查显示:
我尝试组装但没有运气:
与 --force 选项相同的结果。
我没有尝试重新创建 RAID10:
我没有尝试重新创建 RAID10,因为害怕做出不可恢复的更改(如果还没有的话),但是这个页面似乎使它看起来有可能: https ://ubuntuforums.org/showthread.php?t=1972690
我能做些什么?
有人对我应该尝试的事情或我应该考虑的选项有任何建议吗?
非常感谢您抽出宝贵时间查看并提供帮助。