问题标签 [parallel-io]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
linux - 快速磁盘克隆
克隆磁盘时有没有办法让 Linux 提前读取？我使用名为“dd”的程序来克隆磁盘。上次我这样做时，操作系统似乎是在读取然后写入，但从来没有同时进行。理想情况下，如果源磁盘可以跟上，目标磁盘将不断写入而无需等待。
更新：我通常在克隆时选择较大的块大小（例如 16M 或 32MB）。
io - 使用 h5py 并行写入不同的组
我正在尝试使用并行 h5py 为每个进程创建一个独立的组，并用一些数据填充每个组。发生的情况是只有一个组被创建并填充了数据。这是程序：
关于这里出了什么问题的任何想法？
非常感谢
file - 使用带有共享文件指针的 MPI-IO 将巨大的数组写入单个文件
我正在尝试使用带有共享文件指针的 MPI-I/O（OpenMPI 实现）将几个长分布式数组写入单个文件。我收到以下错误消息
lseek：无效的参数
写入失败
我准备了一个简化的代码片段来重现该问题。
看起来MPI_Offset只是int第二次调用MPI_File_write_ordered导致MPI_Offset溢出，偏移量变为负数。相当有趣的是，同样数量的数据的写入可以通过乘以globalUpperBnd2 并且只调用MPI_File_write_ordered一次就可以成功。所以它看起来像是MPI_File_write_ordered以某种方式避免了偏移溢出。
我使用 64 位 OpenMPI 库。
这种情况有什么解决方法吗？
apache-spark - Spark 如何执行 I/O？
据我了解，Spark 使用并行 IO 读取文件。该结论来自其他堆栈溢出响应。
我的问题是使用独立方法还是集体方法来触发读取数据？换句话说，是每个工作人员读取一组数据，还是工作人员相互通信并协作以有效地读取数据？
python - 如何将大量 .jpg、.png 等图像写入单个文件？
我正在尝试为具有高性能并行 IO 的 HPC 架构优化深度学习计算机视觉管道。将大量文件存储在单个目录中是此类系统的反模式。如果我可以收集图像并将它们写入单个大文件，将会实现更好的 IO 性能。
哪些文件格式最适合这项任务？是否存在将大量图像文件写入单个二进制文件格式的 Python 库？我遇到了GEIS文件，这些文件看起来适合用途，但找不到演示用法的示例。
c++ - MPI_File_write_at() 是否用零初始化文件？
考虑以下简单程序，它将所有等级大于零的进程的等级写入文件：
我们在 4 个进程上编译并运行它
我们检查写入的文件hexdump -C myfile
现在，我从未对第一个整数也就是前 4 个字节进行写调用，但它们为零。
我可以确定那些总是零吗？