我正在尝试构建在几个高 CPU 无盘实例上运行的神经网络模拟。我计划使用永久性磁盘来存储我的模拟代码和训练数据,并将它们安装在所有服务器实例上。它基本上是一种 map reduce 类型的任务(多个节点处理相同的训练数据,所有节点的结果需要收集到一个单独的结果文件中)。
我现在唯一的问题是,我有哪些选择(永久)保存不同服务器的模拟结果(在模拟期间的某些时间点或最后一次)。理想情况下,我希望将它们写入安装在所有服务器上的单个永久磁盘,但这是不可能的,因为我只能将它以只读方式安装到多个服务器。
将所有服务器的所有模拟结果收集回一个永久磁盘的最聪明(也是最便宜)的方法是什么?