我正在将带有 goofys(保险丝)的 Google Cloud Storage 存储桶安装到我的 docker 容器并运行深度学习培训。
训练数据是约 10k 个数据点,测试约 600 个数据点。在模型拟合和测试之间,我将模型同步到存储桶中,因为存储桶不支持直接写入 HDF5 格式,但那是另一回事。在后台运行 goofys 时,应用程序在尝试访问测试数据时崩溃。因此,它可以很好地处理所有训练数据并将模型复制到存储桶中。当测试开始时,我看到了输出:
Transport endpoint is not connected
我正在使用以下命令进行安装(对于后台安装,前台有-f
标志):
goofys -o allow_other --profile <profilename> --stat-cache-ttl 10s --type-cache-ttl 10s --endpoint <endpnt> --dir-mode 0777 --file-mode 0777 <source_bucket> /mnt/<src_dir>
如果我将存储桶安装在前台,则应用程序将完整运行。
我不明白为什么它会在前台工作,但不能在后台工作。当数据吞吐量非常高时,守护程序与 goofys 应用程序之间有什么区别?
高飞版本:高飞版本 0.24.0-45b8d78375af1b24604439d2e60c567654bcdf88