0

我正在将带有 goofys(保险丝)的 Google Cloud Storage 存储桶安装到我的 docker 容器并运行深度学习培训。

训练数据是约 10k 个数据点,测试约 600 个数据点。在模型拟合和测试之间,我将模型同步到存储桶中,因为存储桶不支持直接写入 HDF5 格式,但那是另一回事。在后台运行 goofys 时,应用程序在尝试访问测试数据时崩溃。因此,它可以很好地处理所有训练数据并将模型复制到存储桶中。当测试开始时,我看到了输出:

Transport endpoint is not connected

我正在使用以下命令进行安装(对于后台安装,前台有-f标志):

goofys -o allow_other --profile <profilename> --stat-cache-ttl 10s --type-cache-ttl 10s --endpoint <endpnt> --dir-mode 0777 --file-mode 0777 <source_bucket> /mnt/<src_dir>

如果我将存储桶安装在前台,则应用程序将完整运行。

我不明白为什么它会在前台工作,但不能在后台工作。当数据吞吐量非常高时,守护程序与 goofys 应用程序之间有什么区别?

高飞版本:高飞版本 0.24.0-45b8d78375af1b24604439d2e60c567654bcdf88

4

1 回答 1

0

解决这个问题的方法是用 GCSFuse 替换 goofys。尽管goofys具有高性能优势,但GCSFuse在保持水桶安装方面表现出更高的可靠性。

于 2021-06-01T16:58:25.900 回答