2

我正在尝试在 Amazon ec2 ebs 支持的实例上运行 moses 服务器。语言模型和翻译模型总共大约 200GB。我正在考虑安装 moses 实例加载存储在 s3 上的语言模型和翻译模型。但我不知道如何配置 moses.ini 文件以使 moses 知道 ttable-file 和 lmodel-file 的路径。如果有人以前这样做过,任何帮助将不胜感激!!

谢谢你。

4

1 回答 1

1

我不会为此推荐 Amazon S3。Amazon S3 用于在 Web 上有效地分发文件。但是,如果您的全部目的只是在 VM 中读取这些文件 - 那么将这些文件保存在 S3 中并不是正确的选择。有关更多详细信息,请参阅此答案

要回答您的问题,是的,可以使用S3FS将 S3 存储桶作为文件夹安装在您的服务器内。以下是UbuntuRed Hat的说明。

但其他理想的方法是:

  • 如果您的硬盘空间不足,则将 Moses 服务器安装在不同的分区上,使用 BTRFS 对其进行格式化并启用透明压缩。当您从硬盘保存/检索文件时,这将自动压缩/解压缩文件,因此您最终将使用更少的空间。同样在许多基准测试中,透明压缩被证明更快,因为在硬盘和 RAM 之间传输的数据量更少。特别是在涉及大文件时。

  • 您始终可以将辅助 EBS 磁盘附加到正在运行的 VM(如辅助硬盘)。使用它来存储翻译/模型(你也可以像上面一样组合启用透明压缩)

  • 在没有 EBS 的情况下运行单独的 VM,只使用普通的实例存储,并使用它来单独存储翻译。现在在您的 Moses 服务器中,您可以使用SSHFS从这个单独的非 EBS 虚拟机单独安装翻译

总的来说,不要使用 S3,还有其他更好的方法。

编辑:添加链接

于 2013-06-13T14:22:17.630 回答