0

我希望在我制作并保存为.bins3 上的文件的 ML 管道中使用 FastText 模型。我希望将这一切都保存在基于云的管道中，所以我不想要本地文件。我觉得我真的很接近，但我不知道如何制作一个临时.bin文件。我也不确定我是否以最有效的方式保存和阅读 FastText 模型。下面的代码有效，但它在本地保存了我想避免的文件。

import smart_open
file = smart_open.smart_open(s3 location of .bin model)
listed = b''.join([i for i in file])
with open("ml_model.bin", "wb") as binary_file:
    binary_file.write(listed)
model = fasttext.load_model("ml_model.bin")
4

2 回答 2

1

如果您想使用fasttext官方 Facebook FastText 代码的包装器，您可能需要创建一个本地临时副本 - 您的麻烦使该代码看起来依赖于打开本地文件路径。

您还可以尝试Gensim包的单独支持，它应该通过其功能FastText接受 S3 路径：load_facebook_model()

https://radimrehurek.com/gensim/models/fasttext.html#gensim.models.fasttext.load_facebook_model

（但请注意，Gensim 并不支持所有 FastText 功能，例如supervised模式。）

于 2021-10-06T16:50:40.143 回答
0

正如上述回复部分回答的那样，需要一个临时文件。但最重要的是，临时文件需要作为字符串对象传递，这有点奇怪。下面的工作代码：

import tempfile
import fasttext
import smart_open
from pathlib import Path

file = smart_open.smart_open(f's3://{bucket_name}/{key}')
listed = b''.join([i for i in file])
with tempfile.TemporaryDirectory() as tdir:
    tfile = Path(tdir).joinpath('tempfile.bin')
    tfile.write_bytes(listed)
    model = fasttext.load_model(str(tfile))
于 2021-10-07T17:56:32.620 回答