python - 保持通过多个程序运行加载的语言模型

Question

我word2vec在 Python 中加载了一个大型语言模型。每次运行程序时，我都需要将模型加载到内存中。

我正在使用来自 shell 脚本的不同命令行参数运行相同的程序，例如

#!/bin/bash
python processor.py -ad
python processor.py -td
python processor.py -ds

在程序完成运行后，我可以做些什么来将语言模型保存在内存中，还是我只需要修改 python 代码本身以在加载模型后循环不同的迭代？

Answer 1

让你的 Python 程序stdin一次一行地从 中获取输入。然后你可以做这样的事情：

cat <<EOF | python processor.py
ad
td
ds
EOF

那是使用 Bash 的一个称为“此处文档”的功能。您还可以从 Bash 启动 Python 程序并从命名管道中读取它（例如），因此您可以让它在后台运行，同时 Bash 脚本继续运行，并且 Bash 脚本可以向它“提交”新请求为需要。