问题标签 [sentence-transformers]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
135 浏览

machine-learning - 使用 Flask Gunicorn 部署句子转换器 ML 模型,加载模型永远不会完成

我用烧瓶 Gunicorn 加载句子转换器模型,但模型永远无法加载模型,有人知道为什么吗?

在此处输入图像描述

这是gunicorn日志 在此处输入图像描述

没有独角兽的原木烧瓶 在此处输入图像描述

0 投票
0 回答
72 浏览

python-3.x - 无法在 python 中导入 sentence_transformers

我正在尝试导入 sentence_transformers ( https://www.sbert.net/ ) 但收到以下错误消息: 在此处输入图像描述

即使安装的 numpy 版本是 1.20.3,也不知道为什么我会收到此错误: 在此处输入图像描述

关于如何解决这个问题的任何想法?

0 投票
0 回答
179 浏览

python - How to download bert models and load in python?

How to download bert models and load in python?

How to save the pretrained model and load in python?

0 投票
0 回答
72 浏览

bert-language-model - 从本地存储库加载量化的 BERT 模型时出错

量化 BERT 模型后,它可以正常工作。但是如果我保存量化模型并加载,它就不起作用。它显示一条错误消息:“LinearPackedParams”对象没有属性“_modules”。我使用相同的设备来保存和加载量化模型。

0 投票
2 回答
436 浏览

python-3.x - 无法在 Google TPU 中导入 python 包 jax

我正在使用 linux 控制台,输入 python 会将我带入 python 控制台。当我在 TPU 机器中使用以下命令时

然后它会生成以下 mss 并退出 python 提示符。

这个问题导致我的代码出现问题,所以我想弄清楚这个问题是什么以及如何解决这个问题?

0 投票
0 回答
144 浏览

python - 射线错误:缺少 1 个必需的位置参数:“循环”

我正在执行 https://github.com/kingoflolz/mesh-transformer-jax 中给出的 train.py 使用 Jax、Ray、TPU 来训练这个 mdoel。但是我它在两者之间停止并产生以下错误:

0 投票
1 回答
473 浏览

embedding - 如何将句子-Bert 输出向量保存到文件中?

我正在使用 Bert 来获取多词之间的相似性。这是我用于嵌入的代码:

我还有一个包含 540000 个单词的数据集。

问题是当我想将 Vocabs 嵌入到向量中时,它永远需要时间。

有没有办法让它更快?或者我想在 for 循环中嵌入词汇并将输出向量保存在一个文件中,这样我就不必每次需要时都嵌入 540000 个词汇。有没有办法将嵌入保存到文件中并再次使用它?我将非常感谢您花时间帮助我。

0 投票
0 回答
94 浏览

bert-language-model - ReadError: 文件无法成功打开。但我不确定 tar 文件存储在哪里来解决这个问题

我正在使用biobert-embeddings==0.1.2torch==1.2.0版本来嵌入一些文档。但是,当我尝试通过以下方式加载模型时出现以下错误

from biobert_embedding.embedding import BiobertEmbedding

biobert = BiobertEmbedding()

我得到的输出/错误是 -

提取biobert模型tar.gz

ReadError:文件无法成功打开

0 投票
1 回答
1049 浏览

python-3.x - 在 Python 中加载 BERT 模型时找不到 pytorch 模型

我正在关注这篇文章以查找文本相似性。我的代码是这样的:

运行上述代码时出现错误:

满的:

短的:

OSError: 无法从 'C:\Users\user1/.cache\torch\sentence_transformers\sentence-transformers_bert-base-nli-mean-tokens' 的 'C:\Users\user1/.cache\ 的 pytorch 检查点文件加载权重torch\sentence_transformers\sentence-transformers_bert-base-nli-mean-tokens\pytorch_model.bin'如果您尝试从 TF 2.0 检查点加载 PyTorch 模型,请设置 from_tf=True。

我在 '.cache\torch\sentence_transformers\sentence-transformers_bert-base-nli-mean-tokens' 文件夹中有 pytorch_model.bin。

为什么我会收到此错误?

0 投票
1 回答
597 浏览

python - 令牌索引序列长度问题

我正在运行一个句子转换器模型并试图截断我的标记,但它似乎没有工作。我的代码是

我不断收到以下警告:

我想知道为什么设置truncation=True不会将我的文本截断为所需的长度?