问题标签 [sentence-transformers]

我用我自己的未标记数据对变形器进行预训练，如下所示：

python train_mlm.py sentence-transformers/LaBSE train.txt 基于https://github.com/UKPLab/sentence-transformers/tree/master/examples/unsupervised_learning/MLM

然后我想获得 setnences 的嵌入。代码：

问题是我的输出形状类似于 (3, 14, 500 000)。如果没有对我的数据形状进行培训，则为 (3, 14, 768)。我做错了什么？训练后如何获得最终嵌入？

用例：句子相似度

不在词汇表中的词被模型解构并分解为子词和单字符标记。

问题

1. 这会以任何方式影响模型的准确性吗？
2. 添加新词汇是否对模型有任何帮助（优势）？
3. 还有其他缺点吗？

有人可以解释一下吗？谢谢

例子

我正在编写代码来训练 sbert 进行分类。当我尝试使用 lossname == 'cosinus' 运行代码时，我收到了这个 Dtype 错误。当我使用 lossname == 'rank' 运行代码时，它运行良好。我不知道为什么我会收到这个错误。任何帮助都将是可观的。

'''

**运行时错误**

此页面有两个脚本

什么时候应该使用下面显示的第一种方法和第二种方法？作为nli-distilroberta-base-v2专门用于查找句子嵌入的训练，这不会总是比第一种方法更好吗？

training_stsbenchmark.py1 -

training_stsbenchmark_continue_training.py-

我可以访问最新的软件包，但我无法从我的 python 环境访问互联网。

我拥有的软件包版本如下

我去了该位置并复制了文件夹中的所有文件

然后我转到url并尝试执行那里列出的代码

但我得到以下错误

我在哪里可以获得这 4 个文件 ( 'pytorch_model.bin', 'tf_model.h5', 'model.ckpt.index', 'flax_model.msgpack') 或者我还需要更改什么？这些文件在上述第一个 URL 中不可用

我正在使用 kaggle 上的 sentence_transformers 库中的 DistilBERT，但是当我导入我的模型并尝试用它编码一个句子时：

我收到以下错误：

IndexError：维度超出范围（预计在 [-1, 0] 范围内，但得到 1）

我是语言模型培训的新手，希望有人能解释如何从经过训练的模型中实际生成文本。我在网上找到的任何示例代码都只是模型训练和打印嵌入。我不明白嵌入的重要性。我的目标是打印文本。例如，我在下面有这个示例代码。我可以使用此代码创建的模型来实际解释输入文本，而不仅仅是打印嵌入吗？

例如，我很想实现这样的目标：

“这是一个例句”

转换为

“这句话是一个例子”

或者

“杰克要去上学了”

至

“杰克在去学校的路上”

或类似的东西

我们不想在运行时下载模型。取而代之的是，它应该在码头构建时下载。

那么，通过 docker 文件使用语句转换器下载模型的命令是什么？

如果我们能够下载它，那么我们如何使用 container/app.py 中的同一个库来加载它

你的回复对我很有帮助。如果有人知道相同的解决方案，请告诉我。

我熟悉 SBERT 及其预训练模型，它们很棒！但同时，我想了解结果是如何计算的，我在他们的网站上找不到更具体的内容。例如，我有一个文档，我想查找与它相似的其他文档。我使用了 2 个文档，每个文档包含 200-250 个单词（我将 model.max_seq_length 更改为 350，以便模型可以处理更大的文本），最后我们可以看到余弦相似度为 0.79。这就是我们所能看到的吗？有没有办法提取使模型返回这种高相似度值的主要短语/关键词？

提前致谢！

我不适合模型变形金刚

结果

InvalidArgumentError：组件 0 处的数据类型不匹配：预期为 double 但得到 int32。

[[节点IteratorGetNext（定义在\KA6C9~1.ABE\AppData\Local\Temp/ipykernel_4340/3491990169.py:67）]] [Op:__inference_train_function_17352]

函数调用栈：train_function