问题标签 [huggingface-transformers]

我们正在尝试解决一个问题，我们希望在我们的数据集上进行语义搜索，即我们有一个特定于域的数据（例如：关于汽车的句子）

我们的数据只是一堆句子，我们想要的是给出一个短语并返回以下句子：

1. 类似于那句话
2. 有与短语相似的句子的一部分
3. 具有上下文相似含义的句子

让我试着给你一个例子，假设我搜索短语“购买体验”，我应该得到如下句子：

• 我从没想过买车可以花不到30分钟的时间来签字和购买。

• 我找到了我喜欢的汽车，购买过程
  简单明了

• 我绝对讨厌去汽车购物，但今天我很高兴我做到了

我想强调一个事实，即我们正在寻找上下文相似性，而不仅仅是暴力搜索。

如果句子使用不同的单词，那么它也应该能够找到它。

我们已经尝试过的事情：

1. 开放语义搜索我们在这里面临的问题是从我们拥有的数据中生成本体，或者为此从我们感兴趣的不同领域搜索可用的本体。

2. Elastic Search(BM25 + Vectors(tf-idf))，我们尝试了这个，它给出了几句话，但精度不是很好。准确性也很差。我们尝试了一个人工管理的数据集，它只能得到大约 10% 的句子。

3. 我们尝试了不同的嵌入，就像曾经在句子转换器中提到的那样，还通过了这个例子并尝试对我们的人工管理集进行评估，但准确性也非常低。

4. 我们试过ELMO。这比我们预期的要好，但仍然比我们预期的要低，并且有一个认知负荷来决定我们不应该考虑句子的余弦值。这甚至适用于第 3 点。

任何帮助将不胜感激。非常感谢您提前提供的帮助

我正在阅读 GPT2 语言模型的代码。隐藏状态到词汇表概率分布的转换在以下行中完成：

这里，

然而，在原始论文中，他们建议将隐藏状态与令牌嵌入矩阵相乘，而拥抱脸的 实现则使用另一个矩阵。

这有什么好处吗？我错过了什么吗？

我在这篇 Medium 帖子之后训练了自己的 BERT NER：https://medium.com/@yingbiao/ner-with-bert-in-action-936ff275bc73

我将模型保存到光盘并成功加载。

model.eval() 有效：

我是 BERT 和变压器库的新手。我希望有类似的东西

会向我展示公认的实体。

我也试过：

其中输出给了我一个很大的张量，我不知道如何处理它。

我现在如何使用模型来预测例句中的实体？我应该如何处理输出？

谢谢！

我设计了一个基于 BERT 的模型来解决 NER 任务。我正在使用transformers带有"dccuchile/bert-base-spanish-wwm-cased"预训练模型的库。当我的模型检测到一个实体但令牌是'[UNK]'. 我怎么知道那个标记后面的字符串是什么？

我知道未知令牌无法恢复为原始令牌，但我想至少在将输入传递给模型之前捕获该值。

代码非常简单：

如您所见，非常简单，只需标记化、填充或截断、创建 attentionMask 并调用模型。

我尝试过使用regex，试图找到它周围的两个令牌以及类似的东西，但我无法正确解决它。

我正在尝试使用 Transformers 做一个简单的文本分类项目，我想使用 V2.3 中添加的管道功能，但几乎没有文档。

如何将我的管道与我的X和y数据一起使用？

我正在使用 Huggingface 的transformers库并想使用 BERT 执行 NER。我试图找到一个明确的示例，说明如何使用 BERT 正确格式化 NER 的数据。从论文和我发现的评论中，我并不完全清楚。

假设我们有以下句子和标签：

我们输入到模型的数据会是这样的：

?

谢谢！

我有：

根据文档。这会带来一些好处：

但是，如果可能的话，我想要一个实际的答案？

在 huggingface 实现中使用基本 BERT 模型的 vanilla 配置，我得到一个长度为 2 的元组。

第一个元素是我期望收到的——每个输入标记的 768 维嵌入。

但是元组中的第二个元素是什么？

它与每个令牌的编码具有相同的大小。但它是什么？

也许是 [CLS] 标记的副本，表示整个编码文本的分类？

让我们检查。

没有！

最后一个令牌的嵌入副本（无论出于何种原因）怎么样？

所以，也不是这样。

该文档讨论了如何更改config可能导致更多元组元素（如隐藏状态），但我没有找到默认配置输出的这个“神秘”元组元素的任何描述。

关于它是什么以及它的用途是什么的任何想法？

嗨，我正在尝试使用“fmikaelian/flaubert-base-uncased-squad”来回答问题。我知道我应该加载模型和标记器。我不知道我应该怎么做。

我的代码基本上很远

很可能这可以用两个班轮解决。

非常感谢

编辑

我也尝试过使用自动模型，但似乎那些不存在：

编辑二 我尝试按照以下代码建议的方法加载已从 S3 保存的模型：

不幸的是，我收到以下错误：

*编辑四 *

我通过将函数放在“ main ”中解决了之前的 EDIT 错误。不幸的是，当我运行以下代码时：

我收到以下错误：

我在情绪分析和 pos 标记任务上微调了两个单独的 bert 模型（bert-base-uncased）。现在，我想将 pos 标记器的输出（batch、seqlength、hiddensize）作为情绪模型的输入。原始的 bert-base-uncased 模型位于“bertModel/”文件夹中，其中包含“model.bin”和“配置.json'。这是我的代码：

但我收到以下错误。如果有人可以帮助我，我将不胜感激。谢谢！