问题标签 [distilbert]

一段时间以来，我一直在为 huggingface 的 DistilBERT 模型苦苦挣扎，因为文档似乎非常不清楚及其示例（例如https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT -models-MLM-NSP.ipynb和https://github.com/huggingface/transformers/tree/master/examples/distillation）非常厚，他们展示的东西似乎没有很好的记录。

我想知道这里是否有人有任何经验并且知道一些很好的代码示例，用于他们模型的基本 in-python 使用。即：

• 如何正确地将模型的输出解码为实际文本（无论我如何改变它的形状，标记器似乎都愿意对其进行解码并且总是产生一些[UNK]标记序列）

• 如何实际使用他们的调度器+优化器来训练一个简单的文本到文本任务的模型。

按照此处的示例笔记本：

https://github.com/amaiya/ktrain/blob/master/examples/text/20newsgroup-distilbert.ipynb

在第 1 步：预处理数据中，我遇到了下面列出的错误。当我在 Colab 笔记本中执行完全相同的操作时，它可以工作。我的机器上缺少什么？我可以用 BERT 运行它，DistilBERT 会导致问题。

原因：

有什么想法吗？

我正在尝试为问答目的训练 distil BERT 模型。我已经安装了简单的变压器和所有东西，但是当我尝试运行以下命令时：

我收到错误消息->

请帮忙！

我正在尝试使用火炬多处理来并行化来自两个单独的拥抱脸蒸馏器分类模型的预测。它似乎在预测步骤中陷入僵局。我正在使用 python 3.6.5、torch 1.5.0 和 huggingface 转换器版本 2.11.0。运行代码的输出是

在并行预测期间，它似乎陷入僵局并且没有打印出“End tree predictions”和“End dn predictions”。不知道为什么会这样。代码是

我知道其他人已经发布了类似的问题，但我在这里找不到合适的解决方案。

我编写了一个自定义 keras 层，以基于掩码平均来自 DistilBert 的输出。也就是说，我dim=[batch_size, n_tokens_out, 768]进来了，n_tokens_out根据一个掩码进行掩码dim=[batch_size, n_tokens_out]。输出应该是dim=[batch_size, 768]. 这是图层的代码：

该模型编译时没有错误，但是一旦开始训练，我就会收到此错误：

我回来的尺寸小于预期的尺寸，这对我来说很奇怪。

这是模型的样子（TFDistilBertModel 来自 huggingfacetransformers库）：

在这里的任何帮助将不胜感激，因为我查看了现有问题，大多数问题最终都通过指定输入形状来解决（不适用于我的情况）。

我尝试使用 distilbert 分类器。但我收到以下错误。

这是我的代码

这是错误

由于我办公室当前的环境问题，我只能在 tf 2.2 和 python 3.8 上工作。现在我使用的是 0.19。

如果我将它降级到 0.16，你认为它会影响我当前的环境吗？

当我尝试使用 BERT 标记器从数据帧中拆分出来时，我遇到了这样的错误。

我已经从拥抱脸模型中保存了一个预训练版本的 distilbert，distilbert-base-uncased-finetuned-sst-2-english，我正在尝试通过 Tensorflow Serve 为它提供服务并进行预测。目前，所有这些都在 Colab 中进行测试。

我在通过 TensorFlow Serve 将预测转换为模型的正确格式时遇到问题。Tensorflow 服务已启动并运行良好，可为模型提供服务，但是我的预测代码不正确，我需要一些帮助来了解如何通过 API 上的 json 进行预测。

{"signature_name": "serving_default", "instances": [101, 2023, 2003, 1996, 2190, 2154, 1997, 2026, 2166, 999, 102]}

预测

这里的任何方向将不胜感激。

我正在尝试按照https://huggingface.co/transformers/custom_datasets.html上的教程在自定义数据集上微调 Huggingface 的 distilbert 实现，以在自定义数据集上进行多类分类（100 个类）。

我正在使用 Tensorflow 这样做，并在原生 tensorflow 中进行微调，也就是说，我使用教程的以下部分来创建数据集：

而这个用于微调：

微调似乎一切都很好，但是当我尝试使用model.predict(test_dataset)作为参数（带有 2000 个示例）对测试数据集进行预测时，该模型似乎对每个标记产生一个预测，而不是每个序列产生一个预测......

也就是说(1, 2000, 100)，我得到的不是 shape 的输出，而是 shape 的输出(1, 1024000, 100)，其中 1024000 是测试示例的数量 (2000) * 序列长度 (512)。

关于这里发生了什么的任何提示？（对不起，如果这很天真，我对 tensorflow 很陌生）。

当我运行 demo.py

代码显示

使用 bos_token，但尚未设置。使用 eos_token，但尚未设置。 为什么要打印 bos_token？