问题标签 [distilbert]

我已经实现了一个香草版本的 DistilBERT，它为我的 NER 任务提供了一个相当糟糕的 F1-Score。这可以在下面看到。但是我在任何论文或网站上都找不到对这个香草版本的任何可能的改进。有没有添加更多图层的有用方法？例如，添加 LSTM 层是否有意义？

我正在尝试在 Colab 中使用 ktrain 运行 DistilBert，但我收到“错误太多值无法解包”。我正在尝试执行有毒评论分类，我从 CivilComments 上传了“train.csv”，我可以运行 BERT 但不能运行 DistilBert

如果我只使用“bert”进行预处理，它就可以正常工作，但是我不能使用 distilbert 模型。使用 distilbert 进行预处理时出现错误：

'要解压的值太多，预计为 2'，如果我用 bert 替换 distilbert 它可以正常工作（下面的代码），但是我被迫使用 bert 作为模型，使用 bert 进行预处理可以正常工作：

这个没有错误，但我不能使用 distilbert，见下文：

示例：model = txt.text_classifier('distilbert', train_data=(x_train, y_train), preproc=preproc) 错误消息：if 'bert' is selected model, then preprocess_mode='bert' should be used and vice versa

我想 (x_test, y_test), preproc = txt.texts_from_csv(DATA_PATH, 'comment_text', label_columns=label_columns, val_filepath=None, max_features=NUM_WORDS, maxlen=MAXLEN, preprocess_mode='distilbert')与 distillbert 模型一起使用，如何避免错误“太多值无法解包”

代码所基于的链接：Arun Maiya (2019)。ktrain：用于帮助训练神经网络的 Keras 轻量级包装器。https://towardsdatascience.com/ktrain-a-lightweight-wrapper-for-keras-to-help-train-neural-networks-82851ba889c。

我在 csv 中有数据。我使用 read_csv 从 csv 获取数据，然后为 DistilBERT 预处理文本 - 标记化，然后填充：

在执行最后一步时，我遇到了 RAM 内存问题。有人可以分享如何批量处理它并获得最后一个隐藏状态吗？

谢谢你。

我试图遵循这个例子。在此之前，我使用了表格教程 和文本数据分类教程，效果很好。现在我正在尝试连接模型。直到我标记的最后一个块，我才收到任何错误。我在那里做错了什么，但无法到达哪里。我会很感激任何提示。

我试图使用带有 distilbert 模型的 Ktrain 来预测测试序列，我的代码如下所示：

在 Ktrain 的 nbsvm、fasttext、bigru 等模型的其他实现中，它非常简单，因为 texts_from_array 函数返回一个 numpy 数组，但使用 distilbert 它返回一个 TransformerDataset，因此无法使用 learner.model.predict() 对序列进行预测它会生成一个 python 索引异常。鉴于我有多标签分类问题，我也无法使用 validate() 方法生成混淆矩阵。我的问题是如何使用 distilbert 对 Ktrain 的测试序列进行测试，我对此的需求来自于我的度量函数是基于 sklearn.metric 库实现的，并且它需要 numpy 格式的测试和验证序列。

我制作了一个简单的模型来使用 DistilBERT 进行文本分类。问题是我无法弄清楚如何在训练时进行交叉验证。下面提供了我的代码实现。

任何人都可以帮助我在培训时实施交叉验证吗？

先感谢您。

gRPC 需要一个字节格式的值。查询请求不喜欢 gRPC 中的张量类型。我对 gRPC/API 很陌生。

已尝试使用 .tobytes() 和字节转换，但由于某种原因它不喜欢张量格式，感谢任何帮助。

我正在尝试应用 DistilBERT 模型来创建预测，无论句子是声明、前提还是非争论（3 个输出）

但是，当我应用模型并希望使用以下代码创建预测时：

我收到以下错误代码：

并且不知何故是多阵列输出，我无法处理。（见下面的例子）

有没有人有经验如何处理它？

谢谢！

我正在使用 DistilBERT 对我的数据集进行情绪分析。数据集包含文本和每行的标签，用于标识文本是正面还是负面的电影评论（例如：1 = 正面和 0 = 负面）。这是来自 huggingface 文档的代码 ( https://huggingface.co/transformers/custom_datasets.html?highlight=imdb )

我想知道在一条新数据上测试这个模型。所以，我有一个数据框，其中包含每行的一段文本/评论，我想预测标签。有谁知道我会怎么做？我很抱歉，我对此很陌生，非常感谢任何帮助！我试着接收文本，清理它，然后做

我收到一条错误消息，说 DistilBERT 没有属性 .predict。

我从 Huggingface 训练了一个 DistilBERT 模型，用于使用 3 个标签（Claim、Premise、Non-Arg）进行分类，并将模型保存为 .h5 文件。

当我尝试在服务器上部署保存的模型、标记文本并使用模型创建预测时，我收到一个错误代码。

我正在使用以下代码来预测结果：

并得到以下错误代码：

具有某种多数组输出，我无法处理。（见下面的例子）

有没有人有关于如何处理它的提示/经验？或者另一种方式，这可能会有所帮助？

谢谢！