问题标签 [simpletransformers]

在他的文章“预训练变形金刚的语言模型微调”中，Thilina Rajapakse ( https://medium.com/skilai/language-model-fine-tuning-for-pre-trained-transformers-b7262774a7ee ) 提供了以下代码使用库微调预训练模型的片段simpletransformers：

然后他补充说：

我们假设您已将数据集中的所有文本组合成两个文本文件 train.txt 和 test.txt，它们可以在 data/ 目录中找到。

我有两个问题：

问题 1

上面突出显示的句子是否意味着整个语料库将被合并到一个文本文件中？因此，假设训练语料库由 1,000,000 个文本文件组成，我们是否应该将它们全部合并到一个文本文件中，并使用这样的代码？

问题2

我认为我可以使用预训练模型：bert-base-multilingual-cased. 正确的？

我已按照此链接中的说明在Google Colab 上训练了一个 BERT 模型。然后我下载了它并尝试在我的计算机上本地使用它。但是出了点问题。

这是我训练模型的代码（在 Google Colab 上）：

它在 Colab 上运行得很好，但我在本地需要它，所以我下载了使用以下代码创建的存档：

然后我将其解压缩并放置在包含以下代码的文件的目录中以测试模型：

所以我如何创建模型的唯一区别是use_cuda=False（因为我在本地没有 GPU）。

当我执行代码时，出现以下输出：

它冻结在这一刻。尽管有这个进度条，但什么也没有发生。我应该怎么做才能使它在本地工作？也许还有另一种方式？

提前感谢您的帮助！

我正在为一个工作项目使用 simpletransformers ( https://github.com/ThilinaRajapakse/simpletransformers )。训练模型后，我将一堆文件转储到输出文件夹中。我想知道，如果您想加载一个先前训练过的模型（我假设它已保存到输出文件夹中），以便您可以立即针对新数据运行它，那么您将如何做呢？输出文件夹中的文件图片

使用 scikit-learn，您可以轻松地将模型导出为 json，然后将它们重新加载，我认为可能有类似的过程？

我正在尝试使用简单的变压器测试此https://github.com/ThilinaRajapakse/simpletransformers#minimal-start NER，并面临以下错误。有人可以指导我解决这个问题吗？

我尝试使用拥抱面部转换器库编写自己的 NER，但仍然面临同样的问题。

试过这个：https ://github.com/ThilinaRajapakse/simpletransformers/issues/370#issuecomment-627763738仍然面临与python3.7相同的问题

错误 ：

系统配置：Windows 10 GTX 1070 Python 3.8.3 转换器 2.1.1 pytorch 1.5.1 conda 环境

我正在尝试在 Google Cloud Platform 上部署模型。但是我一直遇到我创建存储桶的相同问题，并在我运行的文档中指定：

但出于同样的原因，它没有在模型的同一个存储桶上找到输入文件。所以我按照另一个问题的说明进行操作。我已经尝试将 input.json 处理到主目录中，但由于某些其他原因，我没有将 json 归类为 json 文件......

实际上，该模型是使用一个名为 simpletransformers 的库创建的，我尝试安装该库以进行测试，但没有成功。我想知道最好的方法是如何进行？

输入.json：

我正在使用 BERT 进行文本分类项目

我得到了大约。使用简单的变压器可达到 90% 的准确度。但是我只有 60% 使用我自己的 for-loop 训练（未在此处发布）或使用 transformers 库中的 trainer 模块。两者都是使用简单转换器的默认参数完成的。

我真的很难理解为什么性能会有如此大的差异

数据集来自 Kaggle：https ://www.kaggle.com/ankurzing/sentiment-analysis-for-financial-news

进口：

数据预处理：

简单的变形金刚代码：

变形金刚教练代码：

我正在金融新闻数据集上微调 BERT。不幸的是，BERT 似乎陷入了局部最小值。它满足于学习总是预测同一个班级。

• 平衡数据集不起作用
• 调整参数也不起作用

老实说，我不确定是什么导致了这个问题。使用 simpletransformers 库，我得到了非常好的结果。如果有人可以帮助我，我将不胜感激。多谢！

github上的完整代码： https ://github.com/Bene939/BERT_News_Sentiment_Classifier

代码：

我正在尝试创建一个用于对土耳其语进行分类的 Bert 模型。这是我的代码：

我正在使用 Anaconda 和 Spyder。我认为每件事都是正确的，但是当我运行它时，出现以下错误：

我该如何解决这个问题？

我在 colab 上使用 simpletransformers 模型训练了变压器，下载了序列化模型，我在使用它进行推理方面几乎没有问题。在 jupyter 上的模型上加载模型是可行的，但是在将它与 fastapi 一起使用时会出现错误这就是我在 jupyter 上使用它的方式：

它给出以下结果：array([[0.00230123, 0.97465035, 0.00475409, 0.01829433]])

我尝试按如下方式使用 fastapi，但不断出现错误：

我正在尝试运行一项使用简单的变压器罗伯塔模型进行分类的服务。推理脚本/函数本身在测试时按预期工作。当我将它包含在快速 api 中时，它会关闭服务器。

错误 ：

推理脚本：

更新：尝试使用烧瓶并且服务正在运行，但是当在烧瓶顶部添加 uvicorn 时，它会陷入重启循环。