问题标签 [simpletransformers]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
109 浏览

python - 从 simpletransformers.language_modeling 导入 LanguageModelingModel 不工作

我已经成功安装了 simpletransformers。为什么它不起作用?非常感谢您提前。


0 投票
1 回答
421 浏览

python - 在 lambda docker 上使用 simpletransformers 时出现“[ERROR] OSError: [Errno 30] Read-only file system”

使用 Docker 映像在 AWS 上测试我的 lambda 函数时出现以下错误。该模型是一个简单的transformers分类模型。测试在本地运行良好。

我认为 simpletransformers 正在尝试写入 os. 有什么解决方法吗?

0 投票
0 回答
478 浏览

python - wandb - RuntimeError: CUDA 内存不足

我正在尝试运行简单转换器文档中的超参数优化示例中给出的模型,但是在经过一定次数的迭代后搜索超参数时,会发生 CUDA 内存不足错误。此外,在搜索超参数期间,分配的 GPU 内存不断增加。

下面是内存分配图:

在此处输入图像描述

这是我的代码。我在 Google Collab 上发布的代码。我该如何解决这个错误?

0 投票
2 回答
683 浏览

tensorflow - SimpleTransformers 错误:VersionConflict:tokenizers==0.9.4?我该如何解决?

我正在尝试从他们在 google colab 上的网站执行 simpletransformers 示例。

例子:

但它给了我以下错误:

VersionConflict:tokenizers==0.9.4 是该模块正常运行所必需的,但发现 tokenizers==0.10.0。尝试: pip install tr​​ansformers -U 或 pip install -e '.[dev]' 如果你正在使用 git master

我已经尝试过!pip install transformers -U,甚至!pip install tokenizers==0.9.4 仍然出现同样的错误。我之前已经执行过这段代码,它的工作很有趣,但现在它给出了提到的错误。

0 投票
1 回答
53 浏览

python - 从 SimpleTransformer 的分类模型中提取层输出

我已经为文本分类任务微调了一个 BERT 基础模型。现在,我想提取隐藏层输出,以便将此输出与其他特征结合起来训练随机森林模型。问题在于我不知道如何提取隐藏层输出。如果有人能在这方面帮助我,那就太好了。

0 投票
1 回答
543 浏览

python - AttributeError:“str”对象在从 simpletransformers 训练 QuestionAnsweringModel 时没有属性“to”

我正在尝试从 simpletransformers 训练 QuestionAnsweringModel bert-base-multilingual-uncased 并面临下一个问题:

我的数据准备:

建筑模型:

模型训练:

此代码在 Colab Pro 中执行并基于文档https://simpletransformers.ai/docs/qa-model/

请帮我解决这个问题。

0 投票
0 回答
37 浏览

python - 在 simpletransformers 中为 NER 使用 CoNLL 数据格式时出现类型错误

我正在尝试使用大约 530 Mb 的数据构建自定义 NER。我使用以下代码使用 simpletransformers 来实现它。

args.lazy_loading=True用来解决内存问题。但是给出以下错误:

CoNLL 格式的示例输入文本:

参考链接:https ://simpletransformers.ai/docs/ner-specifics/

0 投票
2 回答
1982 浏览

python - “google.protobuf.descriptor”没有属性“_internal_create_key”

尝试导入时出现以下错误simpletransformers

我已经尝试升级protobuf并拥有与protoc此问题相同的版本: 如何解决“AttributeError:模块'google.protobuf.descriptor'没有属性'_internal_create_key”?

我也尝试升级其他软件包。还有什么问题?

我在云 linux 机器上遇到问题。在我的本地 Windows 机器上,没有问题。

0 投票
1 回答
538 浏览

simpletransformers - 很想获得 T5 变形金刚的顶级生成文本?

我使用库训练了一个 T5 变压器simpletransformers

这是获取预测的代码:

但是,它只返回顶部或贪婪预测,我怎样才能获得 10 个顶部结果?

0 投票
0 回答
337 浏览

python - SimpleTransformers 分类器的 RuntimeError(DataLoader 工作程序错误)

我正在尝试使用 SimpleTransformers 训练文本分类器。我正在利用 TurkuNLP 语言模型来尝试训练分类器(利用我计算机的 GPU)。

我的代码:

然后我开始训练分类器。但是,一旦第一个训练时期结束,我就会收到警告:

然后,一旦第二个纪元开始,我就会收到以下错误:

有任何想法吗?谢谢 :)