问题标签 [flair]

我已经训练了一个自定义的 NER 模型，训练完成后，它输出的结果是

然后我使用以下代码使用评估函数：

输出：

这让我非常困惑。一种表现非常糟糕，而另一种则令人难以置信。它是在小数据上执行的。让我知道我是否完全误解了某些东西。非常感谢。

这个问题是关于 NLP Python 模块 Flair ( https://github.com/flairNLP/flair )。

模型的默认下载文件夹位于 fair 缓存 (~/.flair) 中。但是，在服务器上工作时，我希望在另一个位置进行此下载，因为 /home 目录非常小。这是一个最小的工作示例。

因此，您可以看到设备上没有剩余空间，并出现以下错误： (...) OSError: [Errno 28] No space left on device: '~/.flair/models/ner-english/tmp8js3y34i' (...)

我正在为股市分析创建情绪分析代码。这是代码的核心：

产生以下输出：

由于我想将数据输入 ML 模型，因此我需要将分数设为数字。我知道 usingprobability = sentence.labels[0].score只给我们分数，但这意味着没有办法区分陈述是积极的还是消极的。有没有办法在归类为负数的分数后面添加一个“-”（否定）符号。例如 - NEGATIVE (0.9855) = -9855。这将确保信息是数字的并且是有用的。

我正在尝试使用 Flair Framework ( https://github.com/flairNLP/flair ) 训练一个命名实体识别模型，并使用以下嵌入：TransformerWordEmbeddings('emilyalsentzer/Bio_ClinicalBERT'). 但是，它总是以OverflowError: int too big to convert. 这也发生在其他一些转换器词嵌入中，例如XLNet. 但是，BERT并且RoBERTa工作正常。

这是错误的完整回溯：

我试图改变embedding_storage_mode,hidden_size和mini_batch_size. 这些都没有给我解决这个问题的方法。

有没有人有同样的问题？有没有办法解决这个问题？

谢谢

我想使用 Flair Tagger 来训练大型数据集 (10GB)，但我遇到了 MemoryError。我怎么解决这个问题？我认为将数据集分成更小的部分可能会有所帮助，我这样做了，但我不确定如何将其读取给 Flair，因为它希望我按如下方式定义文件：

先感谢您！

我已经通过以下命令安装了 fair 库

但是当我尝试导入它时，它会产生类似“ModuleNotFoundError: No module named 'flair'”的错误

代码：

我正在使用 allennlp 库，并且正在尝试使以下行离线工作。我将要部署的计算机无法访问 Internet：

其中 options_file 和 weight_file 是
options_file = "https://allennlp.s3.amazonaws.com/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_options.json"：
weight_file = "https://allennlp.s3.amazonaws.com/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5"和
cuda_device = 0or 1。

如何将这两个文件保存到一个文件夹中以便它们脱机工作？谢谢！

顺便一提。我的文件~/.allennlp/cache夹中有 2 个 json 文件和 2 个其他文件，这些文件是在我运行命令时创建的。

我正在flair使用带有www-data用户（无sudo权限）的包调用 python 脚本。模型位于该用户具有访问权限的路径中，我已设置flair.cache_root = Path("tools/flair")

但是，当我与该用户一起运行脚本时，出现权限错误：

我可以避免使用/root/.cache吗？我不想编辑该目录的读写权限。如果我运行脚本，root它工作正常。我如何以其他用户身份运行它？我在 Ubuntu 上运行它。

我首先使用 Spacy 训练了我的 NER 模型，其微 F1 分数为 64.7%（8 类）。下一步我想训练Flair，希望能得到更好的成绩。当然，spacy 格式的数据将通过一些自定义代码转换为适当的 Flair 语料库。

有关输入数据的信息：语料库：“语料库：4037 个训练 + 840 个开发 + 448 个测试句子”

在训练集中：'Kultur' (1512), 'Erreger' (1376), 'Mittel' (1083), 'Auftreten' (583), 'Zeit' (285), 'Witterung' (238), 'BBCH_Stadium' ( 214），“奥特”（161）

在测试集中：“Erreger”（390）、“Mittel”（311）、“Kultur”（221）、“BBCH_Stadium”（148）、“Auftreten”（54）、“Witterung”（54）、“Ort”（ 53），“时代”（40）

语料库看起来像这样：

训练代码：

损失日志是：

为什么分数这么低？该模型没有学到任何东西。我尝试了 10 个 epoch 和相同的结果。

我需要调整一些参数吗？我的语料库有问题吗？

如果你有这方面的经验，谢谢。

当我没有可用的 Internet 连接时，以下代码对我来说会失败，并会出现我在下面详述的错误消息。我尝试了很多东西，包括配置和检查.flair文件夹以及包使用的.cache文件夹。transformers我还检查了这是https://huggingface.co/modelsdistilbert-base-uncased上的当前模型标识符，正如错误消息所建议的那样。我能做些什么来解决这个问题？详情如下。

失败的代码

错误：

额外细节：

天才版：0.8.0.post1'

需要环境变量，因为我的应用需要在没有互联网连接的情况下独立运行：

我的模型文件位于.flair由flair.cache_root. 当我加载其他模型时，适用于我的代码是：

即使这样也有效：

.flair目录有：

• sentiment-en-mix-distillbert_4.pt
• sentiment-en-mix-ft-rnn.pt
• ner-english（文件夹）
• pos-english（文件夹）

~/.cache/huggingface/transformers目录有：

• 0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99
• 0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99.json
• 75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4
• 75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4.json
• 8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79
• 8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79.json