问题标签 [allennlp]

在我使用 Python 3.6.9 的 Conda 环境中，我安装了 AllenNLP 9.2.0。我尝试按照https://github.com/allenai/allennlp-server的说明通过运行安装 AllenNLP 服务器pip install --editable .

然而，安装过程从未完成，因为与几个模块的兼容性检查，例如pip is looking at multiple versions of tqdm to determine which version is compatible with other requirements. This could take a while. Collecting tqdm>=4.19

有人知道这里发生了什么吗？我应该在 AllenNLP 服务器中为 steup.py 添加更多限制吗？但是，此类文件中包含任何代码。

非常感谢你的帮助。

我使用 allennlp 2.0 训练了一个多任务模型，现在想使用该allennlp predict命令预测新示例。

问题/错误： 我正在使用以下命令：allennlp predict results/model.tar.gz new_instances.jsonl --include-package mtl_sd --predictor mtlsd_predictor --use-dataset-reader --dataset-reader-choice validation

这给了我以下错误：

据我了解，这就是发生的事情：

这个RuntimeError 由 MultiTaskDatasetReader 引发，因为 MultiTaskDatasetReader 的read()-method 不应被调用自身。- 方法应该只为特定的read()DatasetReaders 调用MultiTaskDatasetReader.readers。

调用 MultiTaskDatasetReader 的 read() 方法是因为在 jsonnet-config 中我指定了 DatasetsReaders，如下所示：

通常typedataset_reader 的 表示要实例化以进行预测的数据集读取器类。但是在这种情况下，type只是指向 MultiTaskDatasetReader，它没有read()实现 - 方法并且包含多个 DatasetReader。

据我了解，在使用时，allennlp predict我需要以某种方式指定应该使用多个 DatasetReaders 中的哪一个。

问题是：

如何指定MultiTaskDatasetReader.readers在执行时应该使用哪个特定的 DatasetReader（在多个 DatasetReader 中）allennlp predict？或更笼统地说：如何allennlp predict使用 MultiTaskDatasetReader 运行？

为了完整起见，附加代码： 预测器：

尝试使用https://github.com/allenai/scibert/blob/master/scibert/models/text_classifier.py共享的文本分类器模型

过去一切正常，突然间我不断收到此错误：无法将 text_classifier 注册为模型；名称已用于 TextClassifier

可能是什么原因？有什么建议吗？

我收到错误（“AssertionError：找不到需要填充的字段；我们很惊讶您收到此错误，请在 github 上打开一个问题”）。

“AssertionError：找不到需要填充的字段；我们很惊讶您收到此错误，请在 github 上打开一个问题”

我不知道为什么我得到这个错误。

我的配置文件在下面。

我使用了 allennlp 2.0.1 & 2.0.2（两个版本都出现了同样的错误。）

运行 AllenNLPtrain或evaluateCLI 命令时，是否有配置选项（在 json/jsonnet 文件中）将测试集评估指标写入 Tensorboard？

如果没有，我怎么能在我自己的脚本中做到这一点？

提前感谢您的时间和帮助。此致

在尝试运行 AllenNLP train 命令时，我遇到了这个错误。

2021-02-25 02:57:40,043 - 信息 - allennlp.common.plugins - 插件 allennlp_models 可用

回溯（最近一次通话最后）：

文件“/home/zliu60/miniconda/envs/sftp-env/lib/python3.7/runpy.py”，第193行，在_run_module_as_main“ main ”，mod_spec）文件“/home/zliu60/miniconda/envs/sftp- env/lib/python3.7/runpy.py”，第 85 行，在 _run_code exec(code, run_globals) 文件“/home/zliu60/miniconda/envs/sftp-env/lib/python3.7/site-packages/allennlp / main .py”，第 38 行，在 run() 文件“/home/zliu60/miniconda/envs/sftp-env/lib/python3.7/site-packages/allennlp/ main.py ”，第 34 行，在运行main(prog="allennlp") 文件“ /home/zliu60/miniconda/envs/sftp-env/lib/python3.7/site-packages/allennlp/commands/init.py”，第 117 行，主要 import_module_and_submodules(package_name) 文件“/home/zliu60/miniconda/envs/sftp-env/lib/python3.7/site-packages/allennlp/common/util.py”，第 351 行，在 import_module_and_submodules 如果 path_string 和 module_finder.path ！= path_string: AttributeError: 'zipimport.zipimporter' object has no attribute 'path'

这似乎是一个与 allennlp 相关的问题，但我不知道我的代码中的哪个部分（无论是配置文件还是模块）或与之相关的环境。有人可以帮助我。

从开放信息提取演示运行训练命令失败，并显示以下错误消息：

这是否意味着文件被删除？在哪里可以找到替换文件？

寻找替换文件我从 allenai repo 中找到了这个文件 ，但它似乎缺少诸如“dataset_reader”之类的必填字段。

我尝试在 AllenNLP v2.0.1 中实现主动学习过程。但是，在当前的GradientDescentTrainer实施情况下，我无法继续对新一批Instance.

该模型（也使用 AllenNLP 进行了训练）已在初始训练数据集上完成了预定义时期数的训练。Model.from_archive我使用该方法恢复模型，并使用静态构造函数Trainer为它实例化。Trainer.from_params

Instance此后，当我尝试通过调用继续对新批次进行训练时trainer.train()，由于方法中的以下代码片段，它会跳过训练_try_train，

这是因为epoch_counter恢复到 5，这是从之前对初始训练数据的训练得到的。这是它的相关代码片段，

self._num_epochs也是 5，我假设这是我的 .jsonnet 训练配置文件中定义的时期数。

简单地说，我的要求是加载一个已经训练过的 AllenNLP 模型，并继续在一批新实例上训练它（实际上是单个实例，我将使用 a 加载SimpleDataLoader）

我还在下面附上了 Trainer 的配置。我使用的模型是 BasicClassifier 的自定义包装器，仅用于记录其他指标。

提前致谢。

AllenNLP 的官方文档建议在配置文件中指定“validation_data_path”，但如果想从单一来源构建数据集，然后以给定的比例将其随机拆分为训练数据集和验证数据集怎么办？

AllenNLP 是否支持这一点？我将非常感谢您的意见。

系统

操作系统：Ubuntu Python 版本：3.6.7 AllenNLP 版本：1.0.0

问题：使用以下命令，我可以训练模型，但我不知道权重是正在更新以进行微调还是只是训练新模型？

我正在尝试使用以下命令对新数据（即 SQuAD 格式）的阅读理解模型进行微调：

allennlp train fine_tune_config.json -s fine-tune-test/和以下配置：