问题标签 [flair]

我正在尝试部署一个谷歌云函数，该函数使用 fair nlp 模型对推文执行情绪分析。代码部署得非常好，没有“import flair”行或“from flair import x,y,z”之类的替代品。一旦我包含了 fair 的导入语句，该功能就无法部署。以下是我在使用 import 语句进行部署时遇到的错误（错误是从 Firebase 日志中复制的）。这是我第一次在 StackOverflow 上发帖，如果帖子看起来很难看，请原谅我。

{"@type":"type.googleapis.com/google.cloud.audit.AuditLog","status":{"code":3,"message":"Function failed on loading user code. This is likely due to a bug in the user code. Error message: Code in file main.py can't be loaded.\nDetailed stack trace:\nTraceback (most recent call last):\n File \"/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py\", line 359, in check_or_load_user_function\n _function_handler.load_user_function()\n File \"/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py\", line 236, in load_user_function\n spec.loader.exec_module(main_module)\n File \"<frozen importlib._bootstrap_external>\", line 728, in exec_module\n File \"<frozen importlib._bootstrap>\", line 219, in _call_with_frames_removed\n File \"/user_code/main.py\", line 5, in <module>\n from flair import models, data\n File \"/env/local/lib/python3.7/site-packages/flair/__init__.py\", line 20, in <module>\n from . import models\n File \"/env/local/lib/python3.7/site-packages/flair/models/__init__.py\", line 1, in <module>\n from .sequence_tagger_model import SequenceTagger, MultiTagger\n File \"/env/local/lib/python3.7/site-packages/flair/models/sequence_tagger_model.py\", line 21, in <module>\n from flair.embeddings import TokenEmbeddings, StackedEmbeddings, Embeddings\n File \"/env/local/lib/python3.7/site-packages/flair/embeddings/__init__.py\", line 6, in <module>\n from .token import TokenEmbeddings\n File \"/env/local/lib/python3.7/site-packages/flair/embeddings/token.py\", line 10, in <module>\n from transformers import AutoTokenizer, AutoConfig, AutoModel, CONFIG_MAPPING, PreTrainedTokenizer\nImportError: cannot import name 'AutoModel' from 'transformers' (unknown location)\n. Please visit https://cloud.google.com/functions/docs/troubleshooting for in-depth troubleshooting documentation."},"authenticationInfo":

这是我要部署的脚本，以及 requirements.txt 文件

主文件

要求.txt

我包含了 pytorch 下载的 url，因为 flair 是基于 pytorch 构建的，并且如果没有 url，该功能将无法部署（即使我没有在 main.py 中导入 flair）。我也尝试过为天赋指定不同的版本，但无济于事。

任何关于可能导致此问题的直觉将不胜感激！我是 Google Cloud 生态系统的新手，这是我的第一个项目。如果我可以提供任何其他信息，请告诉我。

编辑：我从网站部署（不使用 CLI）

使用from flair.models.text_classification_model import TARSClassifier子包：

我的一位 DS 实习生构建了一个很棒的 Flair 模型，我们希望将其投入使用。我们的运行时系统与 AWS Lambda 配合得很好，所以我一直在努力将她的工作放到 Lambda 上。调用TARSClassifier.load()模型的文件路径时，遇到以下错误：OSError: [Errno 30] Read-only file system: '/home/sbx_user1051'.

在 Lambda 中，我只有/tmp目录的写权限。据我所知，无法指定模型的缓存位置，因此模型最终会调用os.makedir它无权访问的目录。

是否有已知的解决方法来精确指定模型的缓存位置？

错误日志的图像

所以我准备了一个数据集来训练一个天赋分类模型。它以正确的方式格式化（标签<class_x> ）。然而，当我去训练我的模型时，我相信它会混淆数据。这可能是因为其他分隔符，因为我的数据集充满了空格、分号、单引号和双引号以及逗号。

这是我的一个数据集的一个例子

当我运行训练模型程序并打印语料库信息时，它给了我这个： corpus print corpus information

当模型尝试训练时，每个 epoch 都有相同的问题：[W ParallelNative.cpp:206] 警告：在并行工作开始后或使用原生并行后端（函数 set_num_threads）调用 set_num_threads 后无法设置内部操作线程数

每个时期都没有改善或发展：2021-07-26 10:26:51,694 DEV：损失 6.476138114929199 - 得分 0.0

2021-07-26 10:26:51,812 糟糕的时代（没有改善）：0

完成的结果如下所示： results

如果有人可以为我指出如何使这种模型训练发挥作用的正确方向，将不胜感激。

在 Flair NER 上运行 dask 时出现酸洗错误。当我没有分布式客户端时，这很有效，但是在执行时间上它似乎没有做得更好

我的代码是：

PicklingError: Can't pickle <functools._lru_cache_wrapper object at 0x00000136957653A0>: it's not the same object as flair.embeddings.token.WordEmbeddings.get_cached_vec

我正在使用flair处理 NER 任务。我注意到有时天赋在处理一个句子后会引入空格。

示例：输入句子Herman Melvilles email is mobydick123@gmail.com ;-)作为输出[PERSON_NAME] email is mobydick123 @ gmail.com ;-)而不是[PERSON_NAME] email is mobydick123@gmail.com ;-).

我该如何解决？

我在运行命令时遇到此错误pip install flair

我在 conda 环境中运行此命令。我之前能够成功安装flair。然后我卸载了 miniconda，将其安装在单独的驱动器上（在同一台电脑上）并尝试flair再次安装，因此我们到了。

任何有关如何解决此问题的帮助将不胜感激。

我已经从 Huggingface 上的 fair 下载了 NER，我已经加入了

P是我正在使用的驱动器（Home Drive）。.flair文件夹是我必须使用mkdir. 当我跑

我收到以下错误：

因此，似乎该模型不是在本地选择的，而是在尝试连接到服务器。由于使用工作设备，我无法访问外部服务器。我也试过：

我得到了同样的错误。我想知道在本地加载这个模型的正确方法是什么？

安装后我尝试使用flair，但出现以下错误：

我的代码：

RuntimeError：由于以下错误而无法导入transformers.models.albert（查找以查看其回溯）：由于以下错误而无法导入transformers.modeling_tf_utils（查找以查看其回溯）：没有名为'tensorflow。 python.keras.engine.keras_tensor'

我的包版本如下：

我不知道为什么，有人可以帮我解决这个错误，在此先感谢！

我正在尝试为我的数据集创建标签，该数据集只是一个包含 20_000 行文本的 csv 文件。我使用了以下方法，但创建所有结果大约需要 15 分钟。期望的结果是

“这是一个非常糟糕的产品”，generated_label_with_confidence_score

我对 NLP 尤其是天赋比较陌生，所以我在尝试完成他们 github 页面上提供的天赋教程时遇到了这个问题。只要我使用可以通过加载的英语语言模型，一切都运行良好SequenceTagger.load('ner')但是当我更改该模型并尝试运行代码时，我的内核在应该加载模型时被杀死。代码看起来很简单：tagger = SequenceTagger.load('de-ner') 终端中的日志如下：

# /home/user/anaconda3/envs/flair/lib/python3.8/__pycache__/netrc.cpython-38.pyc 匹配 /home/user/anaconda3/envs/flair/lib/python3.8/netrc.py

# 来自'/home/user/anaconda3/envs/flair/lib/python3.8/__pycache__/netrc.cpython-38.pyc'的代码对象

# import 'netrc' # <_frozen_importlib_external.SourceFileLoader object at 0x7f83c1e6f700> 2022-01-16 16:37:19,414 loading file /home/user/.flair/models/ner-german/a125be40445295f7e94d0afdb742cc9ac40ec4e93259dc30f35220ffad9bf1f6.f46c4c5cfa5e34baa838983373e30051cd1cf1e933499408a49e451e784b0a11

# /home/user/anaconda3/envs/flair/lib/python3.8/site-packages/torch/nn/backends/__pycache__/__init__.cpython-38.pyc 匹配 /home/user/anaconda3/envs/flair/lib /python3.8/site-packages/torch/nn/backends/__init__.py

# 来自 '/home/user/anaconda3/envs/flair/lib/python3.8/site-packages/torch/nn/backends/__pycache__/__init__.cpython-38.pyc' 的代码对象 import 'torch.nn.backends' # <_frozen_importlib_external.SourceFileLoader 对象位于 0x7f83c1e6ff10>

# /home/user/anaconda3/envs/flair/lib/python3.8/site-packages/torch/nn/backends/__pycache__/thnn.cpython-38.pyc 匹配 /home/user/anaconda3/envs/flair/lib /python3.8/site-packages/torch/nn/backends/thnn.py

# 来自 '/home/user/anaconda3/envs/flair/lib/python3.8/site-packages/torch/nn/backends/__pycache__/thnn.cpython-38.pyc' 的代码对象 import 'torch.nn.backends. thnn' # <_frozen_importlib_external.SourceFileLoader object at 0x7f83c1e6fd00>

被杀

所以我认为这个问题与torch.nn.backends.thnn 的导入有关，但谷歌搜索并没有提供任何有用的点击。由于某些模型加载良好，部分问题可能是模型的大小：较小的模型正在工作（例如“ner”），无法加载较大的模型，例如“de-ner”或“de-ner-large” /正在导致此错误。我已经尝试过最明显的（删除和重新加载模型）；结果保持不变。

可能相关软件包的版本等是：python 3.8.12 flair 0.10 pytorch 1.10.0 transformers 4.15.0

任何提示都非常感谢！如果需要，我很乐意提供更多信息！