问题标签 [mlmodel]

我正在尝试使用“AdversarialBiasMitigator”以及 AllenNLP 预训练的 MLM（来自这里：https ://storage.googleapis.com/allennlp-public-models/bert-masked-lm-2020- 10-07.tar.gz）。我使用的训练数据是 WinoBias 数据集的变体，经过编辑以用于掩码语言建模。此数据的格式是 pandas df，第一列包含句子（已包含 [CLS]、[SEP] 和 [MASK] 标记），第二列包含目标（这是一个性别代词） . 我已经编辑了 masked_language_model_reader.py 以正确读取我的 pandas df，并且我已经编辑了 adversarial_bias_mitigator 配置文件。其余文件（adversarial_bias_mitigator.py 和 masked_language_model.py）我保持不变，所以我认为错误的来源必须在我创建的配置或 mlm 数据集阅读器中。

我在数据集阅读器中所做的主要更改是将标记器更改为 PretrainedTransformerTokenizer，并将 _read() 方法编辑为以下内容：

其余部分几乎与原始 masked_language_model_reader.py 相同（https://github.com/allenai/allennlp-models/blob/aed4876f04a73c7effddf41b3164e1fb6fb6c275/allennlp_models/lm/masked_language_model_reader.py）。我知道上面不是很pythonic，但它是我能想到的最简单的方法，而且我的数据集不是那么大（只有 1000 个句子），所以我认为这不是计算时间的问题。

在 CLI 中运行所有相关文件时，会出现以下错误：

2021-10-02 10:52:20,351 - 信息 - allennlp.training.gradient_descent_trainer - 训练 0it [00:00, ?it/s] 加载实例：0it [00:00, ?it/s] 加载实例：162it [ 00:00, 1616.98it/s] 加载实例：324it [00:00, 1545.78it/s] 加载实例：479it [00:00, 1524.23it/s] 加载实例：681it [00:00, 1713.15it/s ] 加载实例：1049it [00:00, 1764.63it/s] 0it [00:00, ?it/s] 2021-10-02 10:52:20,959 - CRITICAL - root - 未捕获的异常 Traceback（最近一次调用最后） ：文件“/usr/local/bin/allennlp”，第 8 行，在 sys.exit(run()) 文件“/usr/local/lib/python3.7/dist-packages/allennlp/main .py ”，行46、在运行main(prog="allennlp")文件“ /usr/local/lib/python3.7/dist-packages/allennlp/commands/init.py”，第 122 行，主要 args.func(args) 文件“/usr/local/lib/python3.7/dist-packages/allennlp/commands/train.py”，第 121 行，train_model_from_args file_friendly_logging=args。 file_friendly_logging，文件“/usr/local/lib/python3.7/dist-packages/allennlp/commands/train.py”，第 187 行，train_model_from_file return_model=return_model，文件“/usr/local/lib/python3.7/ dist-packages/allennlp/commands/train.py”，第 260 行，在 train_model 中 file_friendly_logging=file_friendly_logging，文件“/usr/local/lib/python3.7/dist-packages/allennlp/commands/train.py”，第 504 行，在 _train_worker metrics = train_loop.run() 文件“/usr/local/lib/python3.7/dist-packages/allennlp/commands/train.py”，第 577 行，在运行中返回 self.trainer.train() 文件“/usr/local/lib/python3.7/dist-packages/allennlp/training/gradient_descent_trainer.py”，第 750 行，在训练指标中，epoch = self._try_train() 文件“/usr/local/lib/python3.7/dist-packages/allennlp/training/ gradient_descent_trainer.py”，第 773 行，在 _try_train train_metrics = self._train_epoch(epoch) 文件“/usr/local/lib/python3.7/dist-packages/allennlp/training/gradient_descent_trainer.py”，第 490 行，在 _train_epoch batch_outputs = self.batch_outputs(batch, for_training=True) 文件“/usr/local/lib/python3.7/dist-packages/allennlp/training/gradient_descent_trainer.py”，第 383 行，在 batch_outputs output_dict = self._pytorch_model(**批处理）文件“/usr/local/lib/python3.7/dist-packages/torch/nn/modules/module.py”，第 1071 行，在 _call_impl 结果 = forward_call(*input, **kwargs) 文件“/usr /local/lib/python3.7/dist-packages/allennlp/fairness/adversarial_bias_mitigator.py”，第 121 行，前向 predictor_output_dict = self.predictor.forward(*args, **kwargs) 文件“/usr/local/lib/python3.7/dist- packages/allennlp_models/lm/models/masked_language_model.py”，第 110 行，在正向嵌入 = self._text_field_embedder(tokens) 文件“/usr/local/lib/python3.7/dist-packages/torch/nn/modules/module .py”，第 1071 行，在 _call_impl 结果 = forward_call(*input, **kwargs) 文件“/usr/local/lib/python3.7/dist-packages/allennlp/modules/text_field_embedders/basic_text_field_embedder.py”，第 103 行, 在 forward token_vectors = embedder(**tensors, **forward_params_values) 文件 "/usr/local/lib/python3.7/dist-packages/torch/nn/modules/module.py", 第 1071 行, in _call_impl 结果 = forward_call(*input, **kwargs) 类型错误：forward() 得到了一个意外的关键字参数 'tokens'

我似乎无法弄清楚问题所在。我不明白为什么传递“令牌”会成为问题？我想知道它是否是我在数据中读取的方式以及它是否没有正确格式化为实例，但是与原始脚本相比，我的方法似乎没有明显的问题出色地。为了尝试解决这个问题，我还添加到配置中：

也：

我不确定这些事情是否相关或帮助/恶化问题！

谢谢你的帮助。

我想将上面的 GraphView 小部件居中。我尝试过列、行居中，甚至容器和中心小部件......

我正在尝试使用我创建的 CoreMl 模型，但我得到了一个错误（我在其他模型中没有得到）。错误由以下行引发：let compiled = try MLModel.compileModel(at: URL(fileURLWithPath: "/Users/myname/Desktop/ItemSimilarityRecommender.mlmodel")). （注意：我尝试在我的包中使用路径并得到相同的错误）

错误是Error Domain=com.apple.CoreML Code=3 "Error reading protobuf spec. validator error: unable to open file for read" UserInfo={NSLocalizedDescription=Error reading protobuf spec. validator error: unable to open file for read}

我在网上唯一能找到的关于这个错误的信息是，如果你省略“.mlmodel”，它可能会发生，这显然不是我的问题。当我在计算机上手动编译模型时，程序也失败了。我已经制作了这个模型的多个版本来尝试解决这个问题，每次我得到同样的错误。

谢谢。

编辑：

我可以手动编译该文件，它会创建一个看似有效的 .mlmodelc 文件。但是，当我使用时try MLModel(contentsOf:)，它会抛出以下内容：

2021-11-07 15:56:43.131400-0500 电影事物 [52871:2279366] [coreml] 无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。2021-11-07 15:56:43.132186-0500 Movie Thing[52871:2279366] [coreml] MLModelAsset：加载失败并出现错误错误域 = com.apple.CoreML 代码 = 0“无法加载模型：文件：/// Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/。用 Xcode 或 编译模型MLModel.compileModel(at:)。" UserInfo={NSLocalizedDescription=无法加载模型：file:///Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/。使用 Xcode 编译模型或MLModel.compileModel(at:). ，NSUnderlyingError=0x6000036e3090 {Error Domain=com.apple.CoreML Code=3“无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的.mlmodelc文件。：未指定的iostream_category错误" UserInfo={NSLocalizedDescription=无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。: unspecified iostream_category error}}} 2021-11-07 15:56:43.132312-0500 Movie Thing[52871:2279366] [coreml] MLModelAsset: modelWithError: load failed with error Error Domain=com.apple.CoreML Code=0 "Unable加载模型：file:///Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/. 使用 Xcode 或编译模型MLModel.compileModel(at:). " UserInfo={NSLocalizedDescription=无法加载模型：file:///Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/。用 Xcode 或MLModel.compileModel(at:). 编译模型，NSUnderlyingError=0x6000036e3090 {Error Domain=com.apple.CoreML Code=3 “无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。：未指定的 iostream_category 错误“UserInfo={NSLocalizedDescription=无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。：未指定的 iostream_category 错误}}} 错误域 = com .apple.CoreML Code=0 "无法加载模型：file:///Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/。使用 Xcode 编译模型或MLModel.compileModel(at:). " UserInfo={NSLocalizedDescription=无法加载模型：file:///Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/。用 Xcode 或MLModel.compileModel(at:). 编译模型，NSUnderlyingError=0x6000036e3090 {Error Domain=com.apple.CoreML Code=3 “无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。：未指定的 iostream_category 错误“UserInfo={NSLocalizedDescription=无法打开文件：/Users/me/Desktop/ItemSimilarityRecommender.mlmodelc/coremldata.bin。它不是有效的 .mlmodelc 文件。：未指定的 iostream_category 错误}}}

编辑 2：为了澄清，模型在 CreateML 中测试和评估时按预期工作。

过去我使用 CreateML 来训练 mlmodel，它一直运行良好，但这是我的问题：我正在使用具有 11 个标签的训练和测试数据。添加文件时，CreateML 启动。一旦进入评估阶段，它就会停止并显示错误消息：“在“testing.csv”的 URL 中的预期目录缺少什么目录？我尝试在这个以标签命名的位置创建 11 个目录，但这无济于事.Apple 开发者论坛 ( https://developer.apple.com/forums/thread/676500 )上只有 1 篇关于此问题的帖子，但此解决方案对我不起作用。我也无法使用游乐场，因为我会得到一个未知的内部错误。

我想在 LinearRegression 模型中使用像 8/12/2004 这样的日期，并将所有数据集转换为范围像（0.2008）强文本以便对日期进行排序

我正在制作我的第一个 ML 集成 android 应用程序，我正在尝试将此 ocr 模型添加到我的应用程序中。但我面临这个错误

这就是我尝试整合它的方式

我看到了许多其他相同的问题并尝试了这些解决方案，我尝试将 tensorBuffer 的大小更改 4 次，我尝试将 byteBuffer 直接传递给 model.process() 函数。但他们都没有工作。可能是什么问题，请帮助。

如何在自定义框架或静态库中隐藏mlmodel/文件？mlmodelc我们想做一个第三方的 Core ML SDK 并且想隐藏我们的mlmodel/mlmodelc文件。下面是.frameworkoutput: 和.aoutput: 或者我们应该将mlmodel/mlmodelc文件编译成输出二进制文件，如何？感谢您的任何提示。

我部署了一个机器学习模型，它需要 2 分钟的单次推理时间。所以我遇到了严重的超时错误，因为我在快速 API 中使用了后台工作人员来处理预测，但我仍然遇到了同样的错误。现在我不确定后台工作人员是否真的在工作。我已经发布了下面的代码，我已将其转换为使预测作为后台任务工作。

我有一个模型来预测图片。现在我想构建一个 API。APP开发人员想用PHP构建API，那么我该如何在PHP中加载我的模型