问题标签 [microsoft-custom-vision]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
385 浏览

azure - Azure/Microsoft 认知服务自定义视觉 - 什么是对象检测模型输出张量规范?

我正在尝试调整可用的示例图像分类 Android 项目

https://github.com/Azure-Samples/cognitive-services-android-customvision-sample

对于导出的自定义视觉对象检测模型,但输出张量的结构不是很清楚 - 因为它包括边界框等。

我还尝试转换为 tensorflow lite 并将模型放入“寿司检测器”iOS 项目中

https://medium.com/@junjiwatanabe/how-to-build-real-time-object-recognition-ios-app-ca85c193865a

但同样不清楚输出结构是什么,也不清楚它是否符合 tf API:

https://www.tensorflow.org/lite/demo_ios

导出 tf 包时有一些 python 示例,但我不确定如何转换为 Java/swift/Objective C - 参见例如

https://stackoverflow.com/a/54886689/1021819

感谢所有帮助。

0 投票
2 回答
1631 浏览

angular - 使用带有 tensorflow JS 的自定义视觉导出模型并输入图像

我是 tensorflow.js 和 tensorflow 的新手

上下文:我们已经训练了一个模型,使用自定义视觉从图像中识别,头发长度:短、中、长。该模型已导出,我们希望在本地与 tensorflow js 一起使用。从自定义视觉导出的文件是 *.pb 文件和 labels.txt 文件。

我使用了 tensorflowjs_converter python 脚本,这是我用来将冻结模型 *.pb 转换为 json 模型的命令:

然后我将这个 model.json 和碎片粘贴到我的 Angular 客户端的 assets 文件夹中。然后我尝试加载模型并给他一个图像来获得预测,但我得到的只是索引值,因为我只需要 0:长,1:中,2:短头发长度。这是控制台的捕获 预测列表

这是我在客户端(打字稿)中用于预测的类:

这是调用上述类的类,我只给出了 canvas 元素:

我的问题是:

转换 python 命令是否正确?

我是否错过了客户中的某些内容以获得正确的索引?

感谢您的时间和回答

如果您需要更多信息,我很乐意将它们提供给您

2019 年 10 月 3 日更新

我确实使用 npm 将 tensorflowjs 更新到 1.0.0

我看到 FrozenModel 现在已弃用

导出我的自定义视觉模型会给我一个 model.pb 和 labels.txt 文件,如下所示: 自定义视觉导出

我已经尝试将这些文件与 python 一起使用,一切正常......我现在想将此 model.pb 文件转换为 model.json 文件以将其与 tensorflowjs 一起使用,为此我需要使用 tensorflowjs_converter,问题是该文件转换此保存模型的结构无效,请参阅:https ://www.tensorflow.org/guide/saved_model#structure_of_a_savedmodel_directory

唯一有效的是,如果我在转换器中使用 freeze_model 格式并给出输出节点名称:损失...像这样tensorflowjs_converter --input_format=tf_frozen_model --output_node_names='loss' --output_json OUTPUT_JSON C:\python\tf_models\hairlength\model.pb C:\python\tf_models\exports\

这些是我在运行上述命令时得到的输出: 输出文件 然后我加载模型,这是我使用导出的 json 模型加载和预测的代码(我使用了 predict() 并像你建议的那样删除了输入和输出节点) :

调用类是这个:

然后发送从网络摄像头流中获取的画布元素会给我这个错误: js错误

由于文件结构错误,如何使用“已保存模型”格式运行转换器命令?

为什么我会收到“无法编译片段着色器错误,无穷大:tf-core.esm 中未声明的标识符”?

感谢您的时间和回答

0 投票
0 回答
290 浏览

python - 在 Python 中从 CustomVision 加载 TensorFlow 模型

我使用 customvision.ai 训练了一个模型,然后我导出了模型以在本地使用它。

我对下一行有疑问:

当我更改output_layer为 =时,output_layer = 'model_outputs:0'我收到此错误,因为我有 80x80x3 图像进行测试:

这是源代码:

0 投票
1 回答
213 浏览

python-3.x - Azure 自定义视觉对象检测高延迟

我的 Azure 自定义视觉视频对象在 FO 层中具有很高的检测延迟。如何最大限度地缩短响应时间?我应该去S层吗?

我的计划使用了我在 Azure 自定义视觉门户上训练的自定义视觉对象检测模型,然后在我的 Python 脚本中使用预测 API,该脚本将视频逐帧发送到 API。这在响应时间上有很多延迟。如果我发送 20FPS 的 1 分钟视频,则需要 2 个多小时来处理它。

0 投票
1 回答
100 浏览

azure - 使计算机视觉应用程序使用自定义视觉

我按照此处的 Microsoft 教程构建了一个计算机视觉应用程序:

https://github.com/Microsoft/computerscience/blob/master/Labs/Azure%20Services/Azure%20Storage/Azure%20Storage%20and%20Cognitive%20Services%20(MVC).md#Exercise1

现在我想使用 customvision.ai 而不是标准的计算机视觉。我将我的 customvision 项目移动到 Azure,并认为我只需要更改订阅密钥和 Vision Endpoint,但它似乎不起作用。

当我使用计算机视觉端点和密钥时,一切正常,但如果我使用自定义视觉,我会收到一条错误消息:

操作返回无效状态代码“未找到”

有人知道吗?我是否必须更改其他值或有什么问题?

感谢您的任何帮助

最好的问候,丹尼尔

0 投票
1 回答
364 浏览

computer-vision - azure custom vision api是否可以在单个图像中检测多个对象

我是 Azure 认知服务的新手。我想在单个图像中检测多个对象。是否可以使用自定义视觉 api。

任何帮助表示赞赏。谢谢你。

0 投票
2 回答
4736 浏览

c# - CustomVision API 返回“操作返回了无效的状态代码:'NotFound'”

我正在使用 Nuget 包 Microsoft.Azure.CognitiveServices.Vision.CustomVision.Prediction

我在 Custom Vision 门户中创建了一个 Custom Vision 应用程序,并获得了 API 密钥和一个项目 ID。

每当我尝试向 API 发出请求时,总是会抛出以下异常:

HttpOperationException:操作返回无效的状态代码“未找到”

这是我的代码:

我尝试了几个不同的端点:

https://southcentralus.api.cognitive.microsoft.com/customvision/v2.0/Prediction https://southcentralus.api.cognitive.microsoft.com/customvision/Prediction/v1.0 https://southcentralus.api。认知.microsoft.com/customvision/v1.1/Prediction

虽然在门户网站上列出的是列表中的第一个。我还成功地在 Azure 上导出了我的应用程序,这为我提供了列表中的第二个端点,但没有更多成功。

我还按照我发现的类似问题中的建议设置了默认迭代(CustomVision:Operation 返回了无效的状态代码:'NotFound')。

我已经尝试过这个示例https://github.com/Microsoft/Cognitive-CustomVision-Windows/tree/master/Samples/CustomVision.Sample,它使用了一个已弃用的 Windows 客户端,至少可以确保我的项目信息是正确的并且我能够访问 API。

任何见解将不胜感激

0 投票
2 回答
900 浏览

python - Python 自定义视觉预测器失败

我正在使用 Python 从 Azure 存储中检索 Blob 图像,然后将其发送到自定义视觉进行预测。这是代码:

但是,执行该predict_image函数会导致以下错误:

0 投票
3 回答
589 浏览

python - 如何在某些图片上上传重复标签以实现 azure 自定义视觉?

我对 azure custom vision 有疑问。我有一个用于对象检测的自定义视觉项目。我使用 python SDK 创建项目(参见:https ://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision-service/python-tutorial-od )。但是我在上传的过程中发现了一些错误。例如,有一张图片在这张图片中有 3 个人。所以我在这张照片中标记了 3 个相同班级的“人”。但上传后,我在自定义视觉网站上发现这张图片中标记了 1 个“人”。但是其他类也可以,比如这张图片也可以有“人”、“车”和“踏板车”。看起来图片上只能有一个相同的班级。

我尝试使用 python SDK(参见:https ://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision-service/python-tutorial-od )上传我的图片和标签信息。

上面的代码可以看到我在0001.jpg中上传了三个“A0”类。但是在网站的GUI界面中,我最终只能看到0001.jpg上面存在一个“A0”类。有什么办法可以解决这个问题吗?


基于 cthrash 代码。我对代码进行了一些更改以使其正常工作。这是修改后的代码:

0 投票
1 回答
422 浏览

c# - Azure Custom Vision API returning different results than project portal?

I've create a custom vision project to recognise characters (A, B, C...). What is interesting: if I upload an image of a character (in this case an "N") to the vision API portal it will tell me that it is 99.9% sure it is an "N":

enter image description here

If however I use the client libraries to predict the very same image, I'm getting 53% that it is a "W" and only 37% that it is an "N":

enter image description here

The code to get the prediction on my client:

Where does this difference come from and how to fix because according to the tests I did by uploading images the results are close to 100% correct no matter which character image I upload?

UPDATE: I noticed that there was an update for the client libraries. They went from 0.12pre to 1.0stable. After the update the PredictImageAsync is gone and replaced with DetectImageAsync. This expected as an additional parameter a model name. I tried using the name of the iteration and after a while the method returns with an internal server error. So not sure what to try next.