问题标签 [openvino]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
581 浏览

visual-studio-2017 - 是否有有关适用于 Windows 操作系统的 Openvino 推理引擎的指南?

无论我做什么,我都无法从 Openvino 工具包中获得任何推理引擎样本来运行。我设置了所有路径,为每个示例构建了 ALLBUILD 调试和发布,但是无论我将下载的视频放在哪里,我都无法运行人行横道演示!因为每个人都在使用 linux,所以我也找不到任何 Windows 操作系统的教程。请帮忙?

0 投票
0 回答
316 浏览

cv2 - 要设置的 Blob 大小

输入 blob 大小不等于网络输入大小

所需网络输入大小的平方根是计划,没有尝试过。

cv2.error:OpenCV(3.4.2-openvino_2018_R2.0.0)/home/jenkins/workspace/OpenCV/OpenVINO/build/opencv/modules/dnn/src/op_inf_engine.cpp:416:错误:(-215:断言失败)无法初始化推理引擎后端:输入 blob 大小不等于网络输入大小 (50176!=150528)。在函数“initPlugin”中

不应该给出上述错误

0 投票
1 回答
47 浏览

openvino - 删除推理图

无法将 tensorflow 转换为 VINO 格式

遵循的文档

如果我希望使用 VINO 文档文档中 Mo_FAQ.html 文档中的第 97 点来修复图表,

我在第一个命令中包含哪些节点 - python3 mo.py --input_model model/frozen_inference_graph.pb --tensorflow_subgraph_pattern ""FeatureExtractor/MobilenetV1/MobilenetV1/Conv2d_0/BatchNorm/FusedBatchNorm, FeatureExtractor/MobilenetV1/MobilenetV1/Conv2d_0/Relu6, FeatureExtractor /MobilenetV1/MobilenetV1/Conv2d_1_depthwise/depthwise,FeatureExtractor/MobilenetV1/MobilenetV1/Conv2d_1_depthwise/BatchNorm/FusedBatchNorm,FeatureExtractor/MobilenetV1/MobilenetV1/Conv2d_1_depthwise/Relu6,..

我应该在上面放置哪个节点来卸载操作子图?

(实际的 .pbtxt 文件大约有 100 个节点)

0 投票
2 回答
58 浏览

tensorflow - 要转换为 VINO 的 protobuf 格式是什么?

当 .pb 和 pbtxt 格式都用于读取网络时,如何将网络转换为 VINO - 这两种格式中的哪一种效果最好?

freeze_graph = str("检测/240x180_depth0.75_ssd_mobilenetv1/frozen_inference_graph.pb")

text_graph = str("检测/240x180_depth0.75_ssd_mobilenetv1/graph.pbtxt")

cvNet = cv2.dnn.readNetFromTensorflow(frozen_graph, text_graph)

我在上面使用了 .pb 和 pbtxt 中的哪一个?即一个如何支持另一个?

0 投票
1 回答
2211 浏览

python - 如何在 OpenVINO 中为 Tacotron 模型设置模型优化器的输入形状?

我试图让 KeithIto 的 Tacotron 模型在带有 NCS 的英特尔 OpenVINO 上运行。模型优化器无法将冻结模型转换为 IR 格式。

在英特尔论坛上询问后,我被告知 2018 R5 版本不支持 GRU,我将其更改为 LSTM 单元。但是模型在训练后仍然在 tensorflow 中运行良好。我还将我的 OpenVINO 更新到 2019 R1 版本。但是优化器仍然抛出错误。该模型主要有两个输入节点:inputs[N,T_in]和input_lengths[N];其中 N 是批量大小,T_in 是输入时间序列中的步数,值是字符 ID,默认形状为 [1,?] 和 [1]。问题在于 [1,?] 因为模型优化器不允许动态形状。我尝试了不同的值,它总是会抛出一些错误。

我尝试使用作为最终解码器输出的输出节点“model/griffinlim/Squeeze”以及在(https://github.com/keithito/tacotron/issues/ )中提到的“model/inference/dense/BiasAdd”冻结图95#issuecomment-362854371),这是 Griffin-lim 声码器的输入,这样我就可以在模型之外执行 Spectrogram2Wav 部分并降低其复杂性。

我还尝试了不同的方法来冻结图表。

方法 1: 在转储图形后使用 Tensorflow 中提供的 freeze_graph.py:

其次是:

方法2: 加载模型后使用以下代码:

我希望在冻结后删除 BatchNormalization 和 Dropout 层,但看看错误,它似乎仍然存在。

环境

操作系统:Windows 10 专业版

Python 3.6.5

张量流 1.12.0

OpenVINO 2019 R1 发布

任何人都可以帮助解决优化器的上述问题吗?

0 投票
1 回答
305 浏览

tensorflow-serving - OpenVINO 服务 - 未找到请求的可服务

我正在尝试使用OpenVINO 模型服务器 repo中提到的过程为 OpenVINO 模型提供服务,但在尝试获取模型的元数据时遇到以下问题。
我正在执行的命令是

我收到的错误是:

要启动 docker 容器,我使用的 cmd 是:

/home/rachit/models 的目录树结构是

码头工人日志:

2019-04-14 10:36:03,862 - ie_serving.main - INFO - 日志级别集:INFO
2019-04-14 10:36:03,863 - ie_serving.models.model - INFO - 服务器开始加载模型:my_model
2019-04 -14 10:36:03,865 - ie_serving.models.model - 信息 - my_model 模型的可用版本列表:[]
2019-04-14 10:36:03,865 - ie_serving.models.model - 信息 - my_model 模型的默认版本是 -1
2019-04-14 10:36:03,876 - ie_serving.server.start - 信息 - 服务器侦听端口 9001 并将提供模型:['my_model']

我是新手,所以任何帮助都会非常有帮助。谢谢

0 投票
1 回答
296 浏览

python - 如何确保 Tensorflow 模型中的静态形状以便于 OpenVINO 转换?

我正在尝试优化张量流模型并将其转换为 OpenVINO IR。由于我在输入形状方面面临的问题,它并不是很成功。所以我打算用静态形状改造整个模型。我正在尝试使用的模型是 keithito 的 Tacotron。

如何确保模型中的所有节点都具有静态形状?

将输入占位符节点设置为固定形状是否允许 tensorflow 推断和修复所有其他节点的形状?

0 投票
1 回答
390 浏览

windows - 如何在windows环境变量中添加批处理文件

我正在遵循 Windows 上 openvino 的安装指南。安装成功后,我们需要运行setupvars.bat文件来初始化openvino环境。我们也可以将其永久添加到环境变量中,以便自动初始化。但是没有给出如何添加它的说明。

我想知道是否可以添加它setupvars.bat以便它自动运行。我还需要从相同的环境中运行视觉工作室。

我总是手动执行此步骤,这需要很多时间。我先打开一个cmd,导航到想要的文件夹,然后运行setupvars.bat。之后cmd,我导航到 Visual Studio 安装目录,然后从 启动 Visual Studio,cmd以便在相同的 openvino 环境下启动 Visual Studio。有可能自动化所有这些任务。谢谢

0 投票
1 回答
1987 浏览

openvino - OpenVINO + HDDL 插件 - 无法运行 openvino 示例 - “HDDL 硬件初始化失败”

我正在尝试让 OpenVINO 样本在 mPCIe Myriad X 卡(带有 2 个 MA2485 芯片)上工作。

我的目标是让样本使用 HDDL 插件工作,据我了解,它应该允许并行处理多个芯片。

使用“MYRIAD”插件,基准测试每次都能成功运行: sudo -E ./demo_squeezenet_download_convert_run.sh -d MYRIAD

但是,当切换到-d HDDL我得到以下信息:

我试过弄乱各种配置选项,但无济于事。我也尝试过重新安装 Ubuntu,但也没有用。

使用 Ubuntu 16.04.6,内核 4.4.0-148-generic。

lshw 条目:

${HDDL_INSTALL_DIR}/config/bsl.json (在这里尝试了多种配置,没有任何效果):

0 投票
1 回答
410 浏览

tensorflow - 如何优化经过训练的 Tensorflow 图以提高执行速度?

为了对冻结的 Tensorflow 图 (.pb) 进行快速 CPU 推理,我目前正在使用 Tensorflow 的 C API。推理速度已经相当不错了,但是(与英特尔的 OpenVINO 等 CPU 专用工具相比)我目前无法在运行之前以某种方式优化图表。我对任何适合的优化感兴趣: - 针对 CPU 的特定于设备的优化 - 特定于图形的优化(融合操作,丢弃节点,......) -......以及其他一切降低推理所需时间的东西。

因此,我正在寻找一种在训练后和执行前优化图形的方法。如前所述,英特尔的 OpenVINO(用于 CPU)和 NVIDIA 的 TensorRT(用于 GPU)等工具可以做类似的事情。我也在使用 OpenVINO,但目前正在等待错误修复,因此我想尝试另一种方法。

我想过尝试 Tensorflow XLA,但我没有使用它的经验。此外,我必须确保最终获得冻结图(.pb)或可以转换为冻结图(例如.h5)的东西。

我将不胜感激建议!

问候