3

这个主题与英特尔论坛上的这个问题有关 ==> 这里 <==

我想运行 tensorflow MaskRCNN 来分割一些缺陷，但我有一些限制：

  • 无硬件更改（i5-64bit，无 GPU）
  • 推理时间应短于采集时间（3 秒/图像）

为此，我使用了来自Tensorflow对象检测动物园的 mask_rcnn_inception_v2_coco。

  1. 用我自己的特征重新训练模型 => OK
  2. 生成frozen_inference_graph =>OK
  3. 构建一个看门狗来处理图像 => OK

我面临的问题是处理图像的操作是 12 秒。为了解决这个问题，我尝试使用OpenVINO模型优化器解决方案： OpenVINO 工作流程

安装库后，我使用了这个命令：

python .\mo_tf.py --input_model "<path>\frozen_inference_graph.pb"
--tensorflow_use_custom_operations_config 
extensions/front/tf/mask_rcnn_support_api_v1.11.json 
--tensorflow_object_detection_api_pipeline_config 
'<path>\mask_rcnn_inception_v2_coco.config'

[ SUCCESS ] Generated IR model.
[ SUCCESS ] XML file: <path>\frozen_inference_graph.xml
[ SUCCESS ] BIN file: <path>\frozen_inference_graph.bin
[ SUCCESS ] Total execution time: 24.00 seconds.

接下来，我想用 Python 构建自己的推理引擎。我是这样做的：

# Loading Network :

network=IENetwork(model=MODEL_XML,weights=MODEL_BIN)
network.add_outputs("detection_output")

input_wrapper = next(iter(network.inputs))
n, c, h, w = network.inputs[input_wrapper].shape
out_wrapper = next(iter(network.outputs))

plugin=IEPlugin(device="CPU")
log.info("Loading CPU Extension...")
plugin.add_cpu_extension(CPU_EXTPATH)

supported_layers = plugin.get_supported_layers(network)
not_supported_layers = [l for l in network.layers.keys() if l not in supported_layers]
if len(not_supported_layers) != 0:
  log.error("Not Supported Layers : "+str(not_supported_layers))

Execution_Network=plugin.load(network=network)
del network
log.info("Network Loaded")

# Inference :
image_np = cv2.imread(imagepath)
im = cv2.cvtColor(image_np,cv2.COLOR_BGR2RGB)
image_org=image_np.copy()
#used to resize image with good dimensions
i0=image_to_tensor(im,c,h,w)
res=Execution_Network.infer(inputs={input_wrapper: i0})

为了生成张量，我使用这个函数：

def image_to_tensor(image,channels,h,w,info=""):
  print(image[0])
  image_tensor=np.zeros(shape=(1,channels,h,w),dtype=np.float32)
  if image.shape[:-1]!=(h,w):
    log.warning("Image {} is resized from {} to {}".format(info, image.shape[:-1],(h,w)))
  image=cv2.resize(image,(w,h))
  image = image.transpose((2, 0, 1))
  image_tensor[0]=image

  return image_tensor

在此之后，我构建了我自己的自定义函数来处理边界框和掩码（就像一个带有 Tensorflow ObjectDetectionAPI 方法的包装器）。

所有这一切似乎都像一个魅力。问题在于，与 Tensorflow 相比，概率较低且类别错误。

Openvino： 张量流：开放式维诺 张量流

当我在同一网络上使用 OpenVINO maskrcnn_demo 时，它似乎可以工作：

Average running time of one iteration: 6774.36 ms
[ INFO ] Processing output blobs
[ INFO ] Detected class 16 with probability 0.98652: [2043.3, 1104.9], [2412.87, 1436.52]
[ INFO ] Image out.png created!
[ INFO ] Execution successful

那么问题在于python引擎而不是模型导出。enter code here

有人已经面临这种行为吗？这是正常的，是由于 OpenVINO 的优化还是我这样做的方式有问题？

谢谢 ！

4

0 回答 0