3

我正在尝试将MTCNN_face_detection_alignment的 MATLAB 实现移植 到 python。我对 MATLAB 和 python 使用相同版本的 caffe 绑定。

重现问题的最少可运行代码：

MATLAB：

addpath('f:/Documents/Visual Studio 2013/Projects/caffe/matlab');
warning off all
caffe.reset_all();
%caffe.set_mode_cpu();
caffe.set_mode_gpu();
caffe.set_device(0);
prototxt_dir = './model/det1.prototxt';
model_dir = './model/det1.caffemodel';
PNet=caffe.Net(prototxt_dir,model_dir,'test');
img=imread('F:/ImagesForTest/test1.jpg');
[hs ws c]=size(img)
im_data=(single(img)-127.5)*0.0078125;
PNet.blobs('data').reshape([hs ws 3 1]);
out=PNet.forward({im_data});
imshow(out{2}(:,:,2))

Python：

import numpy as np
import caffe
import cv2

caffe.set_mode_gpu()
caffe.set_device(0)

model = './model/det1.prototxt'
weights = './model/det1.caffemodel'

PNet = caffe.Net(model, weights, caffe.TEST) # create net and load weights

print ("\n\n----------------------------------------")
print ("------------- Network loaded -----------")
print ("----------------------------------------\n")

img = np.float32(cv2.imread( 'F:/ImagesForTest/test1.jpg' ))
img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)

avg = np.array([127.5,127.5,127.5])
img = img - avg
img = img*0.0078125;
img = img.transpose((2,0,1)) 
img = img[None,:] # add singleton dimension

PNet.blobs['data'].reshape(1,3,img.shape[2],img.shape[3])
out = PNet.forward_all( data = img )

cv2.imshow('out',out['prob1'][0][1])
cv2.waitKey()

我使用的模型位于此处（det1.prototxt 和 det1.caffemodel）

我用来获得这些结果的图像：

在此处输入图像描述

我从这两种情况中得到的结果：

在此处输入图像描述

结果相似，但不一样。

UPD：看起来不是类型转换问题（已更正，但没有任何改变）。我在matlab中保存了conv1层（第一个通道）之后的卷积结果，并在python中提取了相同的数据，现在两个图像都由python cv2.imshow显示。

输入层的数据（数据）是完全一样的，我用同样的方法做了检查。

正如您所看到的，即使在第一层（conv1）上也可以看到差异。看起来内核以某种方式发生了变化。

在此处输入图像描述

谁能说差异隐藏在哪里？

4

1 回答 1

2

我找到了问题来源，这是因为 MATLAB 看到图像转置。此 python 代码显示与 MATLAB 相同的结果：

import numpy as np
import caffe
import cv2

caffe.set_mode_gpu()
caffe.set_device(0)

model = './model/det1.prototxt'
weights = './model/det1.caffemodel'

PNet = caffe.Net(model, weights, caffe.TEST) # create net and load weights

print ("\n\n----------------------------------------")
print ("------------- Network loaded -----------")
print ("----------------------------------------\n")

img = np.float32(cv2.imread( 'F:/ImagesForTest/test1.jpg' ))
img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
img=cv2.transpose(img) # <----- THIS line !
avg = np.float32(np.array([127.5,127.5,127.5]))
img = img - avg
img = np.float32(img*0.0078125);
img = img.transpose((2,0,1)) 
img = img[None,:] # add singleton dimension

PNet.blobs['data'].reshape(1,3,img.shape[2],img.shape[3])
out = PNet.forward_all( data = img )

# transpose it back and show the result  
cv2.imshow('out',cv2.transpose(out['prob1'][0][1]))
cv2.waitKey()

感谢所有在评论中建议我的人！

于 2016-10-06T09:57:57.127 回答