1

我正在尝试提取用户剪影并将其放在我的图像上方。我能够制作蒙版并从 rgb 图像中剪切用户。但是轮廓很乱。

问题是如何使面具更精确（以适合真实用户）。我已经尝试过 ERODE-DILATE 过滤器，但它们的作用不大。也许我需要一些像 Photoshop 中的羽毛滤镜。或者我不知道。

这是我的代码。

import SimpleOpenNI.*;
SimpleOpenNI  context;
PImage mask;
void setup()
{
  size(640*2, 480);
  context = new SimpleOpenNI(this);
  if (context.isInit() == false)
  {        
    exit();
    return;
  }
  context.enableDepth(); 
  context.enableRGB();
  context.enableUser();
  context.alternativeViewPointDepthToImage();     
}

void draw()
{
  frame.setTitle(int(frameRate) + " fps");     
  context.update();
  int[] userMap = context.userMap();  
  background(0, 0, 0);
  mask = loadImage("black640.jpg");  //just a black image  
  int xSize = context.depthWidth();
  int ySize = context.depthHeight();  
  mask.loadPixels();
  for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }
  mask.updatePixels();
  image(mask, 0, 0);
  mask.filter(DILATE);  
  mask.filter(DILATE);         
  PImage rgb = context.rgbImage();
  rgb.mask(mask);  
  image(rgb, context.depthWidth() + 10, 0);
}
4

2 回答 2

1

很好，您正在对齐 RGB 和深度流。在效率方面可以改进的地方很少：

无需在每一帧（在 draw() 循环中）重新加载黑色图像，因为无论如何您都在修改所有像素：

mask = loadImage("black640.jpg");  //just a black image

此外，由于在遍历用户数据时不需要 x,y 坐标，因此可以使用单个 for 循环，它应该会更快一些：

  for(int i = 0 ; i < numPixels ; i++){
    mask.pixels[i] = userMap[i] > 0 ? color(255) : color(0);
  }

代替：

for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }

您可以做的另一件事是userImage()从 SimpleOpenNI 中检索 ，而不是对它userData()应用THRESHOLD过滤器，理论上它应该给您与上面相同的结果。

例如：

int[] userMap = context.userMap();  
  background(0, 0, 0);
  mask = loadImage("black640.jpg");  //just a black image  
  int xSize = context.depthWidth();
  int ySize = context.depthHeight();  
  mask.loadPixels();
  for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }

可能：

mask = context.userImage();
mask.filter(THRESHOLD);

在过滤方面，如果你想缩小你应该缩小的轮廓ERODE，模糊应该会给你一些 Photoshop 的感觉，比如羽化。

请注意，一些filter()调用接受参数（如BLUR），但其他人不喜欢ERODE/DILATE形态过滤器，但您仍然可以滚动自己的循环来处理它。

我还建议在使用过滤器时使用某种易于调整的界面（可以是精美的滑块或简单的键盘快捷键）。

这是对重构草图的粗略尝试，并带有上述注释：

import SimpleOpenNI.*;
SimpleOpenNI  context;
PImage mask;
int numPixels = 640*480;

int dilateAmt = 1;
int erodeAmt = 1;
int blurAmt = 0;
void setup()
{
  size(640*2, 480);
  context = new SimpleOpenNI(this);

  if (context.isInit() == false)
  {        
    exit();
    return;
  }
  context.enableDepth(); 
  context.enableRGB();
  context.enableUser();
  context.alternativeViewPointDepthToImage();  
  mask = createImage(640,480,RGB);  
}

void draw()
{
  frame.setTitle(int(frameRate) + " fps");     
  context.update();
  int[] userMap = context.userMap();  
  background(0, 0, 0);

  //you don't need to keep reloading the image every single frame since you're updating all the pixels bellow anyway
//  mask = loadImage("black640.jpg");  //just a black image  

//  mask.loadPixels();

//  int xSize = context.depthWidth();
//  int ySize = context.depthHeight();  
//  for (int y = 0; y < ySize; y++) {      
//    for (int x = 0; x < xSize; x++) {        
//      int index = x + y*xSize;     
//      if (userMap[index]>0) {  
//        mask.pixels[index]=color(255, 255, 255);
//      }
//    }
//  }

  //a single loop is usually faster than a nested loop and you don't need the x,y coordinates anyway
  for(int i = 0 ; i < numPixels ; i++){
    mask.pixels[i] = userMap[i] > 0 ? color(255) : color(0);
  }
  //erode
  for(int i = 0 ; i < erodeAmt ; i++) mask.filter(ERODE);
  //dilate 
  for(int i = 0 ; i < dilateAmt; i++) mask.filter(DILATE);
  //blur  
  mask.filter(BLUR,blurAmt);

  mask.updatePixels();
  //preview the mask after you process it  
  image(mask, 0, 0);

  PImage rgb = context.rgbImage();
  rgb.mask(mask);  
  image(rgb, context.depthWidth() + 10, 0);

  //print filter values for debugging purposes
  fill(255);
  text("erodeAmt: " + erodeAmt + "\tdilateAmt: " + dilateAmt + "\tblurAmt: " + blurAmt,15,15);
}
void keyPressed(){
  if(key == 'e') erodeAmt--;
  if(key == 'E') erodeAmt++;
  if(key == 'd') dilateAmt--;
  if(key == 'D') dilateAmt++;
  if(key == 'b') blurAmt--;
  if(key == 'B') blurAmt++;
  //constrain values
  if(erodeAmt < 0) erodeAmt = 0;
  if(dilateAmt < 0) dilateAmt = 0;
  if(blurAmt < 0) blurAmt = 0;
}

不幸的是，我现在无法使用实际的传感器进行测试，所以请使用解释的概念，但请记住，完整的草图代码没有经过测试。

上面的草图（如果它运行）应该允许您使用键来控制过滤器参数（e/E 减少/增加腐蚀，d/D 用于膨胀，b/B 用于模糊）。希望你能得到满意的结果。

一般来说，在使用 SimpleOpenNI 时，我建议为最常见的用例记录一个人的 .oni 文件（查看RecorderPlay示例）。从长远来看，这将在测试时为您节省一些时间，并允许您在分离传感器的情况下远程工作。需要记住的一件事是，深度分辨率在录制时降低了一半（但使用usingRecording布尔标志应该可以保证安全）

最后一点可能也是最重要的一点是关于最终结果的质量。如果源图像一开始就不容易使用，那么生成的图像就不会好得多。来自原始 Kinect 传感器的深度数据不是很好。华硕传感器感觉更稳定一些，但在大多数情况下差异仍然可以忽略不计。如果您要坚持使用其中一个传感器，请确保您有清晰的背景和良好的照明（没有太多直接的暖光（阳光、白炽灯泡等），因为它们可能会干扰传感器）

如果您想要更准确的用户剪辑并且上述过滤无法获得您想要的结果，请考虑切换到更好的传感器，如 KinectV2。深度质量要好得多，传感器不太容易受到直接暖光的影响。这可能意味着您需要使用 Windows（我看到有可用的KinectPV2包装器）或 OpenFrameworks（类似于处理的库的 c++ 集合）和ofxKinectV2

于 2015-09-14T18:25:55.483 回答
1

我在处理中尝试了内置的 erode-dilate-blur。但它们的效率非常低。每次我在 img.filter(BLUR,blurAmount) 中增加 blurAmount 时，我的 FPS 都会减少 5 帧。所以我决定试试opencv。相比之下要好很多。结果令人满意。

import SimpleOpenNI.*;
import processing.video.*;
import gab.opencv.*;
SimpleOpenNI  context;
OpenCV opencv;
PImage mask;
int numPixels = 640*480;
int dilateAmt = 1;
int erodeAmt = 1;
int blurAmt = 1;
Movie mov;
void setup(){
  opencv = new OpenCV(this, 640, 480);
  size(640*2, 480);
  context = new SimpleOpenNI(this);
  if (context.isInit() == false) {        
    exit();
    return;
  }
  context.enableDepth(); 
  context.enableRGB();
  context.enableUser();
  context.alternativeViewPointDepthToImage();  
  mask = createImage(640, 480, RGB);
  mov = new Movie(this, "wild.mp4");
  mov.play();
  mov.speed(5);
  mov.volume(0);
}
void movieEvent(Movie m) {
  m.read();
}
void draw() {
  frame.setTitle(int(frameRate) + " fps");     
  context.update();
  int[] userMap = context.userMap();  
  background(0, 0, 0); 
  mask.loadPixels();  
  for (int i = 0; i < numPixels; i++) {
    mask.pixels[i] = userMap[i] > 0 ? color(255) : color(0);
  }
  mask.updatePixels();
  opencv.loadImage(mask);
  opencv.gray(); 
  for (int i = 0; i < erodeAmt; i++) {
    opencv.erode();
  }
  for (int i = 0; i < dilateAmt; i++) {
    opencv.dilate();
  }  
  if (blurAmt>0) {//blur with 0 amount causes error
    opencv.blur(blurAmt);
  }  
  mask = opencv.getSnapshot();  
  image(mask, 0, 0);
  PImage rgb = context.rgbImage();  
  rgb.mask(mask);  
  image(mov, context.depthWidth() + 10, 0);
  image(rgb, context.depthWidth() + 10, 0);
  fill(255);
  text("erodeAmt: " + erodeAmt + "\tdilateAmt: " + dilateAmt + "\tblurAmt: " + blurAmt, 15, 15);
}
void keyPressed() {
  if (key == 'e') erodeAmt--;
  if (key == 'E') erodeAmt++;
  if (key == 'd') dilateAmt--;
  if (key == 'D') dilateAmt++;
  if (key == 'b') blurAmt--;
  if (key == 'B') blurAmt++;
  //constrain values
  if (erodeAmt < 0) erodeAmt = 0;
  if (dilateAmt < 0) dilateAmt = 0;
  if (blurAmt < 0) blurAmt = 0;
}
于 2015-09-15T13:23:41.963 回答