c++ - 在 rgb 图像中使用点云中的聚集索引

Question

我正在处理从两个图像中获取的深度图（我从 opencv StereoBM 获取），现在我需要在其中找到集群我决定使用 pcl 区域增长分割http://www.pointclouds.org/documentation/tutorials/ region_growth_segmentation.php。在阅读了这篇文章http://blog.martinperis.com/2012/01/3d-reconstruction-with-opencv-and-point.html后，我将 cv::Mat 转换为点云，现在我有集群索引这在这里起作用https://gist.github.com/Daiver/5586252 现在我想使用这些索引在来自 StereoBM (cv::Mat) 的深度图上显示集群

我正在尝试这个，但我对结果不满意

  pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud; //cloud from depth map and rgb image
  std::vector <pcl::PointIndices> clusters;// clusters inices, extracted before
  for(int j = 0; j < clusters.size(); j++)
  {
      cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType<uchar>::type);//image has size that equal size of rgb image and depth map        
      for(int i = 0; i < clusters[j].indices.size(); i++)
      {
        to_show.data[clusters[j].indices[i]] = 200;// regions in this Mat must be equal with regions from depth map
      }
      cv::imshow("", to_show);
      cv::waitKey();
  }

结果 一些集群 另一个集群

可视化云

我如何将集群投影到 cv::Mat？PS对不起我的写作错误。非我母语的英语

UPD 我尝试通过使用循环（如 mat_to_cloud 函数中的循环）来“恢复”深度图

int counter = 0;
cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType<uchar>::type);
for(int i = 0; i < cloud->height; i++)
{
  for(int j = 0; j < cloud->width; j++)
  {
    to_show.at<uchar>(i, j) = cloud->at(counter).z;
    counter++;
  }
}

另一个循环顺序 int counter = 0; cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType::type); for(int j = 0; j < cloud->width; j++) { for(int i = 0; i < cloud->height; i++) { to_show.at(i, j) = cloud->at(counter) .z; 计数器++；} }

我不知道为什么这些图像很相似

Answer 1

我以前没有使用过 PCL，但看起来这条线可能是错误的：

// regions in this Mat must be equal with regions from depth map
to_show.data[clusters[j].indices[i]] = 200;

to_show 是一个 opencv 矩阵，但您使用点云中的索引。您需要先将索引转换为像素坐标。

Answer 2

我解决了我的问题，但我的解决方案有点肮脏和愚蠢。我做了我自己的简单重投影函数

void straight_reproject_cloud(cv::Mat& img_rgb, cv::Mat& img_disparity, pcl::PointCloud<pcl::PointXYZRGB>::Ptr& point_cloud_ptr)
{
    uchar pr, pg, pb;
    for (int i = 0; i < img_rgb.rows; i++)
    {
        uchar* rgb_ptr = img_rgb.ptr<uchar>(i);
        uchar* disp_ptr = img_disparity.ptr<uchar>(i);
        for (int j = 0; j < img_rgb.cols; j++)
        {
            uchar d = disp_ptr[j];
            if ( d == 0 ) continue; //Discard bad pixels
            pb = rgb_ptr[3*j];
            pg = rgb_ptr[3*j+1];
            pr = rgb_ptr[3*j+2];
            //Insert info into point cloud structure
            pcl::PointXYZRGB point;
            point.x = j;
            point.y = i;
            point.z = d;
            uint32_t rgb = (static_cast<uint32_t>(pr) << 16 |
                  static_cast<uint32_t>(pg) << 8 | static_cast<uint32_t>(pb));
            point.rgb = *reinterpret_cast<float*>(&rgb);
            point_cloud_ptr->push_back (point);
        } 
    }
}

此功能直接从图像向云添加点，无需更改新云与旧重投影不重合，但我可以使用它

现在云中的点坐标被归结为图像中的坐标，我可以在图像中显示来自云的所有集群：

for(int k = 0; k < clusters.size(); k++)
{
    cv::Mat res = cv::Mat::zeros(img_rgb.rows, img_rgb.cols, CV_8U);
    //for(int i =0 ; i < point_cloud_ptr->points.size(); i++)
    for(int j =0 ; j < clusters[k].indices.size(); j++)
    {
        int i = clusters[k].indices[j];
        int x = point_cloud_ptr->at(i).x;
        int y = point_cloud_ptr->at(i).y;
        res.at<uchar>(y, x) = (int)(point_cloud_ptr->at(i).z);
    }
    cv::imshow("rec2", res);
    cv::waitKey();
}

新云