当我们在OpenCV中有深度和rgb Mat时如何显示3D图像（从Kinect捕获）

2 回答

• 5

  为了改善antarctician的答案，要以3D显示图像，您需要先创建点 Cloud ...... RGB和深度图像为您提供创建有组织的彩色pointcloud所需的数据 . 为此，您需要计算每个点的x，y，z值 . z值来自深度像素，但必须计算x和y .

  要做到这一点你可以做这样的事情：

  void Viewer::get_pcl(cv::Mat& color_mat, cv::Mat& depth_mat, pcl::PointCloud<pcl::PointXYZRGBA>& cloud ){
      float x,y,z;
  
      for (int j = 0; j< depth_mat.rows; j ++){
          for(int i = 0; i < depth_mat.cols; i++){
              // the RGB data is created
              PCD_BGRA   pcd_BGRA;
                         pcd_BGRA.B  = color_mat.at<cv::Vec3b>(j,i)[0];
                         pcd_BGRA.R  = color_mat.at<cv::Vec3b>(j,i)[2];
                         pcd_BGRA.G  = color_mat.at<cv::Vec3b>(j,i)[1];
                         pcd_BGRA.A  = 0;
  
              pcl::PointXYZRGBA vertex;
              int depth_value = (int) depth_mat.at<unsigned short>(j,i);
              // find the world coordinates
              openni::CoordinateConverter::convertDepthToWorld(depth, i, j, (openni::DepthPixel) depth_mat.at<unsigned short>(j,i), &x, &y,&z );
  
              // the point is created with depth and color data
              if ( limitx_min <= i && limitx_max >=i && limity_min <= j && limity_max >= j && depth_value != 0 && depth_value <= limitz_max && depth_value >= limitz_min){
                  vertex.x   = (float) x;
                  vertex.y   = (float) y;
                  vertex.z   = (float) depth_value;
              } else {
                  // if the data is outside the boundaries
                  vertex.x   = bad_point;
                  vertex.y   = bad_point;
                  vertex.z   = bad_point;
              }
              vertex.rgb = pcd_BGRA.RGB_float;
  
              // the point is pushed back in the cloud
              cloud.points.push_back( vertex );
          }
      }
  }
  

  和PCD_BGRA是

  union PCD_BGRA
  {
      struct
      {
          uchar B; // LSB
          uchar G; // ---
          uchar R; // MSB
          uchar A; //
      };
      float RGB_float;
      uint  RGB_uint;
  };
  

  当然，这是针对您想要使用PCL的情况，但它或多或少是x，y，z值的计算结果 . 这依赖于 openni::CoordinateConverter::convertDepthToWorld 来查找3D中点的位置 . 您也可以手动执行此操作

  const float invfocalLength = 1.f / 525.f;
   const float centerX = 319.5f;
   const float centerY = 239.5f;
   const float factor = 1.f / 1000.f;
  
   float dist = factor * (float)(*depthdata);
   p.x = (x-centerX) * dist * invfocalLength;
   p.y = (y-centerY) * dist * invfocalLength;
   p.z = dist;
  

  其中centerX，centerY和focallength是相机的固有校准（这个是Kinect） . 以及如果您需要以米或毫米为单位的距离的因素...这个值取决于您的程序

  对于问题：

  • 是的，您可以使用最新的OpenCV与viz class或其他适合您需求的外部库来显示它 .

  • OpenGl很不错，但如果您不知道如何使用它们（我的意思是显示pointclouds），PCL（或OpenCV）更容易使用

  • 我没有't use it with windows, but in theory it can be used with visual studio 2012. As far as I know the version that PCL comes packed with is OpenNI 1, and it won' t影响OpenNI2 ......

  回复于 2024-05-04T00:11:03+08:00
• 6

  我没有使用OpenNI和OpenCV，但我希望我可以帮助你 . 首先回答你的前两个问题：

  • 可能是的，据我所知，你想要想象一个3D点 Cloud . OpenCV只是一个图像处理库，你需要一个3D渲染库来做你想做的事情 .

  • 我使用OpenSceneGraph并推荐它 . 但是，您也可以使用OpenGL或Direct X.

  如果您只想想象点 Cloud ，例如Kinect Studio的“3D视图”，您就不需要PCL，因为这对于这个简单的工作来说太过分了 .

  执行此任务的基本思想是创建3D四边形，使其与图像上的像素数相同 . 例如，如果您的分辨率为640x480，则需要640 * 480个四边形 . 每个四边形将具有相应像素的颜色，这取决于来自彩色图像的像素值 . 然后，您将在Z轴上来回移动这些四边形，具体取决于深度图像的值 . 这可以通过现代OpenGL完成，或者如果您对C，OpenSceneGraph（也基于OpenGL）感觉更舒服 .

  你必须要小心两件事：

  • 即使在现代计算机上，绘制如此多的四边形也会很慢 . 您需要阅读"instanced rendering"以在单个GPU绘制调用中呈现对象的大量实例（在我们的示例中为四边形） . 这可以使用顶点着色器完成 .

  • 由于Kinect的RGB和深度相机具有不同的物理位置，您需要校准它们 . 在官方Kinect SDK中有这样的功能，但是我不知道OpenNI .

  如果您决定使用OpenGL执行此操作，我建议您阅读有关GPU管道的内容，如果您不熟悉它 . 这将有助于您在使用顶点着色器时节省大量时间 .

  回复于 2024-05-04T00:11:03+08:00