在使用RealSense深度相机前，必须把深度相机和RGB相机对准了使用。。。不然会导致采集到的图像不对齐（如下图所示）：
左边是RGB图像，右边是深度图像。
关于RealSense相机的校准，网上已经有了许多教程，这里就不再赘述。本文主要内容是如何处理已采集好的未对准的图像，以避免之前采集的一堆实验数据作废。搜索了很多教程，但是没找到现成的代码，唯一现成的代码是用C++写的。。。由于我太废物只会最简单的Python，因此决定自己写一版Python的代码。
代码的撰写思路
先简单讲述一下过程。以下是从别的教程复制粘贴的：
获取Kinect的深度图像；
获取RGB摄像头的图像；
为深度图像中的每一个像素附上对应的RGB颜色，比如你要给坐标为(x, y)的深度图像素附上颜色，具体步骤如下；
1）构造一个三维向量p_ir = (x, y, z)，其中x,y是该点的像素坐标，z是该像素的深度值；
2）用Kinect内参矩阵H_ir的逆，乘以p_ir得到对应的空间点坐标P_ir，具体公式见上文第四部分（配准）；
3）由于P_ir是该点在Kinect坐标系下的坐标，我们需要将其转换到RGB摄像头的坐标系下，具体的，就是乘以一个旋转矩阵R，再加上一个平移向量T，得到P_rgb；
4）用RGB摄像头的内参矩阵H_rgb乘以P_rgb，得到p_rgb，p_rgb也是一个三维向量，其x和y坐标即为该点在RGB图像中的像素坐标，取出该像素的颜色，作为深度图像中对应像素的颜色；
5）对深度图像中的每一个像素都做上述操作，得到配准后的深度图。
深度图与RGB图对齐原理
其原理就是:
- 深度图上的2D点转换到世界坐标的3D点（这里设为点A）
- 将点A的世界坐标的3D点投影到彩色图像上，获取点A在RGB图像上的坐标（x，y）
- 提取A点的RGB三通道的值，将其赋予到原深度图上点A的坐标上。
最后的效果是深度图像不变，RGB图像对齐到深度图像。
注意：这里只能让RGB图像去对齐到深度图像而不能反过来，因为在第1步将图像上的点转化为世界坐标的3D点这里，只有深度图像内含的深度信息才能实现。RGB图像不含深度信息因此无法做到RGB图像不变，深度图像去对齐到RGB。
代码实现
下面就是Python代码的实现。
import numpy as npimport cv2# 获取RGB与深度图像信息。因为采集数据时是直接将RGB和深度信息一起存储到npy文件里，因此这里将RGB三通道和D深度通道的信息分开存储arr = np.load('Data.npy')b, g, r, d = cv2.split(arr)depth_img = d # 深度信息rgb_img = cv2.merge([b, g, r]) # RGB信息# 深度相机的外参矩阵（包括旋转矩阵与传递矩阵）， 这里是通过RealSense2的函数 get_extrinsics_to(profile) 获得后直接赋值的，具体可网上搜索教程R = np.array([(0.999993, 0.00372933, -0.000414306), (-0.00372927, 0.999993, 0.000135122), (0.000414807, -0.000133576, 1)])T = np.array([-0.0148581, -8.0544e-05, 2.60393e-05])# R1 = H_rgb@R@np.linalg.inv(H_depth)result = np.zeros([480, 640, 3])for row in range(480): for col in range(640): V_depth = depth_img[row][col] p_depth = np.array([col, row, 1]) p_rgb = V_depth/1000*R@p_depth + T/1000 X = p_rgb[0]//p_rgb[2] Y = p_rgb[1]//p_rgb[2] if (0 <= X < 640) and (0 <= Y < 480): result[row][col] = rgb_img[int(Y)][int(X)] else: result[row][col] = np.array([0, 0, 0])# cv2.imwrite('OMG/RGB.jpg', rgb_img)cv2.imwrite('OMG/RGB2.jpg', result)这里的Python代码是照着这篇教程里的C++代码修改的：
kinect 2.0 SDK学习笔记（四）--深度图与彩色图对齐_深度相机rgb图和深度图对齐原理_jiaojialulu的博客-CSDN博客
最后得到的效果并不是很理想。但是由于时间有限，懒得进行进一步优化。猜测原因如果不是代码问题的话，就是之前深度相机没和RGB相机对准，两个相机范围相差过大导致的。欢迎大神找出原因并指导一下我(˚ ˃̣̣̥᷄⌓˂̣̣̥᷅ )
参考文章：Kinect深度图与RGB摄像头的标定与配准_aipiano的博客-CSDN博客
来源地址：https://blog.csdn.net/weixin_47331580/article/details/131806456
