图像转点云

相机内参（intrinsics）是指相机的光学参数，包括焦距、像素大小、主点等。它们决定了图像在相机成像过程中的投影关系和畸变情况。相机内参通常通过标定获取，可以用于校正图像畸变和计算三维空间中的物体位置。

我们可以 利用相机内参矩阵和深度图将点由屏幕坐标系转换到相机坐标系 。具体推导如下。

由上一节，我们知道相机坐标系中的点 $P$ 投影到胶片坐标系，再转换到屏幕坐标系共经历了两次矩阵变换：

(\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}) = \frac{1}{z} (\begin{matrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ z \end{matrix}), (\begin{matrix} u \\ v \\ 1 \end{matrix}) = (\begin{matrix} α & 0 & t_{x} \\ 0 & β & t_{y} \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix})

合并两次矩阵变换，可以得到相机坐标系与屏幕坐标系的转换关系：

(\begin{matrix} u \\ v \\ 1 \end{matrix}) = (\begin{matrix} α & 0 & t_{x} \\ 0 & β & t_{y} \\ 0 & 0 & 1 \end{matrix}) \frac{1}{z} (\begin{matrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ z \end{matrix}) \Rightarrow (\begin{matrix} u \\ v \\ 1 \end{matrix}) = \frac{1}{z} (\begin{matrix} α f & 0 & t_{x} \\ 0 & β f & t_{y} \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ z \end{matrix}) \Rightarrow z (\begin{matrix} u \\ v \\ 1 \end{matrix}) = K (\begin{matrix} x \\ y \\ z \end{matrix})

上式中的 $K$ 即为相机内参矩阵。因此， 在已知深度图时，可以通过下式得到相机坐标系下的点云 ：

(\begin{matrix} x \\ y \\ z \end{matrix}) = K^{- 1} (\begin{matrix} u \\ v \\ 1 \end{matrix}) \cdot z \Rightarrow \textcolor b l u e (\begin{matrix} x \\ y \\ z \end{matrix}) = K^{- 1} (\begin{matrix} u \\ v \\ 1 \end{matrix}) \cdot {depth}_{u, v}

相机外参（extrinsics）是指相机在世界坐标系下的位置和姿态，通常包括相机的平移向量和旋转矩阵。它们描述了相机拍摄图像时相对于物体的位置和方向关系。相机外参可以通过计算机视觉中的标定方法获取，或者通过传感器的数据融合进行估计。

我们可以 利用相机外参矩阵将点由相机坐标系转换到世界坐标系 。相机的位姿由旋转矩阵 $R$ 和平移向量 $t$ 来描述，有

camera pose = (\begin{matrix} R | t \end{matrix}) \Rightarrow \textcolor b l u e (\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \end{matrix}) = R (\begin{matrix} x \\ y \\ z \end{matrix}) + t