正文
逆深度方差 V : Ω → R+，其中： Ω⊂ R2 ， Ω 是归一化的像素（二维）坐标点集合，即包含相机内参。
在整篇论文中，三维空间中某一点的深度表示为 z , 它的逆深度用 d 表示，两者的关系即：d = z−1 。
三维空间刚体变换
三维空间的刚体变换G ∈ SE(3) ，定义了3D空间位姿的旋转和平移的转换关系，即公式（1）
在优化过程中，相机位姿需要用到刚体变换 SE(3) 李群对应的李 代数 se(3) 计算。 SE(3) 和 se(3) 的转换关系如下：使用指数映射关系（exponential map） G = expse(3)(ξ) ,就可以把六维向量 ξ 从李代数 se(3) 映射到刚体变换李群 SE(3) 上（从而获得刚体变换矩阵G ），反之，使用对数映射关系 ξ = logSE(3)(G) ，就可以把 SE(3) 上的刚体变换矩阵 G 映 射成在李代数 se(3) 上的六维向量 ξ。这里我们约定使用 se(3) 的六维向量 ξ，前三个数表示平移，后三个数表示旋转,来表示位姿，即： ξ ∈ R6 。一个（图像）点从图像帧 i 到图像帧 j 的变换，被记作： ξji 。为了方便起见，我们在se(3)上定义一个乘法 ∘ : se(3) × se(3) → se(3) ，见公式（2）。
此外，我们还定义一个三维投影函数 ω，即：把图像 上的某一点 p 和这点的逆深度值 d ，投影到由ξ 转换的相机 坐标系下，公式（3）。
三维空间相似变换
三维空间的相似变换（ 4 × 4 ）矩阵S ∈ Sim(3) （相似变换空间）定义了旋转，尺度和平移的转换关系，即公式（4）。
如同上述三维空间刚体变换，相似变换空间用对应的李代数 ξ ∈ sim(3) 表示，还要在向量 ξ里额外加上一个自由度，记作： ξ ∈ R7 （七维向量， 三个数表示旋转，三个数表示平移，一个数表示尺度因子）。Sim(3) 和 sim(3) 之间的转换关系（即：指数映射和对数映射），乘法（concatenation operator） ∘ : sim(3) × sim(3) → sim(3)和投影函数 ωs ，与上述 se(3) 的数学表达式相似，更多详情，请参考文献[23]。
可以认为是高斯—牛顿的优化问题，其目的就是要最小化（整个）光度测量误差项二次型（之和），假设图像上的（单个）光度测量误差项，是独立同分布（i.i.d.）的高斯分布残差，那么这个优化问题得到的结果，就是 ξ 的极大似然值。
见公式（7），使用一个左乘复合迭代函数：从初始估计（相机姿态变换）
ξ(0) 开始，（高斯-牛顿）每次迭代过程中，左乘更新量 δξ(n) ，这个更新量是通过（误差函数） E 的高斯-牛顿二阶近似求解的最小值得到 的：
其中： J 是残差向量 r = (r1 , ..., rn)T 的求导， 用雅克比矩阵（ JT J ）的方式，去近似（误差函数）E 的二阶海森矩阵，这样求得左乘更新量 δξ(n) ，见公式（6）。
通过不断左乘更新量 δξ(n) ，就得到了更新的（相机姿态）估计，见公式（7），
图像配准过程中会经常发生，相机视野遮挡或光线反射等问题，造成图像配准容易产生外点。为了让配准算法更加鲁棒，论文[14]提出了一种对测 量误差项加权方法，其实质就是加权迭代最小二乘问题。每次迭代过程中去算一个权重矩阵 W = W(ξ (n)) ，它的作用就是（对方差）较大的残差，降 低其权重。
这样，误差函数 E 见公式（8）
于是，它的更新量 δξ(n) 计算就改写成，见公式（9）：
假设残差是独立的随机变量，那么求解相机姿态 ξ(n) 数学模型，就可以看做是公式（10）：
其中左乘误差项（即二阶的海森—逆矩阵），服从高斯分布 N (0, Σξ ) ，二阶海森—逆矩阵的
求解就是每次通过前一次迭代 (JT WJ)−1 （用一阶雅克比来近似）计算得到。
实际情况中，残差之间（光度测量误差之间）是高度相关性的， （因为我们假设残差之间是
独立不相干的变量i.i.d.，）使得这个协方差 Σξ 仅仅是个下限（这个补充还需要确认）—但是 它仍然包含了噪声之间在不同自由度上的相关性，这一有用信息。注意到，我们这里使用左乘法则，如果使用右乘法则，也可以获得相等的结果。然而，估计协方差 Σξ 取决于乘法的顺序—因此当使用姿态图优化框架的时候，这一 点要考虑进去。这里使用的左乘规则和论文[23]是一致的，然而像g2o [18] 姿态图优化框架，默认的 实现类型是使用右乘规则。
广义上讲不确定性的传递是概率统计学上的方法， X 是随机变量，（具有不确 定性），推导ft X在函数 f (X) 上不确定性。假设随机变量 X 服从高斯分布，且 X 的协方差是 ΣX ，那么 f (X) 的协方差就可以近似表示，见公式（11）。
