特征点提取与匹配

视觉里程计:根据相邻图像的信息估计相机的运动,作为后端的初值

特征点法、直接法

在相机运动过程中观测到的路标点,在某一个位姿,相机观测到物体的像素坐标为$(u,v)$,则对应满足相机模型关系:

特征点提取与匹配

特征点概念

​ 1)路标:有代表性的点

​ 2)特征:图像信息的另一种数字表达形式,角点>特征>区块

特征点 = 关键点 + 描述子

关键点

特征点在图像中的位置

描述子

描述关键点周围像素信息的向量,例如对关键点周围亮度的表现。

在ORB中,在关键点周围随机选择128对或256对点(对于每张相机图像里的每个关键点,都可以使用相同的随机选择模板),以每一对的亮度相似程度按二进制赋值,生成一个128或256位的二进制数,以此数来表述描述子。

同时,在ORB-BRIEF描述子中,考虑到图像的旋转,针对每张图像以灰度质心法计算图像中每个特征点方向,或者计算整体图像旋转的向量,以此旋转向量调整随机选择模板(对随机选择的点也进行旋转),再生成描述子。

最后,对描述子进行特征匹配。在ORB中,描述子的匹配以汉明匹配方式进行匹配。但是在ORB中,BRIEF描述子没有涉及到尺度这一特征。

特征提取算法

SIFT:尺度不变特征变换(计算量大)

FAST关键点:没有描述子(计算快)

ORB:FAST特征点 + BRIEF描述子

ORB特征提取和匹配

ORB_Feature

FAST关键点

目的是对图像的 平移、旋转、尺度 进行特征提取。

图像金字塔:

用于提取图像的尺度特征,描述相机前后运动的过程

​ 1 塔底为原始图像,每往上一层对图像进行固定倍率(例:1.2,1.5,2倍等)缩放,得到不同分辨率图像(小远大近)

​ 2 两图像间,匹配不同层上的图像

Oriented FAST关键点中没有涉及到这一特性

特征旋转:计算图像灰度质心(以图像块灰度值作为权重的中心 )

​ 1 图像块的矩:其中,I(x, y)为f(x, y)的二值图像,取值0或1

​ 2 图像块的质心:$ C=(m{10}/m{00},m{01}/m{00}) $

​ 3 特征方向:表示为 $ \theta=\arctan(m{01}/m{10}) $,连接几何中心O和质心C得到的方向向量

BRIEF描述子

在关键点附近随机选取K对点,以K位二进制的形式反映他们的大小关系,以此作为对一个特征点的描述。又由于在FAST关键点中计算了关键点的方向,利用方向信息计算旋转后的特征。

ORB特征匹配

数据关联问题:确定前后看到的路标间的对应关系

问题:1 误匹配 2 匹配方法

描述点的距离表示了两个特征之间的相似程度

注:(SIFT……)快速近似邻近(FLANN),但不适用于计算汉明距离


ORB_Feature


参考资料:

  • 视觉SLAM十四讲:从理论到实践(第2版). 高翔.