光子学报  2018, Vol. 47 Issue (3): 0310001  DOI: 10.3788/gzxb20184703.0310001
0

引用本文  

伍文双, 冯华君, 徐之海, 李奇, 陈跃庭. 基于MEMS陀螺仪的光学图像拼接[J]. 光子学报, 2018, 47(3): 0310001. DOI: 10.3788/gzxb20184703.0310001.
WU Wen-shuang, FENG Hua-jun, XU Zhi-hai, LI Qi, CHEN Yue-ting. Optical Image Mosaic Methods Based on MEMS Gyroscope[J]. Acta Photonica Sinica, 2018, 47(3): 0310001. DOI: 10.3788/gzxb20184703.0310001.

基金项目

国家自然科学基金(No.61475135)和航天创新基金资助

第一作者

伍文双(1992-), 男, 硕士研究生, 主要研究方向为光学成像工程及图像处理. Email:wuws@zju.edu.cn

通讯作者

冯华君(1963-), 男, 教授, 博导, 主要研究方向为光学成像工程及图像处理. Email:fenghj@zju.edu.cn

文章历史

收稿日期:2017-10-31
录用日期:2017-12-13
基于MEMS陀螺仪的光学图像拼接
伍文双, 冯华君, 徐之海, 李奇, 陈跃庭    
(浙江大学 现代光学仪器国家重点实验室, 杭州 310027)
摘要:提出了一种利用刚性连接于光学系统的微机械陀螺仪的光学图像拼接加速算法.该方法基于相机投影模型和坐标变换关系建立相机运动与像素坐标移动的关系;根据陀螺仪数据计算拍摄前后两幅待拼接图像期间相机的旋转角度,确定两幅待拼接图中特征点搜索窗口大小;然后基于SURF特征提取算法,提取待拼接两幅图片中的特征点,在搜索窗口内寻找匹配特征点对,避免了全局搜索从而减小计算量,加快匹配速度.实验搭建了硬件平台以验证算法可行性,与传统全局搜索匹配相比,运行时间减少了31%.
关键词陀螺仪    相机投影模型    SURF特征    特征匹配    图像拼接    
中图分类号:TP751      文献标识码:A      文章编号:1004-4213(2018)03-0310001-9
Optical Image Mosaic Methods Based on MEMS Gyroscope
WU Wen-shuang, FENG Hua-jun, XU Zhi-hai, LI Qi, CHEN Yue-ting    
(State Key Laboratory of Modern Optical Instrumentation, Zhejiang University, Hangzhou 310027, China)
Foundation item: The National Science Foundation of China (No. 61475135) and Space Innovation Fund Project
Abstract: A optical image mosaic methods based on a micro-electro-mechanical system gyroscope sensor mounted with camera rigidly was presented. The relation between the camera rotation angles and the movements of point's image coordinates is derived based on camera projection model and coordinates transformation. The rotation angle is calculated by the data from gyroscope, thus the search window size could be obtained; then by using the SURF feature extraction algorithm to extract the feature points, the feature matching is conducted in the search window which avoids global searching and accelerates the matching speed by reducing computation. The experiment platform was built to verify the algorithm. The result shows that 31% running time was reduced compared to the traditional global matching.
Key words: Gyroscope sensor    Camera Projection Model    SURF features    Feature Matching    Image mosaic    
OCIS Codes: 100.2000;060.2800;100.2960;110.0110
0 引言

光学图像拼接是指将含有相同区域的两幅图拼合成一张图像的过程.目前,光学图像拼接已被应用于各种场景,比如遥感卫星摆扫多次成像后拼接得到大面积全景遥感图像,消费电子产品如手机和单反相机中的全景拍摄模式等.随着拼接技术应用面的拓宽,运算量小、计算快速、结果鲁棒性好的拼接算法成为该领域主要的研究方向[1].图像拼接的步骤一般包括特征提取、特征匹配、图像变换和融合[2].特征提取和匹配用以寻找两幅图中的重叠区域,这也是图像拼接中的关键步骤,匹配结果的精度直接影响最终的拼接效果.图像匹配算法主要分两类:基于灰度相关和基于特征.基于灰度相关的匹配算法如文献[3]等方法,运算速度快匹配精度高,但是在应对图像视角变换产生的旋转、尺度缩放等场景时效果不佳.2004年LOWE D G等提出尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)算法[4],之后与之思想类似,运算速度大大加快的加速稳健特征(Speeded-Up Robust Features,SURF)算法[5]、ORB(ORiented Brief)特征检测算法[6]等方案相继提出,这类基于特征的方法对旋转和缩放有很好的鲁棒性,逐渐成为图像匹配中的主流方法.通过上述算法得到特征点后计算图像变换关系通常使用的是Brute Force暴力匹配对拼接图中的特征点进行匹配,以得到最佳匹配结果,运算量较大,但这是在无其他参考信息时的较优方案.针对这个问题,本文考虑引入陀螺仪信息优化搜索匹配过程.目前流行的成像设备如手机和单反相机等已普遍配备了微机械(Micro-Electro-Mechanical System, MEMS)陀螺仪传感器,但大多仅用在重力感应等功能上.另有少数集成于光学防抖系统中的陀螺仪,在曝光期间探测成像系统在垂直于主光轴方向上的抖动,并实时反馈于控制器,控制器依据抖动量调整镜组或者像面的位置使画面在像面上尽可能保持稳定[7].

本文提出一种利用和光学系统刚性连接的MEMS陀螺仪的光学图像拼接算法,该算法利用陀螺仪记录的拼接图之间相机旋转信息,缩小拼接过程中特征点匹配的搜索范围,从而加速匹配过程,提高拼接算法的运行效率.同时,对拓展目前成像设备中MEMS陀螺仪的应用范围具有一定的积极意义.

1 拼接模型

待拼接的两张图之间通常有视角变化,所以图像拼接的关键在于寻找两张图的重叠区域及变换关系,利用变换关系将其中一张图变换到另外一张图的视角下,然后再进行融合得到完整的拼接图.现行的算法是通过图像匹配求取图片的重叠区域及视角变换关系,即找寻两幅图中的带有特征的点,将特征点周围像素的梯度等分布信息作为该特征点的描述,通过遍历计算两张图中所有特征点描述的相似程度以确定两幅图中特征点与特征点的匹配关系.匹配特征点所在区域即重叠区域,通过匹配特征点对拟合出变换矩阵即得到两张图的视角变换关系.

本文在上述两张图中特征点的匹配过程中,根据陀螺仪信息限定匹配点的搜索范围,从而避免了全局遍历搜索,提高了匹配速度.实现本文算法的硬件平台结构示意图如图 1.相机旋转拍摄目标,得到两张待拼接图,陀螺仪通过与相机刚性连接记录拍摄期间的旋转角度,相机快门线输出曝光信号通过数据采集卡与PC相连得到两次拍摄时刻,陀螺仪与PC相连输出旋转角速度.具体的实验设置参见本文第2节实验部分.

图 1 实验装置结构示意图 Fig.1 Illustration of experiment platform

本文拼接算法主要分为4个步骤:1)将获取陀螺仪获取到的角度数据带入匹配模型计算特征点的搜索范围;2)根据SURF特征提取算法提取两幅图中的特征点并计算其描述子;3)遍历第一张待拼接图中特征点,依据1)中的搜索范围在第二张图中寻找与其匹配的特征点,简历匹配关系;4)使用RANSAC方法[8-9]剔除无效匹配特征点后计算出匹配特征点对之间的变换矩阵,进行拼接融合.

1.1 基于陀螺仪的匹配模型

对于一个畸变很小的良好光学系统,多次成像时,景物在像面上像的坐标与光学系统本身的移动有着一一对应的线性关系.针对手持设备旋转拍摄全景图这样一种场景,相机旋转前后同一物点在像面上的坐标和相机旋转角度之间的关系可以由相机模型和坐标转换导出.

图 2,在第一次拍摄时,以相机像面中心为原点建立坐标系(z轴与相机主光轴重合),一个三维世界中的物点P,在相机坐标系0中,P的坐标表示成(X, Y, Z),该点成像在像面上的像素坐标表示为(x0, y0),根据相机投影模型[10],从三维世界到二维图像坐标的映射关系可以表示为

$ {\left( {{x_0},{y_0},1} \right)^{\rm{T}}} = \mathit{\boldsymbol{K}}{\left( {X/Z,Y/Z,1} \right)^{\rm{T}}} $ (1)
图 2 匹配模型 Fig.2 Matching model

式中, K为相机的内参矩阵,是一个与相机焦距、感光元件、主点偏移等有关的不变量,表述外界到像面的投影关系,它可以通过张氏标定法标定得到.当相机旋转一定角度后,在新的相机坐标系tP的坐标表示成(X′, Y′, Z′),其在像面坐标为(xt, yt),同上,有关系

$ {\left( {{x_t},{y_t},1} \right)^{\rm{T}}} = \mathit{\boldsymbol{K}}{\left( {X'/Z',Y'/Z',1} \right)^{\rm{T}}} $ (2)

根据坐标变换关系,旋转过程中,两次的位置关系有

$ \arctan \left[ {\begin{array}{*{20}{c}} {X/Z}\\ {Y/Z}\\ 1 \end{array}} \right] = \arctan \left[ {\begin{array}{*{20}{c}} {X'/Z'}\\ {Y'/Z'}\\ 1 \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{\theta _y}}\\ {{\theta _x}}\\ 0 \end{array}} \right] $ (3)

式中,θxθy分别为相机绕x轴和y轴的旋转角度.联立以上三式可求得

$ {\left( {{x_t},{y_t},1} \right)^{\rm{T}}} = \mathit{\boldsymbol{K}}\tan {\theta _t} $ (4)
$ {\theta _t} = \arctan \left( {{\mathit{\boldsymbol{K}}^{ - 1}}\left[ {\begin{array}{*{20}{c}} {{x_0}}\\ {{y_0}}\\ 1 \end{array}} \right]} \right) + \left[ {\begin{array}{*{20}{c}} {{\theta _y}}\\ {{\theta _x}}\\ 0 \end{array}} \right] $ (5)

当给出一个物点像面坐标和相机旋转角度后,便可由式(5)计算出该物点在像面上新的坐标.

1.2 匹配搜索窗口

1.1节给出了相机旋转角度与物点在像面上坐标变换的关系.但在实际应用过程中,会面临三个问题:拍摄者手持成像系统进行拍摄,不可避免地会带来成像系统的轻微位移;目前普及的陀螺仪精度并不足够高,计算出的旋转角度总含有一定误差;不同设备的陀螺仪数据输出与拍摄过程的同步性不佳,陀螺仪数据并不完全对应于拍摄期间的旋转.因此,为了能准确地对特征点进行匹配,设置以旋转关系计算坐标为中心的搜索窗口.如图 3所示,由拼接图A中的点P0计算其在图B中的位置P1′,以此为中心宽为w内的窗口进行搜索,找到P0特征描述相同的真实匹配点P1.

图 3 匹配搜索范围示意 Fig.3 Illustration of searching window

结合考虑陀螺仪精度[11]和正常手持拍摄手抖情况[12]w根据经验公式(6)确定.

$ w = \max \left( {\alpha \left\lceil {\delta \theta \cdot {K_{11}}} \right\rceil ,100} \right) $ (6)

式中δθ为旋转角度测量误差取max(δθx, δθy),α为经验系数,K11为3×3内参矩阵第一项,为方便计算,最终对乘积结果进行取整操作.

1.3 特征点匹配步骤

基于上述模型关系,本文特征匹配加速算法的基本计算步骤为:

Step 1 使用特征提取算法提取出拼接图A和待拼接图B中的特征点

Step 2 根据式(6)计算出本次搜索窗口宽度w大小;

Step 3 对于图A的特征点集中的一个点P0,根据陀螺仪数据带入式(4)中计算其变换到图B中的坐标位置P0′;

Step 4 在图B中,搜索以P0′为中心,宽度为w的窗口中存在的特征点,如果不存在则P0匹配点为空(程序里记录为-1),若存在一个或多个特征点,计算这些点SURF描述子与P0描述子的L2距离,取其中值最小的点P1作为P0的匹配点,保存匹配点对.

Step 5 对图A中所有点均按step2~3操作,得到图A所有特征点在图B中的匹配点的对应关系.

其中,步骤1中使用的特征提取算法为SURF算法,它是尺度不变特征检测方法中的一种,算法提取特征点集时对图像旋转和噪声都有很好的鲁棒性,且运算速度优于SIFT算法.其主要思想为,在不同尺度下搜索图中特征点,统计这些点周围点亮度的幅值分布和方向分布,将统计结果编码成一个64字节或者128字节的描述符,比较两个特征点之间的描述符即可判断两个特征点是否是同一景物.其主要步骤有:构建尺度空间,检测极值点,获得尺度不变性;特征点过滤并进行精确定位;计算特征点主方向;生成特征描述子.

1.4 变换矩阵求取及融合

待拼接图像之间的关系通常为位移、旋转或尺度变换等.在图像坐标变换上,这些关系对应为平移变换、旋转变换、仿射变换和投影变换.这些变换可由式(7)统一表述为

$ \left[ {\begin{array}{*{20}{c}} {x'}\\ {y'}\\ 1 \end{array}} \right] = \mathit{\boldsymbol{H}}\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{m_{11}}}&{{m_{12}}}&{{m_{13}}}\\ {{m_{21}}}&{{m_{22}}}&{{m_{23}}}\\ {{m_{31}}}&{{m_{32}}}&{{m_{33}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right] $ (7)

式中[x′, y′, 1]T为第一张图的像素坐标,[x, y, 1]T为第二张图的像素坐标.根据1.2节中得到的匹配的特征点对,使用RANSAC方法[8]剔除误差较大的点之后,可拟合求解出变换矩阵H,由此得到两张图间的变换关系.

通过变换矩阵,将拼接图变换与待拼接图视角一致,然后将重叠区域进行融合即可得到最终的拼接图.选择拼接缝[13-14],再对拼接缝两侧宽度为d的区域做加权融和以消除直接拼接的图像突兀感.最终生成拼接图像.

2 实验及结果 2.1 实验平台搭建

搭建了实验平台以验证方案可行性.平台结构如图 1,实物图如图 4.相机快门线引出与数据采集卡相连,陀螺仪与相机通过三角架螺丝口刚性固定连接,右下角为方框内陀螺仪MEMS芯片模组局部放大图.

图 4 实验平台实物图 Fig.4 Experimental platform

所使用的惯性测量单元(IMU)型号为LPMS-CURS2,其集成了MEMS芯片与通讯接口,通过USB或TTL串口输出该单元的三轴加速度和三轴角速度.其中陀螺仪部分的数据:最高采样频率为400 Hz,最高分辨率为0.01°.实验中整个模组通过USB串口与PC机进行通讯,在PC平台上记录并存储实验过程中三轴旋转角速度.

本实验的关键点在于曝光信号与陀螺仪数据的同步,以判断数据流中处于两幅待拼接图拍摄时间之间的部分.相机在按下快门键拍照时,热靴及快门线上会产生一个脉冲式的电平突变,本文以两次拍摄时产生的该信号分别作为陀螺仪数据记录的起始点和终点.将相机的快门线引出,接入数据采集卡数据读入端口,数据采集卡输出线连接PC端,记录拍摄期间的电平信号.数据采集卡型号National Instrument USB 6210,采样率250000次采样每秒,连接于PC端,记录整个过程中快门线上的电平变化.

2.2 实验场景设置

为了定量分析本文提出的拼接算法,设计了以棋盘格为拍摄目标的实验场景,拍摄前后两幅待拼接图.如图 5,相机旋转拍摄的两幅含有棋盘格的待拼接图.以棋盘格为目标的好处在于,可以通过角点提取算法,拟合出棋盘格网络中横竖线的坐标方程,精确地求解出棋盘格黑白格对角点的坐标,这个提取结果的精度在亚像素级.将两幅图中提取出的角点坐标点一一对应,作为匹配点对坐标的真实值.

图 5 棋盘格待拼接图 Fig.5 Stitching images that contain checkerboard

在此之前,需要通过张氏标定法获取相机内参矩阵K,以不同角度拍摄一张棋盘格图片共10幅,导入MATLAB工具箱中计算得到内参矩阵.

2.3 快门信号与陀螺仪数据的同步

在2.1节实验场景中,一组典型的快门线信号如图 6(a),时间记录起点为windows系统时间,最小单位为1 ms,当相机开始对焦时,对角线信号从-3.3 V变到0 V,当快门打开进行拍摄时,快门线信号从3.3 V降到0 V.陀螺仪数据流如图 6所示,取两个脉冲之间对应时间内的陀螺仪数据积分即可得到.旋转角度的求取为

$ {\theta _x} = \sum\limits_{i = 1}^n {{\omega _{xi}}\delta t} $ (8)
$ {\theta _y} = \sum\limits_{i = 1}^n {{\omega _{yi}}\delta t} $ (9)
图 6 快门曝光信号与陀螺仪数据 Fig.6 Exposure signal and gyroscope data

式中ωxiωyi分别为陀螺仪测到xy方向上的角速度,通常这个数据需要进行去噪去漂移等处理,本文实验中直接使用集成降噪零漂校正功能的陀螺仪模组,直接输出已经降噪和去漂移的数据.δt为陀螺仪的采样时间间隔.

2.4 搜索范围准确度

在前后两张含有棋盘格的待拼接图中,通过角点提取算法提取出棋盘格上所有对角点的坐标集合分别为[x0, y0]、[xt, yt],即匹配点对的真实值.本实验平台中角度测量的误差δθ=0.2°,联合标定的内参矩阵K代入式(6)得到w=100 pixels.将测量得到的(θx, θy)和[x0, y0]带入式(4),计算出第一幅图角点在第二幅图中的匹配点坐标范围为:[x0′±w, y0±w].证明搜索范围有效的评判标准为

$ \left\{ \begin{array}{l} {{x'}_0} - w \le {x_t} \le {{x'}_0} + w\\ {{y'}_0} - w \le {y_t} \le {{y'}_0} + w \end{array} \right. $ (10)

多组实验中具有代表性的三组结果如表 1.其中,像素移动量:即xtx0yty0,表示两张拼接图中角点真实坐标的移动量;计算误差:即|xtx0′|和|yty0′|,表示根据第一张图焦点坐标与陀螺仪数据计算出来的配准点坐标与第二张图中角点坐标真实值的误差.实验结果表明,本文中搜索窗口大小w的设置能保证真实匹配点在搜索范围内.

表 1 搜索范围验证结果 Tab.1 Verifying searching window size
2.5 运行速度

选取的拼接图片为正常室内场景图,与最常用匹配方法——暴力匹配(Brute Force,BF)方法进行对比.暴力匹配就是将待匹配图片的每一个特征点都与被匹配图片中每一个特征点计算汉明距离,从而得到最佳匹配,相比于其他近似匹配方法如使用快速近似最近邻搜索算法的FLANN,BF稳定性较优,且能够搜索到最佳匹配结果.算法运行主机平台的CPU为Intel Core i5-4590,主频3.30GHz,实现语言为Python.运行结果如表 2所示.其中N为图片中特征点数目,当拍摄场景较小且较为平坦时,特征点数据少,大视场景物丰富时,特征点数目多.结果表明,在特征点较少的特殊情况下,运行速度提高18%.在正常拍摄场景下,本文的方法相比于BF匹配搜索提高了31%的运行速度.

表 2 匹配时间比较 Tab.2 Comparison of matching time
3 分析

搜索窗口大小与加速效果有着直接关系.根据式(6),搜索窗口是由测量角度与真实角度之间的误差决定的.现行常用的陀螺仪的指标参数如采样频率、采样精度、零漂、标度因数、刻度误差等,本文在这些参数之中主要关注采样频率和采样精度.本部分主要通过实验分析陀螺仪精度对角度测量误差之间关系,误差体现在搜索窗口大小,最终反映到匹配速度的快慢.影响运算速度的影响因素传递顺序为:1)陀螺仪精度;2)角度误差;3)搜索窗口大小;4)运算速度.本部分分析并验证了搜索窗口大小与匹配运算速度的定量关系;搜索窗口大小与角度误差之间的数据模型;陀螺仪精度对角度误差的影响.

3.1 搜索窗口大小对匹配速度的影响

图 3,搜索窗口是以前幅待拼接图的特征点计算坐标为中心,宽度为w的窗口.将窗口中所有存在的特征点的描述子与第一幅拼接图中当前特征点的描述子进行匹配计算,取描述子最为相近的特征点作为当前特征点的匹配点.最坏的情况下,假设在两幅待拼接图中检测到的特征点均匀分布,计算时间应与窗口宽度呈二次关系,匹配过程的时间计算复杂度表示为

$ O\left( {{w^2}} \right) \cdot O\left( 1 \right) $ (11)

式中,O(1)为一次计算两个描述子汉明距离的计算复杂度.但正常图片中,特征点的分布并不均匀,平坦区域里的特征点稀疏,搜索窗口内需要进行匹配的特征点少,只需O(1)时间复杂度即可完成匹配,在细节丰富区域,需要逐个比较窗口内的特征点,复杂度为式(11).

为使得搜索窗口大小与匹配速度的关系描述具有普适性,选取多组自然场景的拼接图,包含室内场景、室外建筑物、自然景物等.设置搜索窗口大小为具有代表性的(10, 20, 50, 100, 200, 300, 400, 500),计算并统计每组待拼接图在不同搜索窗口下的匹配运算时间,结果如图 7所示.

图 7 搜索窗口大小与运算时间的关系 Fig.7 The relation between searching window size and running time

图 7中直线为MATLAB拟合曲线,曲线拟合优度R-square 0.9965,置信度95%下拟合函数为f(x)=0.402x+324.2,因此可以认为在普通场景下搜索匹配时间与窗口大小呈线性关系.因而提高匹配速度的关键就在于缩小搜索窗口w的大小.

3.2 角度误差对搜索窗口大小的影响

根据匹配模型中的式(1),对角度求偏导得到

$ {\rm{d}}{x_t} = \frac{{{K_{11}}{\rm{d}}\theta }}{{{{\cos }^2}{\theta _y}}} $ (12)
$ {\rm{d}}{y_t} = \frac{{{K_{22}}{\rm{d}}\theta }}{{{{\cos }^2}{\theta _x}}} $ (13)

式中θxθy表示当前物点与相机坐标系x, y轴的夹角,具体关系为tan θx=Y/Z,tan θy=X/Z.式(11)、(12)是微小角度误差与像素位置变化的关系.相机内参矩阵与相机本身焦距,CMOS单元大小有关.本实验中所使用相机内参矩阵K11=7 202.8和K22=7 236.5,相机在x方向视场角最大90°,故θx最大为45°,将上述数据带入上式,1°的角度误差对应像面上125~250像素的移动,即误差为1°时,搜索窗口宽度需要在原先基础上相应增加250个像素宽度.根据此关系同样可以计算,在匹配精度为1个像素时,需要角度误差小于7.1×10-5°,这个精度要求超过目前手持设备及本实验中陀螺仪所能提供的支持.因此利用常规MEMS陀螺仪设备实现全景拼接,搜索窗口的设置是必要的.

3.3 陀螺仪采样频率、采样精度与角度误差的关系

陀螺仪数据采集过程中将两次采样之间的旋转角速度视为定值,因此形成的阶梯形数据与真实的连续平滑数据之间存在一定的误差,理论上当采样频率增大时,角速度波形就越接近真实波形,从而减少累计误差.本文使用本实验中陀螺仪获取的陀螺仪数据,设置多个采样频率,对同一段数据进行不同频率的采样,将角速度数据积分与真实结果的对比误差.其中以陀螺仪最高采样频率400 Hz的数据作为真实数据,积分得到三轴旋转角度为,2.156 1°,-1.769 6°,3.626 7°.图 8(a)为使用不同采样频率得到的数据积分结果与真实三轴角度之间的误差值.

图 8 陀螺仪精度对积分误差的影响 Fig.8 The influence of gyroscope′s precision on initial error

三条曲线分别为陀螺仪xyz三轴上的角速度数据得到的误差与采样频率之间的关系.可以看出,采样频率的提高,角度误差呈下降趋势,但并不遵循严格的递减关系.在过低的采样频率下,即150 Hz以下,最终计算的角度与真实值有着明显的误差,当超过150 Hz之后,角度积分误差的波动减小.分析具体的陀螺仪数据波形,较低的采样频率出现较大的误差原因在于无法获取真实运动中小于采样频率的抖动,即数据中的毛刺在低频下被“抹平”;在较高采样频率下,靠近采样终点附近的数据对误差有着较大的影响,呈现了一定的随机性,当终点附近的数据比较平缓时,对应误差较低,反之则较高.

采用类似的实验方法可以得到陀螺仪采样精度与角度积分误差之间的关系,以陀螺仪的最大分辨能力(即最小测量单元)为变量,取[1 2 5]为基数,分别乘以{10-3, 10-2, 10-1, 100, 101}共15个最大分辨能力参数,对陀螺仪数据进行处理.测量结果的误差如图 8(b)所示,为了更明显地展示,横轴去参数以10为底的对数值.结果显示,在最大分辨率大于0.1°/s后,误差开始明显增大.

根据3.2节的关系,可以认为陀螺仪精度降低到一定程度后,误差的增大就意味着搜索窗口的增大,同时伴随着运算时间的增加.

4 结论

本文提出了一种基于陀螺仪的光学图像拼接方法,依据陀螺仪数据确定匹配特征点对搜索窗口,避免了全局搜索从而减小计算量,加快匹配速度.实验结果表明,本文的方法可以有效地将拼接图中特征点进行匹配,与原始匹配方法相比,减少了31%的匹配运行时间.本文提出的方法中,搜索窗口的设置考虑了从陀螺仪数据不能得到完全精确的成像系统运动量,从而依据测量的运动量设置搜索窗口指导特征点匹配.受限于陀螺仪测量精度及拍摄过程中手抖导致的成像系统平移,不能得到精确运动量.考虑到现行常用陀螺仪的精度和经济性,设置搜索窗口进行搜索加速不失为一种便捷有效的方式.实验证明陀螺仪精度的提高可以显著减小角度积分误差,减小搜索窗口大小可以提高匹配过程的运算速度.另外,本文方法相较于传统方案的优势在于提高了同一个相机拍摄全景图像时的运算速度,符合大部分实际场景的需求,但在诸如多个相机拍摄图像拼接获得全景图等应用场景下,陀螺仪信息已不具有参考价值,需要另外的方式以提高运算速度.

参考文献
[1] SU M S, HWANG W L, CHENG K Y. Analysis on multiresolution mosaic images[J]. IEEE Transactions on Image Processing, 2004, 13(7): 952-959. DOI:10.1109/TIP.2004.828416
[2] SZELISKI R. Image alignment and stitching:A tutorial[J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104.
[3] CHEN Hao, MA Cai-wen, CHEN Yue-cheng, et al. Fast template matching arithmetic based on image gray statistic[J]. Acta Photonica Sinica, 2009, 38(6): 1586-1590.
陈皓, 马彩文, 陈岳承, 等. 基于灰度统计的快速模板匹配算法[J]. 光子学报, 2009, 38(6): 1586-1590.
[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. DOI:10.1023/B:VISI.0000029664.99615.94
[5] BAYA H, ESSA A, TUYTELAARSB T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359. DOI:10.1016/j.cviu.2007.09.014
[6] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB:An efficient alternative to SIFT or SURF[C]. Computer Vision (ICCV), 2011 IEEE International Conference, 2011:2564-2571.
[7] MASTEN M K. Inertially stabilized platforms for optical imaging systems[J]. IEEE Control Systems, 2008, 28(1): 47-64. DOI:10.1109/MCS.2007.910201
[8] FISCHLER M A, BOLLES R C. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395. DOI:10.1145/358669.358692
[9] LIU Gui-xi, LIU Dong-mei, LLIU Feng-peng, et al. A robust image registration algorithm based on feature points matching[J]. Acta Optica Sinica, 2008, 28(3): 454-461.
刘贵喜, 刘冬梅, 刘凤鹏, 等. 一种稳健的特征点配准算法[J]. 光学学报, 2008, 28(3): 454-461.
[10] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. Cambridge University Press, 2003.
[11] CHENG Yu-xiang, ZHANG Wei-ping, CHEN Wen-yuan, et al. Research development of MEMS micro-gyroscopes[J]. Micronanoelectronic Technology, 2011, 48(5): 277-285.
成宇翔, 张卫平, 陈文元, 等. MEMS微陀螺仪研究进展[J]. 微纳电子技术, 2011, 48(5): 277-285.
[12] OR E M, PUNDIK D. Hand motion and image stabilization in hand-held devices[J]. IEEE Transactions on Consumer Electronics, 2007, 53(4): 1508-1512. DOI:10.1109/TCE.2007.4429245
[13] WU Yi-nan, LI Guo-ning, ZHANG Ke, et al. Registration model based on homologous points tracking of space camera assembly imaging[J]. Infrared and Laser Engineering, 2016, 45(3): 0326002.
武奕楠, 李国宁, 张柯, 等. 基于同名点追踪的空间相机成像拼接配准模型[J]. 红外与激光工程, 2016, 45(3): 0326002.
[14] LI Yu-feng, LI Guang-ze, GU Shao-hu, et al. Image mosaic algorithm based on area blocking and SIFT[J]. Optics and Precision Engineering, 2016, 24(5): 1197-1205.
李玉峰, 李广泽, 谷绍湖, 等. 基于区域分块与尺度不变特征变换的图像拼接算法[J]. 光学精密工程, 2016, 24(5): 1197-1205.