一种基于兴趣点匹配的图像拼接方法

󰀁

2006年3月

文章编号:1001-9081(2006)03-0610-03

计算机应用

ComputerApplications

󰀁

Vo.l26No.3Mar.2006

一种基于兴趣点匹配的图像拼接方法

仵建宁,郭宝龙,冯宗哲

(西安电子科技大学机电工程学院,陕西西安710071)

(jianningwu@sina.com)

摘󰀁要:针对基于图像特征点的配准方法中对应特征对难以准确提取的问题,提出一种基于兴趣点匹配的图像自动拼接方法。该方法首先利用Harris角检测器提取两幅图像中的兴趣点,并在此基础上采用比较最大值法提取出对应兴趣点特征对,最后利用这些匹配特征对来实现图像的拼接。实验结果表明,这种方法能有效地去除伪匹配特征对的干扰,同时降低了误匹配的概率,对于全景图的拼接具有良好的效果。

关键词:图像拼接;兴趣点匹配;Harris角检测器;比较最大值法中图分类号:TP391.41󰀁󰀁文献标识码:A

Animagemosaicmethodbasedoninterestpointsmatching

WUJian󰀁ning,GUOBao󰀁long,FENGZong󰀁zhe

(SchoolofMechano󰀁ElectronicEngineering,XidianUniversity,Xi󰀁anShaanxi710071,China)

Abstract:Sincethecorrespondingpairoffeaturepointswasdifficulttobeextractedinfeaturepointsregistrationmethods,animagemosaicmethodbasedoninterestpointmatchingwaspresented.Firstly,theinterestpointsfromtwoimageswereextractedbyHarriscornerdetector,thenthecorrespondinginterestpointpairoffeaturesweregotbycomparisonmaximumalgorithm.Atlasttheimagescouldbestitchedbythecorrespondingpairoffeatures.Theexperimentsshowthatthisalgorithmcanefficientlyavoidtheaffectoffalseinterestpointpairoffeatures,reducingthelikelihoodoffalsematchingatthesametime.Thisalgorithmcanbeappliedinpanoramicimagessuccessfully.

Keywords:imagemosaic;interestpointsmatching;Harriscornerdetector;comparisonmaximumalgorithm

应兴趣点特征对。这种方法能快速准确地提取出待配准图像

中的对应特征对,同时剔除了伪匹配对的干扰,大大降低了误匹配的概率。在图像融合中本文引入了域值的概念,解决了重叠区域图像平滑过渡问题。

0󰀁引言

图像拼接就是将多幅相互间存在重叠部分的图像序列进行空间匹配对准,经重采样融合后形成一幅包含各图像序列信息的、宽视角场景的、完整的、高清晰的新图像。图像拼接技术的核心是图像的配准技术,目前对于不同类型的图像和数据存在多种图像配准方法[1],其中最常用的方法是基于图像特征的方法:首先分别提取两幅图像中保持不变的特征点,然后将这两组特征点集进行匹配对应,生成一组对应特征对集,最后利用这组特征对之间的对应关系估计出全局变换参数。基于图像特征的方法,在特征提取后得到的特征点的数量将会大大减少,因此可以提高配准的速度,但其配准的效果很大程度上还取决于特征点的提取精度以及特征点匹配的准确度。文献[2]提出用最近邻点之间的距离原则来确定一个点集中的点与另一个点集中的点之间的匹配对应关系,并引入一个参数来控制出界点(即一幅图像中的某些特征点在另一幅图像中没有相对应的特征点)效果,但是随着噪声的增加,这种方法逐渐变得不可靠,同时在优化时极易陷入局部最小化。文献[3]提出了定义两个特征点集之间的Hausdorff距离,通过使其最小化来寻找图像之间变换参数,但实验结果表明Hausdorff距离随着空间变换参数的变化并不是平滑的。

针对以上的问题,本文在Harris角检测器[4]提取兴趣点的基础上提出了用比较最大值的方法来提取两幅图像中的对

󰀁󰀁收稿日期:2005-09-09

1󰀁特征点的自动提取

基于图像特征的配准方法首先是要尽可能准确地提取出图像的特征点,所以选择高精度的提取方法至关重要。由于Harris角检测器在一致性和有效性方面均具有优良的性能;这种方法提取的兴趣点被证明具有旋转、平移不变性,并且可以达到亚像素级的精度;对信号噪声、数据获取时的参数变化和图像变换以及图像光照条件等具有较好的鲁棒性。所以本算法采用Harris角检测器作为特征点的提取工具,其基本思想是使用自相关函数来确定信号发生二维变化的位置,即通过下列评价函数来体现:

R=detM-k(traceM)2(1)

2其中,detM=Ix2󰀁I2M=Ix2+Iy2,而y-(Ix󰀁Iy),trace

1x2+y2M=exp(-22)󰀁2󰀁󰀁2󰀁

󰀁I2󰀁I󰀁I(󰀁x)(󰀁x)(󰀁y)

=

󰀁I󰀁I󰀁I2(󰀁x)(󰀁y)(󰀁y)

Ix2Ix󰀁Iy

Ix󰀁Iy

Iy2

󰀁I󰀁I这里,I(x,y)表示图像的灰度值,(,)表示I在点

󰀁x󰀁y)

󰀁󰀁作者简介:仵建宁(1974-),男,陕西扶风人,硕士研究生,主要研究方向:图像处理、计算机视觉、图像通信;󰀁郭宝龙(1962-),男,陕西西安人,教授,博士生导师,主要研究方向:神经网络、信号处理;󰀁冯宗哲(1945-),男,陕西扶风人,副教授,主要研究方向:模式识别、图像信号处理.

第3期仵建宁等:一种基于兴趣点匹配的图像拼接方法󰀁󰀁󰀁611󰀁

(x,y)处的梯度,I代表对I进行高斯平滑滤波,其中󰀁表示卷积运算。

对于矩阵M来说,它是一个二阶实对称矩阵,因此它必然存在两个特征值,M的两个特征值的大小反映了图像像素的特征性,也就是如果点(x,y)是一特征点,那么关于这个点的M矩阵的两个特征值都是正值,并且它们是以(x,y)为中心的区域中的局部最大值。也就是由公式(1)当点(x,y)的R值大于某一个阈值T时,这个点所对应的位置点就是特征点,其中k是一实验值,一般取k=0.04~0.06。

特征点提取评价函数的阈值T,这个阈值的确定对于图像配

准精度有着很大的影响。如果阈值设置太小,将会增加特征点个数而使计算量增加,阈值设置过大将会增加特征点漏选、错选的概率。因此为了达到两者的折中,本文设计了一种自动调整T值大小的方法。比较最大值算法具体过程描述如下:

1)设定一较大的初始阈值T和一步长l,通过Harris角检测器分别提取出第一幅图像和第二幅图像中的特征点;

2)以第一幅图像中的特征点为参考点,通过(2)式在第二幅图像中寻找对应的特征点;

3)计算每个特征对所对应的距离对;

4)比较各特征对的距离对,得到数量最多的距离对;5)以第二幅图像中的特征点为参考点,通过(2)式在第一幅图像中寻找对应的特征点,然后重复3)~4);

6)比较两次得到的距离对值是否相等,这时我们可以通过以下步骤来自动调整阈值T:

第一阶段󰀁将初始阈值T设为初始节点n0,以节点n0为中心,如果两次的距离对相等,则T→T+l,此时对应的新阈值设为节点n1;如果两次的距离对不相等,则T→T-l,此时对应的新阈值设为节点n-1;然后将新节点作为新的初始节点重复以上过程,当第一次遇到新的节点(n1或n-1)与初始节点(n0)所得到的结果相反时,进入第二阶段;否则,步长l保持不变,将新节点对应的阈值作为初始阈值返回第一阶段。

第二阶段󰀁以新节点为中心,如果两次的距离对相等,则步长减半并且使T→T+l/2;如果两次的距离对不相等,则步长减半并且使T→T-l/2。

反复进行第二阶段直到步长l减为0,同时保证两次得到的距离对相等。

经过以上鲁棒性的算法之后,就获得了两幅图像之间正确匹配对,如实验结果中图2所示。

2󰀁比较最大值法特征匹配

对两幅图像提取特征点后,接着要对它们进行匹配,也就是寻找对应特征对。通过Harris角检测器提取的特征点中有相当多的冗余点,如果不去除这些冗余的特征点将会导致匹配参数的误差,甚至导致匹配失败。为了有效地去除冗余特征点的干扰,提出一种比较最大值的方法,该方法在去除冗余的特征点的同时能准确提取出正确的匹配特征对。

首先,在每幅图像中以每个特征点为中心取一个(2N+1)󰀁(2N+1)大小的相关窗,然后以第一幅图像中的每个特征点为参考点在第二幅图像寻找对应匹配点,匹配的依据是计算特征点相关窗之间的相关系数:

C=

x,y󰀁W

󰀁

[I1(x,y)I2(x,y)]I(x,y)

21

x,y󰀁W

󰀁x,y󰀁W

󰀁I(x,y)

22

(2)

式中,W是相关窗的大小,I1,I2分别是第一幅与第二幅图像中特征点相关窗内像素的灰度值。当第一幅图像中的某个特征点与第二幅图像中的所有特征点经过计算得到一组相关系数时,我们选择这组相关系数中最大的相关系数所对应的特征点为这个点的匹配特征点。通过这种方法匹配之后得到的匹配对中仍存在伪匹配对,如何去除这些伪匹配对是整个图像配准的关键环节。经过分析我们得到如下事实:设点A(xA,yA)和点B(xB,yB)是第一幅图像中任意两个特征点,在第二幅图像中有两个对应的特征点A^(xA^,yA^)和B^(xB^,y^),如果(A,A^)和(B,B^)是两对正确的匹配对,那么它们的

B

3󰀁图像融合

将两幅图像配准之后,接下来就可以进行融合了。图像融合就是指将配准后的图像序列在空间进行叠加,从而增加图像信息量的过程。一般情况下两幅图像由于采样时间和采样角度等因素的不同而使重叠部分呈现出明暗强度及变形程度的差异,为了能够使融合后的图像具有视觉一致性而且没有明显的接缝,Szeliski[5]采用一种加权平均的融合方法进行图像平滑过渡。假如f1,f2是两幅待拼接的图像,将图像f1和f2在空间叠加,则融合后的图像像素f可表示为:

f(x,y)=

f1(x,y),󰀁󰀁󰀁󰀁󰀁󰀁(x,y)󰀁f1

d1f1(x,y)+d2f2(x,y),(x,y)󰀁f2(x,y),

(f1󰀁f2)

(6)

(x,y)󰀁f2

坐标将满足如下关系:

|xA-xA^|=|xB-xB^|

(3)

(4)|yA-yA^|=|yB-yB^|

即对于任意两对正确的匹配特征对来说,它们对应的坐标应同时满足(3)式和(4)式的条件。

算法中为了保证从两幅图像中提取的特征点具有一致性,假设两幅图像特征点提取评价函数的阈值T相等。由于Harris角检测器具有良好的特征点提取性能,因此可以认为所提取的特征点中满足(3)式和(4)式条件的特征点是多数点。有了以上这两个条件的保证,就可以采用比较最大值的方法从(2)式所生成的特征对中提取出正确的匹配对。首先我们计算每个特征对中两点的横坐标之间的距离和纵坐标之间的距离,这样每个特征对就生成一种对应的距离对,然后逐个比较和统计这些距离对,如果某种距离对的数量m满足:

m=max{m1,m2,󰀁,mk},k=1,2,󰀁,n

(5)

式中,mk是第k种距离对的个数,n是所有距离对的种类数,那么这种距离对所对应的那些特征对就是正确的匹配对。

在利用Harris角检测器提取特征点的过程中,需要确定式中d1,d2表示权重值,它们一般与重叠区域的宽度有关,且d1+d2=1,0f(x,y)=

󰀁612󰀁󰀁󰀁

f1(x,y),󰀁󰀁󰀁󰀁󰀁󰀁f1(x,y),

(x,y)󰀁f1

|f1-f2|>E,d1>d2,(x,y)󰀁(f1󰀁f2)

计算机应用2006年

图像会导致失败。与相位相关法不同,本文由于采用兴趣点匹配的思想,因此不会受到图像尺寸条件的影响,从而克服了相位相关法局限性。

d1f1(x,y)+d2f2(x,y),|f1-f2|󰀁E,(x,y)󰀁(f1󰀁f2)(7)f2(x,y),f2(x,y),

|f1-f2|>E,d14󰀁实验结果及性能分析

为了验证本算法的效果,以两幅图像进行实验,所使用的两幅图像大小为320󰀁240,如图1所示,实验条件:PⅣ1.70G,256M,VC++6.0,WINXP。Harris检测器提取两幅图像中特征点的数量分别为512和431,实验测得最佳阈值T=8112,如图1(a)和图1(b)所示。经过比较最大值法提取的两幅图像中正确匹配特征点数为17个,相关窗大小为15󰀁15,如图2(a)和图2(b)所示。图3是通过这些正确的特征对采用Szeliski方法拼接的结果图,可以看到中间重叠部分灰度值出现跳变。图4是采用本文融合算法两幅图像自动拼接结果,其中选择实验阈值E=100。图5是采用比较最大值法拼接的全景图。

图3󰀁采用Szeliski方法的拼接图图2󰀁比较最大值法提取的正确匹配对

图1󰀁图像的兴趣点自动提取

经典的相位相关法由于其本身算法的特点,局限于它只能检测两幅具有2m󰀁2n尺寸大小的图像,而对于任意尺寸的

图4󰀁采用本文融合算法两图像自动拼接图

󰀁󰀁

5󰀁结语

图5󰀁某礼堂广场全景图像自动拼接结果

[2]󰀁BESLPJ,MCKAYND.Amethodforregistrationof3󰀁Dshapes[J].

IEEETransactionsonPAMI,1992,14(2):239-256.

[3]󰀁HUTTENLOCHERDP,KLANDERMANGA,RUCKLIDGEWJ.

ComparingimageusingtheHausdorffdistance[J].tionsonPAMI,1993,15(9):850-863.

[4]󰀁HARRISC,STEPHENSM.Acombinedcornerandedgedetector

[A].Proceedingsofthe4thAlveyVisionConference[C].Plessey,UnitedKingdom:AlveyVisionConference,1988.147-151.[5]󰀁SZELISKIR.Videomosaicsforvirtualenvironments[J].IEEE

ComputerGraphicsandApplications,1996,16(2):22-30.[6]󰀁封靖波,苏志勋,刘秀平.一种基于相似曲线的全景图自动拼接

算法[J].计算机学报,2003,26(11):1604-1608.

[7]󰀁郑明玲,刘衡竹.遥感图像配准中特征点选择的高性能算法研

究及其实现[J].计算机学报,2004,27(9):1284-1289.[8]󰀁侯舒维,郭宝龙.图像拼接技术研究[D].西安电子科技大学,

2005.

IEEETranac󰀁

本文提出了一种比较最大值的方法,通过这种方法能快速准确地提取出待配准图像中的对应特征对,同时剔除了伪

匹配对的干扰,降低了匹配的概率。对于虚拟现实技术中的全景图的拼接本算法同样具有良好的效果,虚拟现实技术中最常用的一种全景图表示模式是柱面全景图,它是指在固定的视点,使相机在同一水平面内旋转一周拍摄场景,得到一组具有重叠区域的连续环视图像序列,然后将每个图像投影到同一柱面坐标空间,这时得到的新的图像序列之间只存在平移关系,通过比较最大值法就可以将每幅图像拼接起来而形成一幅全景图像。参考文献:

[1]󰀁ZITOVAB,FLUSSERJ.ImageRegistrationMethods:asurvey[J].

mageandvisioncomputing,2003I,21(11):977-1000.