您的当前位置:首页正文

基于仿射变换的多姿态人脸矫正和识别

2022-07-12 来源:步旅网
第31卷第4期 计算机应用研究 V01.31 No.4 2014年4月 Application Research of Computers Apr.2014 基于仿射变换的多姿态人脸矫正和识别 李海彦,徐汀荣,张立晓,李杰 (苏州大学计算机科学与技术学院,江苏苏州215006) 摘要:为了解决随着人脸姿态的变化,人脸识别率迅速下降的问题,提出了利用仿射变换和成像原理相结合 对待识别的多姿态人脸图像进行姿态调整,将其调整为近似于正面人脸的方法,该方法能够有效地将45。范围内 的多姿态人脸图像调整为正面人脸图像。同时,使用改进的SURF(加速鲁棒特征算法)算法对校正后的人脸 图像进行识别。在FERET等人脸库及拍摄的人脸图像上进行实验,实验结果表明该方法能够在一定程度上克 服姿态变化带来的影响,使平均识别率最高可提高7.0%左右。 关键词:姿态变化;仿射变换;人脸矫正;人脸识别;多姿态;SURF 中图分类号:TP391.41 文献标志码:A 文章编号:1001—3695(2014)04—1215-05 doi:10.3969/j.issn.1001—3695.2014.04.062 Multi—pose face correction and recogniton based on affine transformation LI Hai—yan,XU Ting—rong,ZHANG Li—xiao,LI Jie (School of Computer Science&Technology,Soochow University,Suzhou Jiangsu 215006,China) Abstract:As the changing of the face pose,the rate of the face recognition becomes smal1.Object to the problem,the method which based Oil affine transformation and image—forming principle corrected the test face images pose to virtual the correspon— ding font face images.The method could correct the muhi—pose face images which angle were among 45。.And the face recog— nition based on improved SURF(speeded up robust features)got better effect.The experiment shows that the method over- comes the effect of the pose—changing to some degree and the recognition rate is increased by 7.0%. Key words:pose—changing;affine transformation;face correction;face recognition;multi pose;SURF 建立不同姿态人脸相对应的特征子空间,然后分别把正面人脸 0 引言 图像和姿态人脸的训练样本投影到各自相对应的特征子空间 人脸识别技术 0 是生物识别技术中的一种,以其直接 之中,获取其相对应的人脸特征系数来进行人脸识别 。这 性、唯一性、方便性等特点,在公安侦查、交通检测、门禁系统、 种方法在一定程度上提高了多姿态人脸识别的识别率,但是仍 目标追踪及其他民用安全控制系统等领域具有广阔的发展前 存在很大的缺陷:该方法需要对每个人的人脸进行多个视角的 景和很高的社会经济效益。近年来随着越来越多的研究工作 拍摄、采集,以形成多视图。这在很多实际场合中是办不到的, 者投人到人脸识别领域中,人脸识别技术得到了很大的发展, 在现实生活中往往只能得到某个人的前视图或者其他姿态的 并逐渐成熟起来。但是当人脸具有复杂的变化时,如姿态变 单视图。 化、光照变换和遮挡等,人脸识别技术仍然存在缺陷,需要进行 多姿态人脸识别还可以基于单视图进行识别,该方法一般 进一步研究与解决。其中,姿态变换也是制约人脸识别率的重 把一张正面人脸图像和由该正面人脸虚拟出的多张各种姿态 要因素,即当人脸具有倾斜、旋转等较大的姿态变化时,识别率 的人脸图像作为训练样本来进行识别。这种方法虽然在识别 会随之急剧下降,甚至无法进行识别。按照姿态对人脸识别进 率上比单样本识别有很大的提高,但仍然存在随着待测人脸图 行划分,它可以分为前视人脸识别和多姿态人脸识别。其中前 像数越来越多,训练人脸库的数目也会急剧增大,不利于人脸 视人脸识别研究得较为成熟,也取得了比较好的识别效果;多 识别系统实现的问题。文献[5—7]提出3D Morphable人脸建 姿态人脸识别虽然在一些文献中有些论述,但仍然存在比较多 立模型的方法。三维人脸模型的方法是用来解决姿态问题最 的问题没有解决。由于将一般的前视人脸识别方法直接进行 有效的方法,但是由于实验中获取人的三维人脸图像比较困 多姿态人脸识别时,人脸识别率会迅速下降,所以根据这一问 难,而且时间比较长,因此在此过程中给用户带来了比较大的 题,有研究者提出采用基于多视图方法来提高多姿态人脸识别 干扰,而且三维数据计算很复杂,计算量很大,耗时非常多,因 的识别率。多视图的人脸识别方法,一般是通过拍摄各个人脸 此在识别应用中并没有能得到广泛的应用。 的各个姿态的图像作为训练样本,来建立多姿态的人脸数据 针对由姿态变化引起的人脸识别率低的问题,本文提出了 库,识别时将输入的人脸图像与训练样本厍中所有图像进行比 一种基于仿射变换和成像原理的方法对多姿态人脸图像进行 较分析,通过定位两个瞳孔点的位置加以配准,再对配准后特 矫正,并利用改进后的SURF算法对姿态校正后的人脸进行识 定姿态的人脸进行识别。Lee等人 用一定数量的训练样本, 别,改变了因使用三维模型生成多姿态产生的庞大数据信息的 收稿日期:2013—05—14;修回日期:2013.06—30 基金项目:国家自然科学基金资助项目(61070245) 作者简介:李海彦(1985.),-k-,山东菏泽人,硕士研究生,主要研究方向为模式识别、图像处理(1.haiy ̄278@163.com);徐汀荣(1958一),男,教授 硕导,主要研究方向为图像处理;张立晓(1986一),女,硕士研究生,主要研究方向为社团发现;李杰(1987,),男,硕士研究生,主要研究为图像处理. ・1216・ 计算机应用研究 第31卷 问题。这种方法不需要进行大量轮廓点参数的采集,而是将具 有一定程度的姿态变化的待测样本用仿射变化的方法矫正为 相似的正面人脸,然后利用改进后的SURF算法进行人脸识 别。这种方法比较简单、有效,容易在实际人脸识别系统应用 中得到推广。在FERET等人脸库的实验也表明,该方法对具 像平面的投影位置( ,Y ) 可以通过点的视线与图像平面的 交点得到。 有姿态变化的人脸图像的识别率有显著提高。 图2倒立投影坐标 1 姿态矫正 2人脸姿态矫正算法 测试样本和训练样本一致性在一定程度上影响着人脸识 别系统的识别效果。在两者一致性比较高的情况下,会得到比 在仔细研究透视投影基本原理的基础上,对人脸在旋转过 程中的投影变换进行抽象处理并转换为几何模型。从几何模 型中解析出人脸图像的具体变化情况并结合仿射变换理论对 较高的识别率;但是如果姿态变化过大,则识别率明显下降。 在实际的人脸认证系统中,往往只能拍摄到少量的正面训练样 本,而测试样本可能具有各种角度变化的姿态。为此,提出姿 态矫正的方法,将具有一定姿态变化的测试样本调整为近似的 正面人脸图像,提高其与训练样本的一致性,有利于进一步的 人脸识别。 1.1仿射变换 B] 在几何上定义为两个向量空间之间的一个仿射变换或者 仿射映射,由一个线性变换接上一个平移组成。典型的仿射变 换主要有以下几种: a)旋转变换。目标图形围绕原点逆时针旋转theta弧度, 变换矩阵为 f cos(theta) 一sin(theta)0q 1 sin(theta) cos(theta)0 1 (1) l o o 1 J b)缩放变换。将每一点的横坐标放大(缩小)至s 倍,纵 坐标放大(缩小)至 倍,变换矩阵为 f o o] l 0 0 f (2) 【o 0 l J c)平移变换。将每一点移动到( +拓,Y+ ),变换矩阵 为 『 O 批1 l 0 1 l (3) lL 0 0  1 JI 1.2摄像机的成像原理 1)透视投影在计算机科学研究中,透视投影是最常用 的成像模型,是针孔成像模型的近似表示,如图1所示,三维空 间中点 的像 是光线CX上所有点的像。 图1成像模型 2)透视投影的坐标表示 图2中,0一 是固定在摄像机 上的直角坐标系,原点0位于摄像机中心, 轴与投影轴重合 并指向场景, 轴、Y轴与图像平面的坐标轴 、y 平行, 平面 与图像平面的距离为,o在实际的摄像机中,图像平面位于摄 影中心后面距离为_厂的位置,且投影图像是倒立的。在计算机 科学的理论研究中,为了避免研究倒立的图像,一般假定平面 位于摄影中心的前面,如图3所示。空间中点( ,Y, ) 在图 人脸在旋转情况下的投影平面图像进行分析,从而实现对多姿 态人脸图像的矫正。根据人脸在三维空间中的旋转所投影的 平面图像,本章将人脸的姿态分为左右倾斜、水平旋转以及垂 直旋转三种情形。 2.1人脸图像倾斜 本文认为该人脸图像围绕图像的中点发生了旋转变换,且 假设变换角度为0。,则根据仿射变换中的旋转变化,利用旋转 变换矩阵对倾斜的人脸图像进行调整。具体的调整方式分为 两种情况: ・ a)如果人脸图像向右倾斜,则调整公式为 r ]『cos(一p1) 一sin(一日1)0]r ] Il Y IJ l=f  osin(一0 1) cos(~口0 1)0l1j【1 lYf J 1  (4) b)如果人脸图像向左倾斜,则调整公式为 r 1『cos( ) 一sin(81)0]r ] l Y l=l sin(01) cos(01)0【 lYl (5) L 1 j【0 0 1 J L 1 J 式中: 、Y分别是原图像中像素值所对应的二维坐标, 、), 分 别是调整后的像素值对应的二维坐标。由 、y_ 确定的坐标值 及调整前的x,y坐标对应的像素值重新构成一个新的人脸图 像便是调整后的人脸图像。 2.2人脸图像水平旋转 人脸的水平旋转变化情况如图4所示。从图中可以看出 人脸在旋转过程中的具体变化。假设待测试样本s是一张人 脸的侧面图像,也就是说此人脸图像在某方向上有一定角度的 旋转。由图示中人脸的轮廓信息可以看出,图像显示出来的效 果是一边被压缩而另一边被放大;而一张人脸的正面图像,则 是两边等距的效果。因此,以人脸图像中的鼻尖所在的直线为 界线,左边的列坐标值取负值,右边的列坐标值取正值,这样再 根据列坐标值的正负不同旋转不同的尺度,实现压缩一边扩张 另一边来进行姿态矫正。 \ 赢 - 图4人脸姿态变化轮廓 在进行矫正之前,首先需要对人脸在旋转过程中的投影图 像进行分析。一般情况下,可以把头部看成一个近似的圆柱 体,而面部可以近似地看做是圆柱体的一个切面,切面图如图 5所示。 第4期 李海彦,等:基于仿射变换的多姿态人脸矫正和识别 ・1217・ 人脸的旋转过程实际上是人头部的旋转,可以从头部旋转 的横切面模型来进行观察,如图6所示。为了推导水平旋转人 脸图像的矫正方法,本文将横切面人脸抽象成为一个等腰三角 形,其中三角形的顶点对应于鼻尖所在的中线,两腰代表两脸 颊,从而将人脸的旋转抽象成等腰三角形围绕圆心的旋转,其 中两脸颊夹角为 ,人脸旋转角度为 。现假设所有的人脸图 像都投影在图6中P所代表的平面上,则等腰三角形的两腰在 转和人脸水平旋转的情况相同。本文仍采用上一节的方式实 现对垂直旋转人脸图像的矫正,即将式(6)和(7)中的y 与 交换,Y与 交换,实现了垂直旋转的人脸图像的调整方法。 3人脸识别算法 3.1 SURF特征匹配算法 P平面的投影即为旋转后的人脸图像,而底边是正面人脸在P SURF算法 主要包括三个步骤:感兴趣点检测、感兴趣 平面的投影图像。 I — 切面 Jl两的夹角鼻尖 脸颊旋转后 i I图5人脸正视模型图 图6头部横切面模型 为了方便描述提出的矫正方法,现设原始图像为s,大小为 m xn,平面上的网格点为{( ,Y)l =1,2,…,m;y=1,2,…,n}。 将仿射变换和透视原理与上述结论相结合推导出了水平旋转人 脸图像的矫正方法。由于人脸水平旋转分为左右旋转,故该方 法对水平旋转的人脸图像矫正分两种情况(左旋转和右旋转) 进行讨论。由于向左旋转和向右旋转情况类似,这里只讨论人 脸向右旋转的情况,具体矫正方法如式(6)和(7)所示。 1)被压缩的一边 , r110 0 一 0 -1 ㈦ 2)被扩张的一边 , lr 。1 0 一 0 ] ㈩ 式(6)和(7)中: 为左右旋转的角度(与图6中的 相对应); 为人脸中两脸颊夹角的一半;nose代表鼻尖或者是中线所在 的位置;占为松弛因子,主要是了调节压缩或扩张的程度以达 到更好的效果。在式(6)中O/一0必须大于零,这里两脸颊的 夹角O/一般取值在70。~85。,所以旋转角度需要小于7O。。 由式(6)和(7)可以得出,根据网格点在图像中的不同位 置,实行不同的尺度变换,进而得到不同的缩放效果。由{( , Y ) :1,2,…,m;,, :1,2,…, }组成新的图像中的网格点, 假定新图像s 在网格点( ,Y )处的灰度值为原图像.s在点 ( ,Y)处的灰度值,由Js 作插值就得出图像在{( ,Y ) =1, 2,…,m;,, 1,2,…,n}的值,即为姿态矫正后的虚拟图像。在 实际的矫正过程中,出现了矫正后的人脸图像变宽的现象。为 了解决这个问题,本文对待矫正的人脸图像进行分块处理,根 据实际情况对各块进行压缩或扩张处理,以达到更好的矫正 效果。 2.3人脸图像垂直旋转 当人脸图像中的人脸发生垂直旋转时,取人脸图像的中间 位置(即鼻尖所在的位置)为参照线,认为人脸的上半侧被扩 张(压缩)而下半侧被压缩(扩张)。由此可以看出人脸垂直旋 点描述及感兴趣点匹配。其算法流程如图7所示,其中三个大 线框分别对应了这三个步骤。 l设定suRF检测参刿 l 计算积分图像t  l。感兴趣点方向赋倒 ● 计算描述矢量间的 I 尺度空间分析 I计算感兴趣点邻域 距离 的小渡响应 ' l计算Hest siad 阵【 根据参数确定匹配蒯 t l生成suRF描述子l’  1检测并定位感兴趣点 图7 suR蹲法流程图 3.1.1感兴趣点检测 SURF对感兴趣点(也称特征点)的定义是指图像中具有 独特位置的点,例如角点、斑点及T形连接。感兴趣点检测器 最有价值的属性是可重复性,可重复性代表了检测器在不同视 觉条件下搜索感兴趣点的可靠性。 对尺度具有不变性的检测器中最具有代表性的是SIFT[1 , 其原理是首先利用高斯与图像的卷积生成高斯金字塔,利用高 斯差分(DOG)与图像的卷积生成高斯差分金字塔,进而构建尺 度空间,然后在尺度空间内计算3 x3×3立体领域内的极值点, 并以此点为感兴趣点。SIF1 ̄感兴趣点检测的缺点在于计算时 间太长。为了加快速度,SURF通过在尺度空间内计算Hessian 矩阵行列式的值来获取极值点。对于图像,中的一个点 = ( ,Y),在尺度 下的Hessian矩阵H(x, )定义为 H( , ) -L Z xx  ((   ̄Hc , , ,,  o";三) 三L ,y ( x,t盯r )]j c‘ s 其中: ( , )是二维高斯函数g( ,Y, )的二阶偏导数 L ( ,ro): -g( )与图像,在点 的卷积;£ ( ,ro)与 ( ,ro)亦然。为进一步加快速度,SURF在计算过程中采用图 8所示的箱式滤波器与积分图像来简化计算。 图8箱式滤波器取代高斯二次编导 3.1.2感兴趣点描述 SURF的感兴趣点描述符描述的是感兴趣点邻域内的分 布密度,与SIFT中描述符用于对梯度信息进行描述类似。 SITF的描述方法是将20s X20s的区域划分成小的4×4子区 域,如图9所示,在每个子区域中计算八个方向的梯度直方图, 从而得到4×4×8=128维的描述符矢量。经学者证明,sift 描述符的生成方法非常耗时。 与SIFT不同,SURF通过计算Haar小波响应来提取描 述符: a)确定感兴趣点的主方向。首先在感兴趣点6s圆形领域 内计算 与Y方向的小波响应(s为检测感兴趣点时所使用的 ・1228・ 表4胸径起点坐标值 计算机应用研究 第31卷 利用单CCD相机结合经纬仪测角功能代替双CCD,减少了在 基距上的测量要求和计算,并且不需使用标定尺,对图像的提 取效率和精度有一定的提高。使用VC++编写软件界面,运算 速度快,可进行实地实时性测量,也可实地测量保存原始数据 后再计算结果。本软件的测量部分目前只涉及胸径计算,后续 可扩展到对树木其他因子的测量或对其他物体的尺寸测量。 测量范围主要取决于CCD相机的性能,可依据测量范围要求 选择合适的CCD型号。 参考文献: 1994:227. . [1]南京林业大学.中国林业辞典[M].上海:上海科学技术出版社, [2]冯仲科,赵春江,聂玉藻,等.精准林业[M].北京:中国林业出版 社,2002:10-30. [3]阚江明,李文彬,孙仁山.基于计算机视觉的立木枝干直径自动测 量方法[J].北京林业大学学报,2007,29(4):5-9. [4]CLARK N.Applications of an automated stem measurer for precision forestry[C]//Proc of the 1 st International Precision Forestyr Coope- rative Symposium.2001:93—98 1 5 l BROWNLIE R K,CARSON W W,FIRTH J G,et a1.Image—based dendromety systrem for standing trees[J].New Zealand Journal of Forestry Science,2007,37(2):153-168. [6]IZUMI T,UEKI Y.Improvement of precision by introducing vitality degree to the heJight measurement system using stereo vision[c]// Proc of SICE Annual Conference.Japan:Hokkaido Institute of Tech— 树号 ’’’ 实测胸径/ mln 胸径计算 尺寸/mm 绝对误差 /mm 相对误差率/ % nology,2004. [7]杨华,孟宪宇,刘燕,等.单株立木图像信息的提取与解算[J].北 京林业大学学报,2005,27(1):51—54. [8]吴晓兰,高林,阚江明,等.基于区域增长与边缘检测的立木图像 信息提取[J].科技导报,2009,27(22):44—47. [9]陶司光.基于数码相片单木图象分割及测树因子提取方法的研究 [D].哈尔滨:东北林业大学,2011:12—29. [1O]AL—AMEI S s,KALYANKAR N V,KHAMITKAR S D A.Comparative study of removal noise from remote sensing image『J 1.1JCSI Interna— tional Journal of Computer Science Issues,2010,7(1):32.36. 最后计算结果显示如表6所示,胸径平均绝对误差为7.4 mm,平均相对误差率为2.5%,完全满足低于5%的精度要求, 验证了将单CCD相机与经纬仪应用于树木胸径测量的方法是 可行的。树木胸径的横截面可能是非规则的圆形和CCD相机 非线性畸变时造成误差的主要因素,可再优化数学模型和图像 处理算法,提高计算精度。 [11]阚江明.基于计算机视觉的活立木三维重建方法[D].北京:北京 林业大学,2008:23—27. [12]孙仁山.立木枝干机器视觉识别技术研究[D].北京:北京林业大 学,2006:57—74. [13]GONZALEZ R C,WOODS R E.数字图像处理[M].阮秋琦,阮宇 智,译.2版.北京:电子工业出版社,2007:423・431. [14]康牧.图像处理中几个关键算法的研究[D].西安:西安电子科技 大学,2009:55 72, [15]龙辉,何坤,黎思敏,等.方向邻域全变分图像去噪[J].计算机应 用研究,2013,30(7):2219—2222. 6结束语 本文研究一种基于单CCD相机与经纬仪的树木胸径测量 方法,通过建立数学模型、采集经纬仪数据和对CCD相机采集 的图像进行处理,计算树木胸径尺寸,并利用北京林业大学校 园内树木采集数据进行胸径测量实验,验证了结果。这种方法 (上接第1219页)针对本文提出的对SURF算法的改进也能够在 定程度上提高人脸识别率。通过实验表明,改进的SURF算 法中的描述矢量具有更强的描述性,而且匹配时间减少了 一[16]熊志.基于双目立体视觉的大尺寸测量系统的研究[D].秦皇岛: 燕山大学,2006:41 45. [17]张广军.机器视觉[M].北京:科学出版社,2005:99.102. [18]孙仁山,李文彬,田勇臣,等.基于整枝抚育目的的立木枝干自动 识别研究[J].北京林业大学学报,2005,27(4):86—89. 1 5} GONZALEZ-JIMENEZ D,ALBA-CASTRO J L.Toward pose invariant 2一D face recognition through point distribution roodels and facial sym. metry[J].IEEE Trans on Information Forensics and Security, 2007,2(3):413-429. 23%左右,在一定程度上降低了时间消耗。 参考文献: [1]龚卫国,黄潇莹,李伟红.基于正弦变换的人脸姿态矫正及识剐 研究[J].计算机工程与应用,2010,46(22):213-216. [2]周激流,张晔.人脸识别理论研究进展[J].计算机辅助设计与 图形学学报,1999,11(2):180—184. [3]LEE H S,KIM D J.Generating frontal view face image for pose in va— rintfaace recognition[J].Pattern Recognition,2006,27(7):747— 754. [6]王跃明,潘刚,吴朝晖.三维人脸识别研究综述[J].计算机辅助设 计与图形学学报,2008,20(7):819-829. [7]BLANZ V.Face recognition based on a 3D morphable model[c]// Proe of the 7th International Conference on Automatic Face and Ges. ture Recognition.2o06:617-624. [8]胡茂林.空间和变换[M]_北京:科学出版社,2007:145—180. [9]乔勇军,谢晓方,李德栋,等.SURF特征匹配中的分块加速方 法研究[J].激光与红外,2011,41(6):691-696. [10]周志铭,余松煜,张瑞,等.一种基于SIFT算子的人脸识别方法 [4]孙忠远,吴小俊,王士同,等.基于多姿态人脸图像合成的识别方 法研究[J].计算机工程与应用,2008,44(23):197-200. [J].中国图象图形学报,2008,13(10):1882 1885. 

因篇幅问题不能全部显示,请点此查看更多更全内容