软件学报  2014, Vol. 25 Issue (9): 2180-2186   PDF    
基于学习的高分辨率掌纹细节点质量评价方法
王瀚1,2, 刘重晋1,2, 付翔1,2, 封举富1,2    
1. 北京大学 信息科学技术学院 智能科学系, 北京 100871;
2. 机器感知与智能教育部重点实验室(北京大学), 北京 100871
摘要:细节点在高分辨率掌纹匹配中扮演了重要角色,然而掌纹图像受到主线、褶皱线等的影响,提取出的细节点质量参差不齐.所以,对细节点进行质量评价并去除伪细节点,成为一个研究课题.提出了一种基于学习的高分辨率掌纹细节点质量评价方法.首先使用了基于图像的Gabor卷积响应和复数滤波响应等的一系列特征,用来对细节点局部进行冗余描述;然后,把每个特征作为弱分类器,用AdaBoost算法进行多层训练,挑选出对真伪细节点判别效果最理想的特征;最后,把弱分类器加权线性组合的响应分数作为细节点质量的得分,筛选出得分在阈值以上的细节点作为真细节点.该方法的实验结果与基于傅里叶变换的方法相比,能够更好地区分真伪细节点,对细节点的质量做出了更好的评价.
关键词掌纹识别     细节点质量     Gabor卷积     复数滤波     AdaBoost算法    
Quality Estimation Algorithm Based on Learning for High-Resolution Palmprint Minutiae
WANG Han1,2, LIU Chong-Jin1,2, FU Xiang1,2, FENG Ju-Fu1,2    
1. Department of Machine Intelligence, School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China;
2. Key Laboratory of Machine Perception of Ministry of Education (Peking University), Beijing 100871, China
Corresponding author: WANG Han,E-mail:hanwang@pku.edu.cn
Abstract: While minutiae is important for high-resolution palmprint matching, the quality of minutiae is affected by principal lines, creases and other noises, and therefore it is necessary to estimate the quality of minutiae and to exclude poor minutiae. In this paper, a minutiae quality estimation algorithm based on learning for high-resolution palmprint is proposed. First, a series of features obtained by applying Gabor convolution, complex filtering, etc., are used to describe the local area of minutiae redundancy. Then, with each feature as a weak classifier, AdaBoost algorithm is applied in multi-layered training to identify the best features for discriminating minutiae. Finally, the response of weighted linear combination of weak classifiers is used as minutiae quality score, and minutiae with score above the threshold is selected as true minutiae. Comparing with the method based on Fourier transform response, the presented method is superior at distinguishing true from false minutiae, and provides better evaluation of minutiae quality.
Key words: palmprint recognition     minutiae quality     Gabor convolution     complex filtering     AdaBoost algorithm    

掌纹识别是一种重要的生物特征识别技术.根据采集分辨率的不同,掌纹图像分为低分辨率掌纹和高分辨率掌纹:前者主要由照相机、摄像机等采集,相关研究历史较长,方法较多,主要使用主线等大尺度特征进行识别[1, 2];后者主要由扫描仪采集,相关研究历史较短,沿用了指纹识别的一些方法,主要使用细节点特征[3, 4].

高分辨率掌纹受到主线、褶皱线等的影响,以及采集过程中按压不均匀,部分区域图像质量较差,文献[5]详述了高分辨率掌纹的识别流程.由于上述影响的存在,提取出的细节点中存在大量伪细节点,对匹配过程造成了干扰.所以,需要对细节点进行质量评价,尽可能地去掉伪细节点,保留真细节点.由于图像质量对提取细节点造成了影响,所以可以通过评价图像质量,保留质量较好区域的细节点,去掉质量较差区域的细节点.利用掌纹图像和指纹图像在局部的相似性,可以借鉴一些对指纹图像进行质量评价的方法.文献[6]利用图像的局部方向信息设计特征,文献[7]利用Gabor滤波器对局部图像进行扫描,文献[8]对全图进行傅里叶变换.

上述方法直接根据图像质量筛选细节点,有一定效果,但是可能造成误判.我们希望通过描述细节点本身的特定局部结构以及周围的纹线分布来评价细节点的质量.基于此种考虑,我们使用了大量特征来冗余地描述细节点,运用AdaBoost算法[9]训练出最适合描述细节点的特征.

1 细节点局部描述特征

细节点是一种特殊的纹线结构,分为端点细节点(纹线中止处)和分叉点细节点(纹线分叉处).细节点周围纹线的连续程度和图像质量,能够从一定程度上反映细节点的好坏;此外,端点和分叉点特定的几何结构以及纹理特征,也能描述细节点独有的性质.因此,我们试图通过图像质量和纹线结构来描述细节点局部特征.

1.1Gabor卷积特征

提取细节点的过程中,运用Gabor卷积模板对原始图像进行增强[10],得到如下结果:

(1)

其中,D为以点(x0,y0)为中心的局部区域,为均值方差标准化后的图像,gw,q(x,y)为Gabor卷积模板.

A(x0,y0)为卷积结果的振幅部分,可以衡量纹线质量;j(x0,y0)为卷积结果的相位部分,反映了纹线相位的变化.从图 1可以看出:真细节点附近的区域振幅较大,相位周期变化;伪细节点附近的区域振幅大小不一,相位变化没有规律.由于细节点的存在,图像下半部分纹线的相位比上半部分多一个周期.我们根据振幅和相位的不同性质,使用了如下特征:

· 振幅特征

图 1所示,把振幅图平均划分为6x6的网格.循环遍历网格的每一个矩形区域,把均值和方差作为特征,矩形ABCD的特征值记为AmpMean[A,D]和AmpVar[A,D].振幅特征描述了细节点周围区域的纹线质量信息.

· 相位特征

引入文献[11]提到的逐点累计相位差,是两点之间经历的相位绝对值的总和.如图 1所示,把相位图平均划分为6x6的网格.对于网格上任意两个在同一行或者同一列的点,把两点的逐点累计相位差作为特征,例如Ph[E,G]和Ph[E,F].对于网格中任意一个矩形,把对边的逐点累计相位差的差值作为特征,矩形EFGH的特征值为Ph[E,G]-Ph[F,H]与Ph[E,F]-Ph[G,H].相位特征描述了细节点周围相位变化的信息,以及由于细节点的存在,对周围相位变化产生影响的信息.

Fig. 1 Original image, gabor amplitude and phase of true (upper) and false (lower) minutia图 1 真(上)伪细节点(下)局部图,Gabor振幅和相位图
1.2 复数滤波特征

复数滤波器能够衡量掌纹图像不同局部模式的质量,文献[12]中详述了原理.我们用到了形如z=(fx+ify)2的结构张量,其中,fx, fy是图像在xy方向的偏导数.结构张量可以转换为z=ei(nj+a)的形式.当n取不同值时,对应了不同的图像局部模式,并且可以用如下的复数滤波器检测到[12]:

(2)

其中,g(x,y)是二维高斯滤波器.把结构张量和复数滤波器做卷积并标准化之后,得到复数滤波响应[12]:

(3)

同一种局部模式,不同的复数滤波器得到不同的响应,并且当滤波器的阶数与结构张量的阶数对应时,响应达到最大值[12].我们在这里采用了-1阶、0阶以及1阶的复数滤波器,分别对应端点细节点,线性区域以及分叉点细节点.各阶滤波器的响应sn以及融合smix图 2所示,其中,

(4)

Fig. 2 Original image and complex filtering results (-1, 0, 1 classes and fushion) of ending minutia (upper) and bifurcation minutia (lower)图 2 端点细节点(上)和分叉点细节点(下)的原图,-1阶、0阶、1阶复数滤波器响应以及融合

我们把复数滤波器的各个响应图平均划分为6x6的网格(类似图 1).循环遍历网格的每一个矩形区域,把均值和方差作为特征.矩形ABCD的特征值记为snMean[A,D],snVar[A,D]和smixMean[A,D],smixVar[A,D].

1.3 傅里叶变换特征

文献[5]使用傅里叶变换计算图像的方向场和频率.把图像分割为若干个不重合的小区块,对每一区块做离散傅里叶变换,得到响应强度最大的6项,如图 3所示,并通过区域生长的方法选择出该小块合理的方向和频率.与选取的方向和频率一致的响应项的强度记为amain.

Fig. 3 Original image and fourier transform response sorted by amplitude of good quality block (upper) and poor quality block (lower)图 3 质量较好(上)和较差(下)区块的原图以及按傅里叶变换强度大小排序的响应图

傅里叶变换结果(强度a、频率w、方向q和相位j)包含了掌纹的方向和频率信息.由图 3可以看出:图像质量较好的区域,强度衰减比较迅速,而且频率和方向都比较一致;而图像质量较差的区域,强度衰减没那么明显,而且频率和方向都不大一致.

我们根据各项响应及其变化采用了如下特征,试图描述细节点附近的方向和频率信息:amain与总体响应的比值,记为反映了主要方向频率对区块整体的影响;前6项的强度和频率值,记为ai,wi(i=1,2,…,6);各项响应的方差,记为Var(a),Var(w),Var(q),Var(j),反映了这几个响应的分布和变化情况.

1.4 图像LBP特征

LBP是一种描述图像局部纹理特征的算子[13],细节点具有典型的纹理结构,所以可以用LBP来描述.

遍历全图扫描,对于每一个3x3的窗口,以其中心像素灰度值为阈值,将相邻的8个像素的灰度值与其进行比较,若其值大于阈值,则该像素点的位置被标记为1;否则,被标记为0.被标记的8个点可按顺序产生一个8bit的无符号数,即得到该窗口的LBP值.

每一种局部二值模式对应一个LBP值,分布在0~255之间,可以用统计的方法来描述细节点的局部模式.以细节点坐标为中心,截取一个正方形区域,分别统计整个区域以及上、下、左、右半个区域中每个LBP值出现的次数,把统计结果作为特征,分别记为LBP[i],LBPu[i],LBPd[i],LBPl[i],LBPr[i].

2 模型训练与特征筛选

我们在第1节所述的每个特征都是 一个弱分类器,形式如下:

(5)

其中,x为样本;f为特征;f(x)为样本的特征值;T为弱分类器的阈值,是使得分类错误率最低的样本特征值,与样本的权重有关;Sgn为符号项,作用是调整判别式的符号,使得正样本的判别式值为正.

AdaBoost算法可以将一系列弱分类器自适应地提升为强分类器.训练初始时,为每个训练样本引入一个权重,进入迭代过程.每层迭代为所有弱分类器计算错误率,并选择出一个弱分类器,使得在当前的权重分布下错误率最低.每层结束后,增大分类错误的样本权重,并降低分类正确的样本权重,使得下一层迭代更加重视分类错误的样本.训练结束后得到的强分类器为

(6)

其中,x为样本,kmax为最大迭代次数,ak为第k层迭代的加权系数,hk(×)为第k层迭代选出的弱分类器,Tfinal为判断是否为正样本的阈值.训练过程中,我们希望尽量多地保留正样本,同时尽量多地去掉负样本,所以采用了文献[14]提出的级联强分类器的方法.其思想是:每次训练之后,让正样本的检测率保持一个很高的值(比如0.99),而负样本的误判率不必太低(比如0.30),并且在训练结束后去掉判断正确的负样本,使得下一次训练更加关注误判的负样本.由于0.99100.9,而0.30106x10-6,经过多层级联,当负样本数量巨大的时候,可以极大地降低负样本误判率,同时,正样本检测率依然保持一个相当高的水准.

以下是训练得到的贡献较强,有代表性的几个弱分类器,如图 4所示.

1) AmpMean[(-3,2),(3,-2)]:上排左图矩形区域的Gabor振幅的均值.如第1.1节所述,真细节点附近的Gabor振幅普遍较大,而伪细节点附近的区域振幅相对较小;

2) AmpVar[(-3,3),(2,-3)]:上排中图矩形区域的Gabor振幅的方差.如第1.1节所述,真细节点附近的Gabor振幅都比较大(除了细节点中心),故方差较小;而伪细节点周围的振幅大小不一,故方差较大;

3) Ph[(-3,2),(2,2)]-Ph[(-3,-1),(2,-1)]:上排右图两条线段的Gabor逐点累计相位差的差值.两条线段分别位于细节中心点的上面和下面,如第1.1节所述,如果存在真细节点,这个差值为一个周期左右,否则差值较小;

4) w1:细节点所在区块的傅里叶响应最大项的频率值.由于细节点的存在(多了一条纹线),导致区块的频率增大,此特征能够区分有无细节点的情况;

5) S0Mean[(-3,-1),(2,-3)]:下排左图矩形区域的0阶复数滤波振幅的均值.如第1.2节所述,0阶复数滤波器主要检测纹线的线性特征,当纹线质量较好的时候振幅较大,否则较小;

6) LBPu[223]:细节点上半区域的LBP值223的统计结果.表明真细节点上半区域LBP值为223的局部二值模式较多;

7) Ph[(-2,-2),(2,-2)]:下排中图线段的Gabor逐点累计相位差.如第1.1节所述,对于真细节点的相位图,由于细节点的存在,下半部分的相位会多一个周期,故逐点累计相位差较大,而伪细节点则不一定;

8) smixVar[(-2,3),(3,1)]:下排右图矩形区域的复数滤波融合结果的方差.真细节点区域的复数滤波融合结果都相对较大,故方差较小;而质量较差区域的复数滤波融合结果大小不一,故方差较大;

9) Var(w):细节点所在区块的傅里叶响应频率的方差.如第1.3节所述,质量较好区块的各项响应频率稳定,故方差较小;而质量较差区块各项响应频率大小不一,故方差较大.

Fig. 4 Features selected by training process图 4 训练挑选出的特征示意图

可以看出,冗余特征对细节点有较强的描述能力,而且训练出了一些符合我们预期的分类器.

3 实验结果及分析

实验使用的数据库是自建高分辨率(2000x2000以上)掌纹数据库,容量为344.我们在数据库中随机抽取20幅掌纹图像作为训练集,其余344幅作为测试集.

3.1 训练结果及分析

本文方法的目的是从提取的细节点中筛选掉伪细节点,所以直接把提取的细节点分别作为正负样本,希望学习出真细节点有别于伪细节点的特征.把提取的细节点与人工标定的细节点数据进行比对,坐标偏差15个像素点以内且角度偏差30°以内的作为正样本,其余的作为负样本.截取的样本以细节点坐标为中心,大小为43x43个像素(包含了4~5个纹线周期),并且根据细节点的方向调整了方向,使得所有样本的细节点都朝着同一个方向.这样,一共产生了9 955个正样本和35 361个负样本.训练的时候,我们使用了3层级联的结构,每层训练的最大迭代次数为1 000,正样本检测率阈值为99.87%,负样本误判率阈值为25%,50%和80%.采取上述训练方式得到的结果见表 1.

训练结果表明:只有在第1层训练的时候是由于负样本误判率低于阈值而退出的,后两层都迭代到了最大次数.这是因为特征即使经过学习之后,描述能力也有局限性,而且正负样本的数量相差并不是特别大,所以并不能无限地降低负样本误判率;另一方面,人工数据无法完全标注出掌纹中的细节点,造成负样本中存在一定数量的真细节点,而我们的分类器更加关注很高的正样本检测率,而不是非常关注很低的负样本误判率,所以导致负样本误判率不会降到很低.

Table 1 Sample training result by AdaBoost 表 1 用AdaBoost对样本进行训练的结果
3.2 测试结果及对比

训练完成之后,我们把得到的模型运用到测试集中对细节点质量进行评价.首先,根据文献[10]的方法在掌纹图像中提取细节点,得到196 484个细节点;然后,以细节点坐标为中心截取一个正方形,并计算出所有的细节点描述特征作为弱分类器(与训练时产生样本的过程类似,参照第3.1节);再使用训练得到的级联分类器和阈值对细节点进行质量评价,如果通过所有分类器则判定为真细节点,否则判定为伪细节点并去除;最后,把提取得到的细节点与人工标定的数据进行比对,坐标和角度在一定阈值内的统计为提取的真细节点,否则统计为提取的伪细节点(与比对正负样本的过程类似,参照第3.1节).提取的真细节点与人工标定的所有细节点比值为召回率,反映了算法提取真细节点的能力;提取的真细节点与提取的所有细节点的比值为准确率,反映了算法提取的真细节点的纯度.

文献[15]提出了一种基于傅里叶变换的指纹图像质量评价的方法,这里,我们运用其思想进行了对比实验.用文献[5]的方法对图像块做离散傅里叶变换,产生强度最大的6项(用ai表示其强度),而amain是与细节点所在区块方向和频率一致的响应项强度.我们用主要方向频率响应占总体响应的比重来表达细节点的质量:

(7)

用傅里叶变换的值为细节点质量赋值之后,我们通过经验设定的阈值对细节点进行筛选,高于阈值的视为真细节点,否则视为伪细节点.最后,同样是借助人工标注的细节点与筛选后的细节点进行比对并统计结果.本文的方法与基于傅里叶变换的方法实验结果都见表 2.

Table 2 Minutiae quality estimation result by different algorithms 表 2 用不同的方法对细节点进行质量评价的结果

实验结果表明:未经筛选时,提取出的细节点保留完好,所以召回率是比较高的,然而由于大量伪细节点的存在,导致准确率极低;经过筛选之后,去掉了一些真细节点,导致召回率降低,同时去掉了大量伪细节点,所以准确率有所提高.根据表 2可以得知:在召回率和准确率的值接近相等的情况下,本文的方法在这两个参数上都优于基于傅里叶变换的方法,且召回率与准确率之和提高了12个百分点以上;从F1-Measure指标[16]来看,本文的方法比基于傅里叶变换的方法也有显著提高.

4 结束语

本文提出了一种基于学习的高分辨率掌纹细节点质量评价方法.我们通过图像质量(傅里叶变换、Gabor振幅、复数滤波)和纹线结构(Gabor相位、LBP)两个方面来描述细节点,使用了冗余的局部描述特征,并通过学习筛选出描述能力最强的特征.在下一步工作中,我们不再局限于上述指掌纹领域的特征,将加入SIFT和HOG等图像处理领域的经典特征,希望选择出更多有代表性的特征.此外,我们还将尝试把选择出的特征直接运用到细节点的提取过程中.

致谢 在此,我们向对本文提出宝贵建议的审稿专家表示衷心的感谢.

参考文献
[1] Lu G, Zhang D, Wang K. Palmprint recognition using eigenpalms features. Pattern Recognition Letters, 2003,24(9):1463-1467.
[2] Kong A, Zhang D, Kamel M. A survey of palmprint recognition. Pattern Recognition, 2009,42(7):1408-1418 .
[3] Chen F, Huang X, Zhou J. Hierarchical minutiae matching for fingerprint and palmprint identification. IEEE Trans. on Image Processing, 2013,22(12):4964-4971 .
[4] Liu E, Jain AK, Tian J. A coarse to fine minutiae-based latent palmprint matching. IEEE Trans. onPattern Analysis and Machine Intelligence, 2013,35:2307-2322 .
[5] Jain AK, Feng J. Latent palmprint matching. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2009,31(6):1032-1047 .
[6] Lim E, Jiang X, Yau W. Fingerprint quality and validity analysis. In: Mercer B, ed. Proc. of the 2002 IEEE 9th Int’l Conf. on Image Processing. Los Alamitos: IEEE Computer Society Press, 2002. I-469-I-472 .
[7] Shen L L, Kot A, Koo W M. Quality measures of fingerprint images. In: Bigun J, Smeraldi F, eds. Proc. of the Audio- and Video- Based Biometric Person Authentication. New York: Springer-Verlag, 2001.266-271 .
[8] Chen Y, Dass SC, Jain AK. Fingerprint quality indices for predicting authentication performance. In: Kanade T, Jain AK, Ratha NK, eds. Proc. of the Audio- and Video-Based Biometric Person Authentication. New York: Springer-Verlag, 2005.160-170 .
[9] Freund Y, Schapire RE. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 1997,55(1):119-139 .
[10] Gao X, Chen X, Cao J, Deng Z, Liu C, Feng J. A novel method of fingerprint minutiae extraction based on Gabor phase. In: Law B, ed. Proc. of the 2010 IEEE 17th Int’l Conf. on Image Processing. Los Alamitos: IEEE Computer Society Press, 2010.3077-3080 .
[11] Liu C, Cao J, Gao X, Fu X, Feng J. A novel fingerprint matching algorithm using minutiae phase difference feature. In: Dooms A, Piater JH, eds. Proc. of the 2011 IEEE 18th Int’l Conf. on Image Processing. Los Alamitos: IEEE Computer Society Press, 2011.3201-3204 .
[12] Johansson B. Low Level Operations and Learning in Computer Vision. Department of Electrical Engineering, Linköpings Universitet, 2004.
[13] Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions. Pattern Recognition, 1996,29(1):51-59 .
[14] Viola P, Jones MJ. Robust real-time face detection. Int’l Journal of Computer Vision, 2004,57(2):137-154 .
[15] Lim E, Toh KA, Suganthan PN, Jiang X, Yau WY. Fingerprint image quality analysis. In: Koh F, ed. Proc. of the 2004 IEEE 11th Int’l Conf. on Image Processing. Los Alamitos: IEEE Computer Society Press, 2004. 1241-1244.
[16] Van Rijsbergen CJ. Information Retrieval. 2nd ed., London: Butterworths, 1979.