极光是由太阳风、行星际磁场与地球磁层的相互作用形成的美丽的光辉,是日地空间能量耦合以及各种磁层动力学过程中最直观的电离层踪迹.日侧极光反映太阳风-磁层-电离层耦合在日侧的各种动力学过程,通过对日侧极光进行长期观测及对其形态、强度、运动等特征变化进行深入研究,对空间天气过程的变换规律研究具有重要意义.

已有研究者采用多种手段进行联合观测^{[1, 2]},引用多种数据如雷达、卫星数据研究极光的物理变化过程,探讨相应的物理规律.其中,利用地面设备拍摄得到的极光图像正是研究极光的一种有力手段.通过极光图像分析极光的不同形态变化规律具有重要的科学研究价值,引起了众多学者的广泛关注^{[3, 4]}.自2003年11月底,我国在北极黄河站安装了3台先进的极光全天空成像仪(all-sky camera),同时对极光的3个典型波段(427.8nm,557.7nm与630.0nm)进行连续观测,每年获得的全天空图像(all-sky image,简称ASI)数以百万计,如何充分利用这样的大数据,给研究人员带来了新的考验.

随着数据的与日俱增,极光的分类研究也从早期的人工肉眼观察手工标记发展到如今的计算机定量分析.自从2004年Syrjäsuo等人^[5]首次将计算机视觉的方法引入静态极光图像的分类,目前已有许多研究人员利用计算机技术实现了静态极光图像的自动处理^[6-12],并在静态极光分类上取得了一定进展.但是对于形态变化多样、运动规律异常复杂的极光动态过程,仅考虑极光的静态特征显然不够,极光的动态过程包含更丰富的信息,对其展开分析对研究极光发生机制及相应的磁层动力学过程具有重要意义.然而,现有的极光运动自动处理研究^{[13, 14]}仍处于起步阶段,研究侧重点各有不同.弧状极光形态明显,研究弧状极光的发生与持续时间等规律对尾瓣重联、磁鞘等离子体注入到低纬边界层引发的发电机效应、低纬边界层边缘的KH不稳定性等动力学过程具有重要意义^[4],因此,本文主要关注弧状极光序列事件.

在大数据背景下,如何降低算法复杂度,提高算法效率,是当前亟待解决的问题.而部分ASI图像由于云、雾等天气影响导致图像的对比度不高,在一定程度上影响最终的处理结果.VLBP(volume local binary pattern)^[15]作为局部二值模式LBP(local binary pattern)^[16]在视频序列分析上的拓展,具备计算简单、对单调的灰度变化具备鲁棒性的特点.本文在VLBP的基础上,针对弧状极光运动特性,提出了基于空时极向LBP的极光序列事件检测方法,降低特征维数,提高分类效率,保持对单调的灰度变化的鲁棒性,即使在有一定云雾干扰的情况下也可以保持良好的检测效果,可以快速、准确地从海量极光序列中检测出地磁南北向运动的弧状极光序列,为后续的物理机制研究提供帮助.

VLBP^[15]是局部二值模式LBP^[16]在视频序列分析上的拓展.对于一个灰度序列中第t帧的某像素点P_c,定义U为P_c周围的N个像素点组成的邻域,U={P_i},i=1,2,…,N.令V为该灰度序列中第t-L帧、第t帧和第t+L帧中相应的像素点P_c与其邻域U的联合分布:

(1)

其中,代表序列中第t帧的像素点P_c的灰度值,与分别对应P_c在间隔前L帧和后L帧的像素点的灰度值,和分别对应邻域U在间隔前L帧和后L帧的像素点的灰度值.

考虑V中各像素点的灰度值与的大小关系,令:

(2)

假设公式(2)与的值无关,则:

(3)

实际上,公式(3)只是公式(2)的近似.使用公式(3)损失了少量信息,但可以保证图像灰度的不变性.

考虑到与图像局部特征无关,且并没有为动态特征分析提供足够的信息,故原始的联合分布公式(1)

可以转换为

(4)

提取像素点间差值的符号:

(5)

其中,.

简化V₂,令V₂=v(v₀,…,v_q,…,v_3N+1),对每一个符号赋予一个二项式系数2^q,从而把公式(5)转化为了一个VLBP值:

(6)

其中,L代表间隔的帧数,N为邻域内的像素点个数,R为邻域内的像素点与目标像素点P_c的距离.统计序列中所有像素点的VLBP值作直方图,将此直方图作为序列的VLBP特征表示.

VLBP可以有效描述视频序列的动态特征,但是随着其采样点数的增加,特征向量维数呈指数级增长.如当上述的L=1,N=4,R=1时,VLBP_1,4,1的特征维数为2¹⁴=16384.过高的维数占用了大量内存,增加了分类时间.而本文要检测的弧状极光序列在ASI图像序列上呈现地磁南北向的运动趋势,基于此,本文提出了结合序列帧间连续性信息和单帧中空间位置信息的空时极向LBP,降低了序列的特征维数,可以更加有效地检测ASI图像中地磁南北向运动的弧状极光事件.

由于在黄河站安装全天空摄像仪的时候受到安装环境的限制,并没有把ASI图像的正上方对准地磁北极,因此,黄河站拍摄到的ASI图像中的南北方向(即ASI图像中的垂直方向)与实际的地磁南北方向并不一致,如图 1所示,存在约27.37°的偏差.通过将ASI图像进行62.63°的逆时针旋转预处理,使得旋转后的ASI图像正上方表示地磁北极,因此,地磁南北向运动的弧状极光事件检测就转换成了在ASI图像序列中检测ASI图像南北向运动的弧状极光序列.

图 1

Fig. 1

Fig. 1 Magnetic north and south poles in ASI图 1 ASI图像中地磁南北极

由于仅考虑地磁南北向的运动检测,ASI图像序列中地磁南北方向的图像信息则显得尤为重要.本文首先提出了表征弧状极光地磁南北向运动动态特征的PVLBP方法.图 2给出了PVLBP的计算步骤.

图 2

Fig. 2

Fig. 2 Procedure of PVLBP图 2 PVLBP的计算步骤

Step 1. 对ASI图像序列进行62.63°逆时针旋转预处理;

Step 2. 对预处理后序列中第t帧的某像素点c,仅考虑其地磁南北向运动(对应于旋转后ASI图像的垂直方向)的邻域像素点,忽略其他方向;

Step 3. 利用公式(5)计算V₂,即得到阈值化后的二进制编码PVLBP_t,c,2;

Step 4. 对每一个符号赋予二项式系数2^q,并求和:

(7)

从而把二进制代码PVLBP_t,c,2转化为了十进制数值PVLBP_t,c,10;

Step 5. 统计序列中所有像素点的PVLBP_t,c,10作统计直方图PVLBP_hist,将此作为序列的PVLBP特征表示.

最终得到的PVLBP特征维数为2⁸=256.

PVLBP能够有效降低特征维数,提高分类效率,但忽略了单帧图像中的空间位置信息.因此,在PVLBP的基础上,本文提出结合序列帧间连续性信息和单帧空间位置信息的空时极向结构,提取极光序列的空时极向LBP表征(spatial-temporal poleward volume local binary pattern,简称ST-PVLBP),在保持较高分类效率的同时,提高分类精度.

假设ST-PVLBP的空时极向结构有M层,我们从时域和空域将极光序列分成三维的块,第mÎ[1,M]层将序列分为1x2^m-1个三维块,分别提取每个三维块的PVLBP特征,将各时空尺度三维块的PVLBP特征连接得到最终的极光序列ST-PVLBP表征:

Step 1. 从时域和空域将序列分成三维的块,第mÎ[1,M]层有2^m-1块,第m层第i块记为

Step 2. 分别提取每一块的PVLBP_hist,得到每一块的PVLBP特征

Step 3. 将各时空尺度的块的连接得到最终的空时极向LBP(ST-PVLBP)表征.

最终得到ST-PVLBP的特征维数为

(8)

ST-PVLBP的3层空时结构如图 3所示.

图 3

Fig. 3

Fig. 3 Three level spatial-temporal structure图 3 ST-PVLBP的3层空时结构

极光数据来自位于北极斯瓦尔巴特群岛新奥尔松地区的黄河站(地理坐标为78.92°N,11.93°E,修正地磁纬度为76.24°)的全天空成像系统.由于极光现象并不是每天发生,且不考虑那些因下雪等天气因素造成的无效观测数据,我们从中筛选出了33天的极光数据作为样本.采用2003年12月~2004年1月、2004年12月~2005年1月以及2005年12月期间所观测到的G波段(557.7nm)图像,图像总数约50万张.每幅极光图像为512x512的灰度图像,时间采样间隔为10s.首先对这些数据进行人工标记,得到82个弧状极光序列和142个非弧状极光序列,序列长度根据弧状极光序列事件的持续时间在12帧~50帧之间不等,大部分集中在22帧~35帧.图 4给出了一些典型的弧状极光.

图 4

Fig. 4

Fig. 4 Typical arc aurora图 4 典型弧状极光

实验所用计算机配置为:Intel(R) Core(TM) i3 CPU,3.45GB内存.实验所运行的软件环境为32位Windows7操作系统下安装的MatlabR2011b.

本文使用SVM分类器进行分类判定,调用LibSVM程序包,对不同的样本数均采用10折交叉验证选择最佳参数,所有分类实验均为弧/非弧序列二分类实验.由于ASI图像采样间隔(10s)较长,实验选取间隔帧数L=1.

首先,将ST-PVLBP与简单分块的PVLBP(仅有单层空时极向结构,简称BPVLBP)进行对比,验证空时极向结构的有效性.实验分别随机选取数据库中的30,50,80,100,120个样本作为训练样本,剩余的作为测试样本,进行200次实验取平均结果,所得到的平均分类准确率见表 1.其中,

· BPVLBP₂与BPVLBP₄分别代表在原序列中直接分2块和4块,对应仅有如图 3所示的3层空时极向结构中的第2层和第3层的特征表示;

· ST-PVLBP_1,2代表两层空时极向结构:第1层为原序列,第2层分2块;

· ST-PVLBP_1,4代表两层空时极向结构:第1层为原序列,第2层分4块;

· ST-PVLBP_1,2,4代表 3层空时极向结构:第1层为原序列,第2层分2块,第3层分4块.

表 1(Table 1)

Table 1 Average classification accuracy (%) of BPVLBP and ST-PVLBP 表1 BPVLBP与ST-PVLBP平均分类准确率(%)对比 训练数 BPVLBP2 BPVLBP4 ST-PVLBP1,2 ST-PVLBP1,4 ST-PVLBP1,2,4 30 83.55 83.79 84.19 84.80 85.63 50 86.58 87.43 86.64 87.47 87.62 80 87.79 89.01 88.41 89.10 89.67 100 88.53 89.89 88.90 89.89 90.39 120 88.81 90.63 89.77 90.73 91.25

Table 1 Average classification accuracy (%) of BPVLBP and ST-PVLBP 表 1 BPVLBP与ST-PVLBP平均分类准确率(%)对比

从表 1可以看出:特征ST-PVLBP_1,2和特征ST-PVLBP_1,4在不同训练样本数下的平均分类准确率均优于特征BPVLBP₂和特征BPVLBP₄的平均分类准确率,而特征ST-PVLBP_1,2,4在不同训练样本数下的平均分类准确率均优于其他四个特征的平均分类准确率.虽然ST-PVLBP_1,2较BPVLBP₂、ST-PVLBP_1,4较BPVLBP₄的提高不到0.6个百分点,但ST-PVLBP_1,2,4较BPVLBP₂却有显著提升(近2个百分点).表 1的实验结果验证了空时极向结构的有效性,ST-PVLBP结合序列的帧间连续性信息和单帧中的空间位置信息,有效改进PVLBP的分类效果.

另外,本文考虑空时极向结构的层数对实验结果的影响,实验结果见表 2.从表 2我们看到:在增加空时极向结构层数,如考虑ST-PVLBP_1,2,4,8时,平均分类准确率并无明显提升,甚至略有下降.对比特征ST-PVLBP_1,4和特征ST-PVLBP_1,8的分类结果可以看出,过细的分块反而影响分类准确率.通过研究极光图像序列我们发现,并不是在所有的分块中都会发生弧状极光的地磁南北向运动.在3层的空时极向结构上继续增加层数不仅不会提高分类精度,反而急剧增加了特征维数.综合分类精度和分类效率的考虑,本文选择3层空时极向结构,即ST-PVLBP_1,2,4作为最终的特征.

表 2(Table 2)

Table 2 Average classification accuracy (%) of different level of ST-PVLBP 表2 不同层数的ST-PVLBP的平均分类准确率(%) 训练数 ST-PVLBP1,4 ST-PVLBP1,8 ST-PVLBP1,2,4 ST-PVLBP1,2,4,8 30 84.80 84.80 85.63 85.44 50 87.47 87.20 87.62 87.41 80 89.10 88.77 89.67 88.82 100 89.89 89.14 90.39 89.53 120 90.73 90.13 91.25 90.40

Table 2 Average classification accuracy (%) of different level of ST-PVLBP 表 2 不同层数的ST-PVLBP的平均分类准确率(%)

图 5给出了VLBP,ST-PVLBP和PVLBP的平均分类准确率对比结果,其中,VLBP采用VLBP_1,4,1,ST-PVLBP采用ST-PVLBP_1,2,4.分类步骤与之前相同,均分别随机选取数据库中的30,50,80,100,120个样本作为训练样本,剩余的作为测试样本,进行200次实验取平均结果.

图 5

Fig. 5

Fig. 5 Average classification accuracy of three different representations图 5 3种表征的平均分类准确率对比图

从图 5可以看出,VLBP与ST-PVLBP的分类精度基本一致,而此时VLBP的特征维数为16 384,ST-PVLBP的特征维数为1 792.结合表 2内容,ST-PVLBP不仅能够保持VLBP的高分类精度,而且大量减少了特征维数,提高了分类效率,可以有效地检测ASI极光序列中的弧状极光事件(见表 3).

表 3(Table 3)

Table 3 Classification time of three different representations 表3 3种不同表征分类时间对比 表征 归一化分类时间 VLBP 1.000 PVLBP 0.011 ST-PVLBP 0.072

Table 3 Classification time of three different representations 表 3 3种不同表征分类时间对比

根据数据库中弧状极光运动的特点,本文首先将极光序列逆时针旋转了62.63°,将图像的南北方向对应实际的地磁南北方向;随后,利用空时极向LBP(ST-PVLBP)方法对ASI极光序列进行特征表示,并输入SVM进行分类.实验结果表明:本文提出的空时极向LBP符合地磁南北向运动的弧状极光动态特性,不仅具有较高的分类准确率,而且算法复杂度低、分类效率高.

极光序列的自动分析目前还在研究的初步阶段.各种极光事件的起始、持续时间都与其物理机制紧密相关,下一步的工作需要在相同的研究目的及物理机制的条件下验证对比其他算法.