隐写术及隐写分析是信息安全领域研究热点之一.隐写术的滥用造成许多安全隐患,如非法分子利用隐写进行隐蔽通信完成恐怖袭击.传统隐写分析方法的设计需要大量先验知识,而基于深度学习的隐写分析方法利用网络强大的表征学习能力自主提取图像异常特征,大大减少了人为参与,取得了较好的研究效果.为了促进基于深度学习的隐写分析方法研究,对目前隐写分析领域的主要方法和突破性工作进行了分析与总结.首先,比较了传统隐写分析方法与基于深度学习的隐写分析方法的差异;然后根据训练方式的不同,将基于深度学习的隐写分析模型分为两类——半学习隐写分析模型与全学习隐写分析模型,详细介绍了基于深度学习的各类隐写分析网络结构与检测效果;其次,分析和总结了对抗样本对深度学习安全带来的挑战,并阐述了基于隐写分析的对抗样本检测方法;最后,总结了现有基于深度学习的隐写分析模型存在的优缺点,并探讨了基于深度学习的隐写分析模型的发展趋势.
Steganography and steganalysis are one of the research hotspots in the field of information security. The abuse of steganography has caused many potential safety hazards. For example, illegal elements use steganography for covert communications to carry out terrorist attacks. The design of traditional steganalysis methods requires a large amount of prior knowledge, and the steganalysis methods based on deep learning use the powerful representation learning ability of the network to autonomously extract abnormal image features, which greatly reduces human participation and achieves good results. To promote the research of steganalysis technology based on deep learning, this study analyzes and summarizes the main methods and work in the field of steganalysis. Firstly, this study analyzes and compares the differences between traditional steganalysis and deep learning-based steganalysis. Furthermore, according to the different training methods, the steganalysis models based on deep learning are divided into two categories: semi-learning steganalysis model and full-learningsteganalysis model. The network structure and detection effect of various types of steganalysis based on deep learning are introduced in detail. In addition, the challenges that the adversarial samples pose to deep learning security are analyzed and summarized, the detection method of adversarial samples is expounded based on steganalysis. Finally, this study summarizes the pros and cons of existing steganalysis models based on deep learning and discusses its development trends.
多媒体技术的普及与应用, 一方面给社会带来了不少便利, 另一方面也带来了许多风险, 如信息泄露、恶意篡改、隐私窃取等.人们越来越注重多媒体传播过程中的信息安全和隐私保护问题.现有的通信安全保障主要分为加密和信息隐藏: 加密主要对秘密信息本身进行操作, 但经过特殊处理后的明文更加容易受到第三方的怀疑; 而信息隐藏则隐藏秘密数据的存在性, 使秘密数据在不引起第三方的怀疑下进行隐蔽通信[
隐写的一般过程
General process of steganography
随着信息隐藏技术的不断推广, 隐写术逐渐成为一把双刃剑, 在其为人们的通信安全提供保障的同时, 不法分子利用其获取个人利益或应用于恐怖袭击.2001年, 美国的主流媒体CNN就刊登过一则利用隐写术进行隐秘通信从而犯罪的新闻.在2007年哥伦比亚毒枭以及2011年全能神邪教等案件中都出现了隐写术的影子.由此可见, 非法和恶意使用隐写术已经造成了非常巨大的社会危害, 所以隐写分析研究油然而生.这对于打击恐怖分子的恐怖行动、维护社会安定和保障国家信息安全具有十分重要的意义.但是隐写分析本身非常依赖人工设计的滤波核, 并且对于图像本身的纹理属性与细节属性没有一个较好的统筹概念, 根据不同的图库可能会有不同的滤波核的设计.如何减少甚至避免人为设计成为了一个难题.
深度学习自2006年Hinton提出的受限玻尔兹曼机(restricted Boltzmann machine, 简称RBM)[
本文在深入隐写分析模型的基础上, 首先将现有的隐写分析模型按照其针对隐写操作类型分为专用型隐写分析模型与通用型隐写分析模型, 如
隐写分析模型分类
Steganalsis model classification
本文第1节介绍信息隐藏领域的相关知识, 并将基于深度学习的隐写分析按照预处理层的差异分为半学习隐写分析与全学习隐写分析.第2节、第3节对基于深度的半学习隐写分析与全学习隐写分析进行详细介绍并对比.第4节对于基于深度学习的隐写分析进行对比与总结.第5节介绍对抗样本和基于隐写分析的对抗样本检测.第6节对于基于深度学习的隐写分析网络进行总结与未来展望.
隐写术是在尽可能不破坏图像本身各种性质的情况下, 在多媒体载体中嵌入秘密信息的技术.隐写术最重要的特点是不可检测性, 其目的是使通信双方能够进行隐蔽通信, 而不被其他用户察觉通信痕迹.图像隐写是隐写术中的一个重要分支, 由于数字图像具有信息冗余度大的特性, 因此在其中隐藏秘密信息时难以被肉眼察觉, 是一个理想的秘密信息载体.LSB(least significant bit)[
LSB隐写过程
LSB steganography process
无论是LSB还是LSBM, 都是比较简单的隐写方法, 都是一种非自适应的隐写算法.非自适应隐写术的思想是: 对载体图像中像素内容修改地越少, 隐写算法抗隐写分析能力就越强.非自适应隐写术通常与纠错编码(隐写码)相结合来实现具体的嵌入过程, 常见的隐写码有矩阵编码[
自适应隐写过程
Adaptive steganography process
不仅在空域上存在隐写算法, 在频域即JPEG域上的隐写方法也很多, 其中较早且具有代表性的是Jsteg[
随着生成对抗网络的出现, 国内外研究学者们将信息隐藏和生成对抗网络相结合, 利用生成对抗网络对于复杂图像的学习能力, 学习不同像素之间的结构关系, 从而生成一些更适合隐写或者更符合隐写特点的载体图像.2016年, Volkhonskiy[
隐写方法的多样性与安全性, 推动了隐写分析的发展.隐写分析是检测隐写术的一种手段, 根据隐写分析的发展趋势, 我们可以将其分为3个不同的阶段.
● 第1个阶段: 判断载密图像(stego)中是否隐藏秘密信息, 即判断数字图像是载体图像(cover)还是载密图像.这是现在大多数隐写分析模型最重要的步骤, 也被称为盲隐写分析.
● 第2个阶段: 判断载密图像中秘密信息的容量和秘密信息隐藏的位置等(多为纹理复杂处或者图像边缘处).
● 第3个阶段: 从载密图像中提取秘密信息, 这个阶段需要具体了解隐写方法、隐写位置、隐写容量等各种信息[
3个阶段呈现出一种递进的关系, 只有前一层做了充足的准备, 才可以在最后提出载密图像中的秘密信息.
针对于早期的非自适应与纠错码结合的隐写算法, 隐写分析器可以通过简单的统计分析和直方图分布来有效检测图片.针对LSB和LSBM这两种空域隐写算法, 修改最低有效位会在一定程度上破坏相邻像素之间的关联性.根据这一特性, 存在相应的专用型隐写分析模型[
2000年, Westfeld等人[
随着隐写算法的逐渐增强以及各式各样隐写算法的不断涌现, 通用型隐写分析模型逐渐壮大, 特征的维数从低维开始慢慢发展到上万维.在空域上, 从686维的SPAM[
自适应隐写算法根据图片最小失真函数, 结合STC[
在传统隐写分析的发展过程中, 正是因为上述问题的存在, 再加上深度学习蓬勃发展, 所以国内外的学者将隐写分析和深度学习结合起来.这样既可以不用专业研究人员手工设计特征提取方式, 又可以利用深度学习端到端的学习过程, 使得特征提取和判别器可以同时训练.依赖深度学习可以模拟人脑学习复杂的结构信息, 从而提取出数字图像中的特征信息.
https://photogallery.sc.egov.usda.gov/)和BOSSbase-v1.01 (ttp://agents.fel.cvut.cz/stegodata/), 两款数据集都是512×512的一万张灰度图, 数据集中包含生活、景点、建筑等多种类型图片.BOSSbase1.01是Fridrich团队2011年所创建的用于隐写分析竞赛的专用数据集, 采用7种不同类型的数码相机拍摄得到的图像用于隐写和隐写分析, 可以防止单个数码相机拍摄出现相机指纹, 使判别器学习出现偏差.Pevny和Fridrich为了举办HUGO隐写分析竞赛, 专门构建了BOSSbase0.92(http://agents.fel.cvut.cz/boss/index.php?mode=VIEW\&tmpl=materials/)图像库, 包含10 000张未经任何压缩处理的512×512像素的图片.
BOSSbase图像数据拍摄来源
Source of BOSSbase image datasets
图片序号 | 相机型号 |
1-1354 | CanonEOS 400D |
1355-1415 | CanonEOS 40D |
1416-2769 | CanonEOS 7D |
2770-4811 | CanonEOSDIGITALREBELXsi |
4812-6209 | PENTAXK20D |
6210-7242 | NIKON D70 |
7243-10212 | M9 digital camera |
http://vision.doc.ntu.ac.uk/)是一种彩色图片数据集, 数据内的图片已经标好了预设的正确选框.由于图片的处理过程中没有采取任何压缩方式, 图像中的各种信息都得以有效的保存.UCID是一种通用型基准数据集, 并且还可以应用在测试图像压缩能力和色彩质量等方面.除此之外, 还有一种NRCS(NRCS photo gallery, https://photogallery.sc.egov.usda.gov/)的图像数据集.
各类数据库对比
Comparison of different datasets
数据集 | 数据量(张) | 位深度 | 图像类型 | 图片大小 | 格式 |
BOSSbase | 10 000 | 8 | 灰度图 | 512×512 | PGM |
BOWS2 | 10 000 | 8 | 灰度图 | 512×512 | PGM |
UCID | 1 338 | 24 | 彩图 | 512×384/384×512 | TIF |
NRCS | N/A | 24 | 彩图 | 1500×2100 | TIF/JPEG |
SIPI | N/A | 8/24 | 灰/彩图 | 256×256/512×512/1024×1024 | TIFF |
不同的数据集之间存在一定的相似性, 较为常用的数据集是BOSSbase[
BOSSbase数据集中部分图片
Part of pictures in BOSSbase datasets
通常, 比较隐写分析网络的检测效果, 采用误检率
其中,
公式(6)、公式(7)为在ALASKA隐写分析挑战赛[
在众多纷繁的深度学习模型中, 卷积神经网络由于其特有的网络属性, 可以精确地对数字图像进行操作, 是最具有代表性的一种深度学习网络.通过卷积计算的方式, 可以获取图像中细致的图像信息, 与传统特征提取异曲同工.不仅如此, 由于不同层的网络参数是可以训练的, 深度学习还可以通过大量的数据学习一种捕捉细致特征的手段.不同的网络层具有不同的效果, 例如传统的量化和截断, 在作用上可以用正则化层和激活函数来替代, 激活函数Sigmoid[
在本节中, 半学习是指在隐写分析网络利用固定滤波核作为独立的一个预处理层, 并且内部的权重参数不参与反向传播, 其他的网络层则是依赖深度学习方法去优化.在本节中, 按照网络的架构分为深度网络模型与宽度网络模型.
2015年, Qian等人[
GNCNN与传统隐写分析结构
Traditional steganalysis and GNCNN structure
该网络结构包括一个预处理层、5个卷积层和3个全连接层, 预处理层将卷积层中的卷积核替换成固定的高通滤波核, 获取数字图像的高维残差信息, 辅助网络进行学习.这样不仅仅加快了隐写分析网络的训练, 而且将不必要的图像内容信息移除, 减少了图像低维信息干扰.在实验过程中, 加入了固定的高通滤波核的GNCNN网络在训练速度和训练结果上都会优于使用在预处理层中随机初始化卷积核的网络.由于经过高通滤波器后得到的信息多为高频残差信息, 最大池化容易丢失高频残差图像信息, 导致网络难以拟合, 所以在GNCNN中, 使用平均池化操作来减少残差信息的丢失.Qian根据隐写噪声的特点提出了高斯激活函数, 替代卷积层中的ReLU激活函数.如下是GNCNN中所采用高斯激活函数.
其中,
对不同嵌入率下的空域自适应隐写算法, GNCNN的表现见
GNCNN与传统隐写分析在不同隐写算法下实验结果对比
Comparison of experimental results under different steganography algorithms oftraditional steganalysis and GNCNN
BPP | HUGO | WOWO | S-UNIWARD | ||||||
GNCNN | SRM | SPAM | GNCNN | SRM | SPAM | GNCNN | SRM | SPAM | |
BOSSbase | |||||||||
0.3 | 33.8% | 29.6% | 42.9% | 34.3% | 31.2% | 42.2% | 35.9% | 34.3% | 40.0% |
0.4 | 28.9% | 25.2% | 39.1% | 29.3% | 25.7% | 38.2% | 30.9% | 29.3% | 35.1% |
0.5 | 25.7% | 21.4% | 35.7% | 24.8% | 22.1% | 34.9% | 26.3% | 24.8% | 30.6% |
ImageNet database | |||||||||
0.4 | 33.6% | 32.5% | - | 34.1% | 34.7% | - | 34.7% | 34.4% | - |
从
2016年, Xu等人提出了Xu-Net[
公式(9)表示的滤波核是从SRM[
从
Xu-Net与SRM在S-UNIWARD与HILL下准确率对比
Comparison of detection accuracy of Xu-Net and SRM on S-UNIWARD and HILL
Algorithm | BPP (%) | |||
0.1bit/pixel | 0.4bit/pixel | |||
CNN | SRM | CNN | SRM | |
S-UNIWARD | 57.33 | 59.25 | 80.24 | 79.53 |
HILL | 58.44 | 56.44 | 79.24 | 75.24 |
Xu-Net网络根据经过预处理层的残差高频噪声信号具有关于0对称且与符号无关的特性, 在第1个卷积层采用添加ABS(absolute layer)层来收敛特征图的范围, 从原来无意义的正负区间缩小到正向区间.添加BN层(batch normalization layer)进行批处理, 使得训练数据符合正态分布.这样可以提升训练时的收敛速度, 也可以避免训练时出现梯度弥散或梯度爆炸现象, 导致训练结果陷入局部最小值.最后采用1×1的卷积核将特征信息集聚, 并且防止模型存在过拟合的情况.
2017年, Xu[
这是因为JPEG编码会将8×8的像素分块作为基础操作单元, 各个不同的JPEG块内与块间的系数都具有较强的关联性, 这种特性被称为相位特性.相位感知对JPEG图像对应位置的点进行统计与合并, 这样可以较好地描述块间相关性与相位特性的变化, 从而提升频域隐写分析模型的准确性.在文献[
从
相位分离模块
Phase split module
2018年, Yedroudj等人[
Yedroudj-Net与其他隐写模型的误检率对比
Comparison of detection error of Yedroudj-Net and other steganalysis models
隐写分析器 | WOW (%) | S-UNIWARD (%) | ||
0.2bit/pixel | 0.4bit/pixel | 0.2bit/pixel | 0.4bit/pixel | |
SRM+EC | 36.5 | 25.5 | 36.6 | 24.7 |
Yedroudj-Net | 27.8 | 14.1 | 36.7 | 22.8 |
Xu-Net | 32.4 | 20.7 | 39.1 | 27.2 |
Ye-Net | 33.1 | 23.2 | 40.0 | 31.2 |
Yedroudj-Net在Xu-Net与Ye-Net的基础上, 降低了7个百分点的误检率.这是因为该网络在Xu-Net模型基础上延用了SRM中的30个滤波核作为图像的预处理层和Ye-Net中的截断激活函数, 但网络最后的3层全连接层会使得网络的收敛速度变慢, 且易受到对抗样本的攻击.在Yedroudj-Net网络的基础上, Deng等人在2019年[
2017年, Zeng等人[
从
Zeng’s model与其他隐写分析模型的误检率对比
Comparison of detection error of Zeng's model and other steganalysis models
Model | bpnzac (%) | |||
0.1 | 0.2 | 0.3 | 0.4 | |
Xu-Net | 49.7 | 47.5 | 46.2 | 43.6 |
DCTR | 48.2 | 44.9 | 42.3 | 38.2 |
Zeng’s model | 48.2 | 43.7 | 40.2 | 35.5 |
PHARM | 47.5 | 43.8 | 39.1 | 33.2 |
2018年, Zeng[
2018年, Li等人[
如
ReST-Net及其子网络与Xu-Net准确率对比
Comparison of accuracy of Xu-Net and ReST-Net with subnets
CNN scheme | S-UNIWARD (BPP) (%) | ||||
0.1 | 0.2 | 0.3 | 0.4 | 0.5 | |
Xu-Net | 57.33 | 66.67 | 73.68 | 80.24 | 83.54 |
Subnet#1 | 66.42 | 69.58 | 76.13 | 84.62 | 85.87 |
Subnet#2 | 64.15 | 68.73 | 76.44 | 84.28 | 86.17 |
Subnet#3 | 60.24 | 66.37 | 74.75 | 84.28 | 86.17 |
ReST-Net | 65.67 | 71.35 | 78.78 | 85.44 | 87.93 |
在ReST-Net中, Li认为, 不同Subnet之间的组合也会对隐写分析的准确率产生不一样的影响.ReST-Net采取如下6种不同的模型组合方式.
1) 仅采用一个子网络共同使用Gabor、SRM线性和SRM非线性滤波核(将3个子网络融合成1个).
2) 与方式1)类似, 采用单子网络结构, 不同的是不采用Gabor滤波器.
3) 采用ReST-Net中Subnet#1与Subnet#2的组合.
4) 采用ReST-Net中Subnet#1与Subnet#3的组合.
5) 采用ReST-Net中Subnet#2与Subnet#3的组合.
6) 采用4个并行子网络, 将原本的Subnet#1拆分成两个子网络, 与Subnet#2和Subnet#3共同使用.
在
6类子网络组合的检测准确率(%)
Detection accuracies of six cases of subnets are used (%)
Case | Ⅰ | Ⅱ | Ⅲ | Ⅳ | Ⅴ | Ⅵ | Ⅹ |
0.1bit/pixel | 61.95 | 60.91 | 64.48 | 63.12 | 64.72 | 67.13 | 65.67 |
0.4bit/pixel | 82.76 | 81.85 | 84.93 | 84.49 | 84.07 | 85.73 | 85.44 |
上述的方法都是半学习隐写分析模型, 将SRM的滤波核或者固定的处理方式放入网络的预处理层中对图像进行处理, 固定其中滤波核内的权重参数, 充分融合SRM这类非深度学习隐写分析的特点, 再依赖深度学习强有力的拟合能力进行训练[
在空域上, 其他研究者根据深度学习的网络不断改进, 对于隐写分析的网络做出相应的改变.Qian[
在本节中将介绍全学习隐写分析模型, 全学习网络是指在训练过程中, 预处理层中的参数会随着网络反向传播一起更新.在本节中, 按照网络的架构分为深度网络模型与宽度网络模型.
2014年, Tan等人[
1) 随机初始化第1层卷积核.因为SRM有各种各样不同滤波核的存在, Tan认为, 通过这种随机初始化的卷积核会存在比人工设计的卷积核效果更好的可能.
2) 使用滤波核初始化第1层卷积核(滤波核乘以随意初始化的卷积核).
3) 使用滤波核作为初始化第1层卷积和以及使用栈式卷积自动编码器与训练每个卷积层.
在BOSSBase数据集下, 使用HUGO自适应隐写算法对上述3种模型进行负载为0.4bit/pixel的比较实验.评价一个隐写分析器是否有效, 需要在大量的数据集上测试得出最后的评价指标.
TanNet不同方案误检率对比
Comparison detection error of different proposals in TanNet
第1方案 | 第2方案 | 第3方案 | SPAM | SRM |
0.48 | 0.43 | 0.31 | 0.42 | 0.14 |
从
2017年, Ye等人[
不仅在计算残差时添加了各式各样的滤波核, 而且相较于之前Xu-Net中的网络使用了混合激活函数, 还提出了一种新型的截断(truncated linear unit, 简称TLU)激活函数, 用以模仿SRM中的截断操作.TLU函数具有更好地适应隐写噪声的分布、收敛速度快等特点, 这样使得经过卷积后的特征图具有更好的区分性.因为在Ye-Net网络中没有添加绝对值层, 所以需要采用截断TLU激活函数, 更好地方便函数收敛.这是因为隐写算法采用的三元STC编码嵌入, 得到的噪声残差图像会存在±1和0的三元取值图, 利用TLU函数可以让网络无论在+1还是-1的时候都可以有效地学习到数据进行梯度下降加速损失函数的收敛, 更好地找到一个全局最小值点:
公式(10)是TLU函数的具体公式,
在Ye-Net上TLU与ReLU激活函数的实验误检率结果对比
Comparison of experimental detection error ofTLU and ReLU activation functions on Ye-Net
隐写算法 | ReLU | TLU | ||
WOW | 0.213 6 | 0.198 2 | 0.196 6 | 0.217 0 |
S-UNIWARD | 0.293 7 | 0.254 0 | 0.262 4 | 0.299 0 |
HILL | 0.297 1 | 0.276 1 | 0.281 2 | 0.295 5 |
通过在3类传统隐写方法上的大量隐写检测实验对比可以看出: TLU激活函数与ReLU激活函数在
Ye-Net首次在隐写分析网络的训练过程中添加了通道选择感知, 并且通过大量实验也证明这种方法存在一定的优势, 可以帮助隐写分析网络更好地收敛和更好地实验检测效果.将选择通道与卷积神经网络相结合, 能够提升对自适应隐写算法的准确率, 在纹理复杂处和细节处检测效果更好.
此外, Ye-Net还验证了数据集对于深度神经网络的训练会产生巨大的影响, 大规模的实验样本可以提升网络训练的稳定性.在WOW[
在文献[
Ye-Net、SRM和MaxSRMd2在数据增强下的误检率对比
Detection error comparison of Ye-Net, SRM and MaxSRMd2 under data enhancement
隐写检测 | BOSSbase | BOSSbase+BOWS2 | BOSSbase+BOWS2+AUG |
注: BOSSbase与BOWS2数据量为10 000张, AUG为数据增强手段 | |||
SRM | 0.326 6 | 0.322 8 | N/A |
MaxSRMd2 | 0.242 4 | 0.232 5 | N/A |
TLU-CNN | 0.336 4 | 0.269 3 | 0.198 2 |
随着训练集数据量的增大, Ye-Net误检率也会逐渐变小.针对于基于深度学习的隐写检测, 可以利用例如旋转、翻转等数据增强的办法来增加训练集的数据量.但是根据横向对比可以看出, 数据增强对与传统的隐写分析的准确率没有明显影响.
从
Ye-Net等模型在不同隐写算法上的误检率对比
Comparison of Ye-Net and other models'detection error ondifferent steganographic algorithms
算法 | 嵌入率 | SRM | TLU-CNN | MaxSRMd2 |
WOW | 0.1 | 0.406 6 | 0.300 0 | 0.316 3 |
0.5 | 0.180 0 | 0.093 8 | 0.133 1 | |
S-UNIWARD | 0.1 | 0.423 2 | 0.335 0 | 0.380 6 |
0.5 | 0.184 8 | 0.100 3 | 0.173 2 | |
HILL | 0.1 | 0.453 0 | 0.356 0 | 0.389 4 |
0.5 | 0.236 3 | 0.156 1 | 0.211 5 |
2018年, Boroumand等人[
从
● BN代表Batch Normalization[
● 平均池化(average pooling, 简称AP)和全局平均池化(global average pooling, 简称GAP)操作不仅可以缩小计算图并减少运算量, 还可以防止采用最大值池化产生的残差信息丢失问题.
● GAP操作将得到的数据放入全连接层(fully conneted, 简称FC)帮助网络的训练.
SRNet的网络结构图
Network structure diagram of SRNet
SRNet通过设计多种不同的实验方案, 将SRNet针对空域隐写术和传统隐写分析比较, SRNet已经远远超过了maxSRM的结果.
在
SRNet与传统隐写分析模型maxSRM的误检率结果对比
Comparison of detection error results between SRNet andtraditional steganalysis model maxSRM
算法 | BPP | SRNet | maxSRM | ||
注: BOSSbase与BOWS2数据量为10 000张, AUG为数据增强手段 | |||||
S-UNIWARD | 0.2 | 0.022 2 | 0.003 2 | 0.124 4 | 0.033 6 |
0.4 | 0.000 6 | 0.000 2 | 0.020 0 | 0.003 4 | |
HILL | 0.2 | 0.048 8 | 0.010 0 | 0.160 8 | 0.043 6 |
0.4 | 0.004 2 | 0.001 0 | 0.048 2 | 0.011 8 |
SRNet在频域上的误检率结果
Detection error result of SRNet on frequency domain
嵌入算法 | 隐写分析网络 | ||||||||||
0.1 | 0.2 | 0.3 | 0.4 | 0.5 | 0.1 | 0.2 | 0.3 | 0.4 | 0.5 | ||
注: BOSSbase与BOWS2数据量为10 000张, AUG为数据增强手段 | |||||||||||
J-UNI | SRNet | 0.32 | 0.189 | 0.115 | 0.067 | 0.039 | 0.428 | 0.344 | 0.252 | 0.176 | 0.115 |
SCA-SRNet | 0.269 | 0.163 | 0.092 | 0.058 | 0.032 | 0.371 | 0.324 | 0.235 | 0.134 | 0.110 | |
UED-JC | SRNet | 0.131 | 0.057 | 0.029 | 0.019 | 0.009 | 0.304 | 0.203 | 0.126 | 0.088 | 0.050 |
SCA-SRNet | 0.125 | 0.052 | 0.027 | 0.015 | 0.008 | 0.277 | 0.167 | 0.107 | 0.033 | 0.039 |
再做不同隐写分析网络训练时间对照实验, 可以发现: 在SRNet训练网络中添加一层HPF作为高通滤波层, 也是具有很不错的效果, 可以加速其网络的收敛性.适当地添加几层高通滤波, 可以有效地加快网络的训练速度.SRNet主要依赖网络本身的学习能力, 将特征提取、特征增强、二分类训练这些难题都交给网络本身去训练.但是随之而来的问题也让人不得不重视, 那就是网络本身训练时间的问题.Jessica所提出的SRNet的训练轮数(eopchs)也将超过600轮, 这个轮数可以通过添加高通滤波核来加快收敛.但是随着高通滤波核个数的添加, 就又会导致一系列的问题, 就是网络学习到参数不够, 让网络变得不那么优秀.SRNet通过避免启发式的元素, 限制了网络本身的灵活性.
2019年, Zhu等人[
在预处理层的初始化上, Zhu-Net采用了与Ye-Net相似的方法, 利用SRM中手工设计的滤波核对预处理层进行初始化操作, 但仅保留其中最为有效的5个滤波核, 其他的滤波核都用3×3的卷积核代替, 并且这些权重也随着网络传播过程中而不断更新的.针对于权重问题, Zhu进行了对照实验, 得出结果: 在训练过程中, 随着Epoch轮数的增加, 可优化的预处理层在整体的二元交叉熵损失上数值更小, 并且这种数值上的差异会不断增加.
Zhu-Net不同预处理层处理方案的误检率结果
Detection error results of Zhu-Net different preprocessing layer processing schemes
隐写算法 | 固定预处理层 | 优化预处理层 |
S-UNIWARD(0.2) | 0.324 | 0.285 |
S-UNIWARD(0.4) | 0.169 | 0.153 |
WOW(0.2) | 0.243 | 0.233 |
WOW(0.4) | 0.130 | 0.118 |
从
不仅如此, Zhu-Net不同于其他基于深度学习的隐写分析模型的架构模式, 采取了与Inception[
从
Yedroudj-Net、SRNet和Zhu-Net误检率对比
Comparison of detection error between Yedroudj-Net, SRNet and Zhu-Net
算法 | 嵌入率 | Yedroudj-Net | SRNet | Zhu-Net |
WOW | 0.2 | 0.206 | 0.286 | 0.233 |
0.4 | 0.158 | 0.099 | 0.065 | |
S-UNIWARD | 0.2 | 0.305 | 0.228 | 0.176 |
0.4 | 0.171 | 0.123 | 0.081 | |
HILL | 0.2 | 0.338 | 0.329 | 0.262 |
0.4 | 0.208 | 0.183 | 0.152 |
1) 预处理层精细化, 利用3×3滤波核代替原有的5×5滤波核, 从而减少参数数量, 加速收敛速度.
2) 采用深度可分离网络, 对于预处理层中得到的信息再次精细化.
3) 利用空间金字塔池化代替全局平均池化, 使得进入全连接层网络的信息更具有代表性.
以上全学习模型是依赖深度学习本身的学习来完成的[
上述的方法都是全学习隐写分析模型, 不使用传统隐写分析中的滤波核作为预处理层, 并在网络训练过程中对预处理层中的权重进行更新, 利用深度学习的强有力的拟合能力进行训练[
全学习模型相对于传统隐写分析与半学习模型具有更高的检测精度, 但是所需要的训练时间更长, 也更容易出现过拟合的情况.在全学习模型的检测过程中, 我们发现训练好的网络具有数据集特异性, 如果测试集与训练集之间不是同一类型图片, 那么测试效果就会降低许多.所以在文献[
相对于依赖手工设计的传统隐写分析而言, 基于深度学习的隐写分析网络利用深度学习本身强大的学习能力, 从纷繁复杂的像素信息中选择最为重要的残差信息.这个网络优化的过程是通过损失函数和梯度反向传播来实现的, 相较于传统隐写分析不同的是: 无论是特征提取还是特征增强的过程, 都是建立在网络层结构来辅助实现的; 由于网络结构和初始化参数等问题, 基于深度学习的隐写分析器具有不确定性和可复现性较差的特点, 相同的环境下, 在不同时间段的训练可能产生不同的结果.
从
主流隐写分析模型发展图
Map of the development of mainstream steganalysis models
半学习隐写分析模型都将传统隐写分析中的滤波核作为深度学习网络的预处理层, 固定滤波核的参数.与深度学习的网络层参数不同, 卷积核权重不受反向传播所影响[
在
不同隐写网络的参数、拟合时间、测试时间对比
Comparison of parameters, fitting time and test time of different steganographic networks
模型 | 参数量(万) | 拟合时间(h) | 测试时间(s) |
TanNet | > 1000 | > 72 | - |
GNCNN | 6.3 | 3.02 | 20 |
Xu-Net | 1.4 | 3.2 | 17 |
Zeng's model | 811.1 | > 72 | 58 |
YeNet | 10.6 | 3.86 | 27 |
Xu-Net-JPEG | 252.9 | 11.2 | 35 |
VNet | 30.0 | 4.2 | 23 |
ReST-Net | 227 | 5.7 | 37 |
Yedroudj-Net | 44.5 | 4.8 | 25 |
SRNet | 477.6 | 17.38 | 41 |
Zhu-Net | 287.1 | 8.95 | 33 |
基于深度学习的隐写分析网络与其他的图像分类模型存在差异: (1) 隐写分析模型所观察的图像更加细致, 注重的并不是图像轮廓信息而是高频信息特征, 从而提取有效的毗连信息构建关系模型; (2) 隐写分析需要统计全局像素间的差异信息, 而不仅仅是考虑局部像素间的差异, 判别条件具有统筹性和全局性的特点.
深度学习的训练对于数据集的也具有一定要求, 其中, 文献[
在
不同基于深度学习隐写网络的对比
Comparison of different steganalysis network based on deep learning
预处理层 | 激活函数 | 模型特点 | 池化方式 | 初始方式 | 误检率(%) | |
TanNet | 40个滤波核 | Sigmoid | 线性 | Max pooling | Evenly distribution | 31 |
GNCNN | 1个滤波核 | Gaussian/Tanh | 线性 | Average pooling | Xavier | 25.2 |
Xu-Net | 1个滤波核 | TanH/ReLU | 线性 | Average pooling | Xavier | 24 |
Xu-Net-JPEG | 16个滤波核 | ReLU | 跳接 | Average pooling | Xavier | 23.6 |
VNet | 4个滤波核 | ReLU/Tanh | 线性 | Average pooling | Normal distribution | 16.9 |
Ye-Net | 30个滤波核 | TLU/ReLU | 线性 | Mean pooling | Xavier | 22 |
Zeng's model | 25个滤波核 | ReLU | 并行 | Average pooling | Xavier | 35.4 |
Yedroudj-Net | 30个滤波核 | TLU/ReLU | 线性 | Average pooling | Xavier | 20 |
ReST-Net | 44个滤波核 | Sigmoid/TANH/RELU | 并行 | Average pooling | Normal distribution | 16 |
SRNet | - | ReLU | 跳接 | Average pooling | Kaiming | 18 |
Zhu-Net | 30个滤波核 | ReLU | 并行+跳接 | SPP | Xavier | 15.3 |
在激活函数方面, GNCNN采用独有的高斯激活函数, Zhu-Net与Ye-Net采用截断激活函数, 其他隐写分析模型中激活函数大致相同.在文献[
以上方法大多都是空域的隐写分析方法, 也有不少针对于JPEG域的隐写分析模型.由于经过JPEG压缩过后会发生图像损失丢失一部分信息, 但相应的图像大小却会缩小很多, 因此在现如今的社交通信中, 大多会采用JPEG压缩来提升通信速度.因为频域上的隐写会将图片转化成8×8的小块(JPEG phase), 然后在系数中进行修改, 所以早期的JPEG图像隐写分析通常从JPEG的处理方式来着手, 利用DCT系数来计算残差和提取特征. 2016年, 张等人[
总而言之, 无论是空域还是频域的隐写分析, 都是为了抑制图像内容, 同时获取隐写噪声信息.那如何将基于深度学习的隐写分析本身的特点与传统隐写分析的特点结合起来, 两种技术不断交融、共同发展, 就成为一个问题.传统隐写分析模型可以通过设计新的滤波核提升其检测效果, 但是基于深度学习的隐写分析模型会因为深度网络训练而受到对抗样本的攻击, 导致检测准确率直线下降.在实验数据迁移测试中, 我们发现: 全学习隐写分析具备更强大的数据迁移能力与泛化能力, 不同域的隐写分析模型也具有一定的迁移能力.
随着深度学习的快速发展与进步, 深度学习也被应用在许多条件严格的环境下.然而, 深度学习对于通过一系列“精心”设计的输入样本, 它的结果就可能是脆弱的、错误的, 这种样本也被称为对抗样本.对抗样本对人类是很容易分辨的, 但却能在测试或部署阶段, 很容易地糊弄深度神经网络.当应用深度神经网络到对安全有严格要求的环境中时, 处理对抗样本造成的脆弱性变成已成了一个重要的任务.
对抗样本是深度学习中非常有趣的一个现象.攻击者希望添加一个不被人类察觉的扰动, 让训练好的深度学习网络将攻击过后的图片错误分类.这是因为判别网络的工作依赖卷积层获取的大量图像参数, 而深度学习模型的输入和输出大多是线性的, 微小的扰动经过网络层的强化, 就会使网络的判别产生偏差.
在
对抗样本的添加过程
Processing of adding adversarial examples
在公式(11)中,
给原有图像添加相应网络梯度噪声的生成对抗样本的方法被称为快速梯度法(fast gradient sign method, 简称FGSM)[
对抗样本及其变种的出现, 使深度学习的安全受到了极大的挑战.隐写术与隐写分析不可避免地受到影响, 对抗隐写应运而生.国内外学者认为: 对抗样本可以干扰隐写分析网络判别, 可以在秘密信息嵌入前[
目前, 对抗样本在隐写术中的应用较少, 未来将会出现不同的对抗样本与不同的隐写术相结合的方法, 可以利用SRM与SPAM这类传统隐写分析模型检测对抗样本.
2018年, Pascal[
深度学习与隐写分析的异同
Similarities and differences between deep learning and steganalysis
安全深度学习 | 隐写分析 | |
攻击方式 | 对抗样本 | 载密图像 |
攻击者 | 网络结构 | 隐写者 |
攻击算法 | 修改 | 嵌入 |
攻击标准 | 内部参数 | 自适应准则 |
原始分布 | 其他分类 | 载体图像 |
目标分布 | 目标分类 | 载密图像 |
攻击目的 | 混淆原图与目标图 | 混淆原图与目标图 |
目标图来源 | 外部获取 | 由攻击生成 |
Liu等人[
对抗样本的存在, 为深度学习的发展敲响了警钟.一味地追求网络层数的叠加, 会使得模型的拟合能力增强的同时, 也会操作决策边界的精细化, 对抗样本也就越有效.如何在保证网络精度不受到损失的情况, 如何提升网络本身的鲁棒性.
对抗样本由于网络的变化而具有多样性, 所以对抗样本的检测存在以下困难: (1) 对抗样本的修改更加细微, 需要更强大的残差计算方法放大像素间的差异; (2) 对抗样本的位置根据目标网络的模型参数确定, 因此修改位置变化很大.为解决上述的两个问题, 需要研究对抗样本的产生机理, 从而优化判别器的网络结构, 提高检测对抗样本的能力.
对抗样本可以视为一种带方向的隐写内容, 这使得载体图像在SRM与SPAM这类不依赖深度学习网络的隐写分析模型更容易被检测出来.因此, 可以利用基于深度学习的隐写分析模型与传统隐写分析建立多角度投票机制来检测对抗样本.
本文从基于深度学习的隐写分析模型这个方面对近期的图像隐写分析模型进行了总结与归纳.深度学习网络与隐写分析方法结合, 可以在训练过程中不仅自动学习图像的信噪比信息, 还可以在一定程度上完成结构信息的统计.因此, 将深度学习与信息隐藏领域相结合, 不仅增强了隐写分析方法的检测能力, 还提升了隐写分析方法鲁棒性.隐写分析模型判断依据是图片的信噪比信息, 基于深度学习的隐写分析模型极易出现过拟合现象, 对抗样本的出现, 使得基于深度学习隐写分析模型不得不防止网络出现的过拟合问题.随着基于深度学习的隐写分析模型快速发展, 神经网络强大的特征提取能力使隐写分析模型的判别能力不断增强, 但是基于深度学习的隐写分析模型存在着这样几个问题.
1) 拟合速度慢.例如, Zhu-Net需要至少8个小时的训练时间, 而SRNet需要至少22个小时的训练时间, 如果训练一个经过数据增强的训练集, 通常在GPU上训练1周以上才最后收敛.其中, 全学习隐写分析模型所需要的时间更长且不容易收敛, 极易受到局部最小值的干扰.
2) 迁移能力弱.由于隐写算法的不断进化、自适应隐写算法与基于深度学习的隐写算法的出现, 隐写分析网络不得不学习更加精细化的信噪比信息, 这也导致了模型跨数据集检测能力弱.不同的数据集之间采用相同的算法, 也会因为不同的相机指纹或是不同光照因素甚至拍摄角度等问题, 导致模型迁移能力较差检测效果弱的问题.
3) 预处理层依赖强.经过实验测试, 基于深度学习的半学习隐写分析模型十分依赖预处理层操作, 如果预处理操作不符合网络拟合条件或是不能提取有效的信噪比信息, 那网络模型会在不动点上停留很久.但现有的全学习模型除了SRNet外都采用传统的隐写分析高通滤波核作为预处理层的初始化方式, 所以现有基于深度学习的隐写分析模型并不是一个端到端的学习模式.
4) 参数要求苛刻.在实验过程中我们发现: 不同的损失函数与不同的学习率, 甚至BN层中的超参数对于网络的训练都有着巨大的影响, 有些参数不仅在最后的检测精度上产生改变, 甚至直接影响网络的收敛时间甚至是否收敛.
在文献[
基于深度学习的隐写分析研究方兴未艾, 但是仍然存在一些问题有待改进.在未来的研究过程中, 可以针对这几个方面对基于深度学习的隐写分析进行研究.
1) 实现完全端到端的学习模式.基于深度学习的隐写分析技术并不是端对端的学习模式, 这是因为隐写分析模型具有一定的特殊性, 所以各类的模型训练还需要一定的人工干预措施.可以在全学习隐写分析模型的基础上, 依赖深度学习本身强大的计算能力, 支持实现端到端的学习模式.
2) 提升网络拟合速度.基于深度学习的隐写分析模型都是依赖深度学习网络本身大量的参数来帮助获取特征, 所以研究有效的处理方式和更具有方向性的图像处理方法, 可以帮助网络拟合.但是基于深度学习的隐写分析网络由于有大量的网络参数, 在训练网络的过程中存在不确定性, 并且非常依赖网络参数的训练, 网络本身训练的轮数也相对比较久.所以, 如何对网络架构进行蒸馏, 提升网络拟合速度, 也成了亟待解决的问题.
3) 小规模数据学习.由于深度学习的训练效果和训练数据集规模息息相关, 一个优秀的训练网络都建立在大量的数据集上.但增加训练集数量又会导致网络拟合时间呈几何倍数增张, 所以如何在小规模数据集训练的基础上避免过拟合现象的出现, 就成为了一个问题.该问题可以通过以下几种方法解决: (1) 实现零样本或少样本学习; (2) 使用不同数据集之间跨领域自适应的迁移学习模型; (3) 收集更多的图片数据集, 完成数据集的有效扩充.
4) 多模型融合.目前, GAN网络仅在隐写方面有较多的应用.可以利用GAN网络独有的创造性, 将其应用于隐写分析检测模型中.在检测载密图像之前, 生成辅助检测的隐写位置图, 利用注意力机制帮助隐写分析检测载密图像, 加速隐写分析网络的收敛.
Xiang SJ, Luo XR. Reversible data hiding in encrypted image based on homomorphic public key cryptosystem. Ruan Jian Xue Bao/Journal of Software, 2016, 27(6): 1592-1601(in Chinese with English abstract). http://www.jos.org.cn/1000-9825/5007.htm[doi:10.13328/j.cnki.jos.005007]
项世军, 罗欣荣. 同态公钥加密系统的图像可逆信息隐藏算法. 软件学报, 2016, 27(6): 1592-1601. http://www.jos.org.cn/1000-9825/5007.htm[doi:10.13328/j.cnki.jos.005007]
Simmons GJ. The prisoners' problem and the subliminal channel. In: Proc. of the Advances in Cryptology. Boston: Springer-Verlag, 1984. 51-67.
Reeds J. Solved: The ciphers in book Ⅲ of Trithemius's Steganographia. Cryptologia, 1998, 22(4): 291-317.
Li YF, Ding LP, Wu JZ, Cui Q, Liu XH, Guan B, Wang YJ. Survey on key issues in networks covert channel. Ruan Jian Xue Bao/Journal of Software, 2019, 30(8): 2470-2490(in Chinese with English abstract). http://www.jos.org.cn/1000-9825/5859.htm[doi:10.13328/j.cnki.jos.005859]
李彦峰, 丁丽萍, 吴敬征, 崔强, 刘雪花, 关贝, 王永吉. 网络隐蔽信道关键技术研究综述. 软件学报, 2019, 30(8): 2470-2490. http://www.jos.org.cn/1000-9825/5859.htm[doi:10.13328/j.cnki.jos.005859]
Sutskever I, Hinton GE, Taylor GW. The recurrent temporal restricted Boltzmann machine. In: Proc. of the Advances in Neural Information Processing Systems. 2009. 1601-1608.
Sahiner B, Chan HP, Petrick N, Wei D, Mark A, Dorit D, Mitchell M. Classification of mass and normal breast tissue: A convolution neural network classifier with spatial domain and texture images. IEEE Trans. on Medical Imaging, 1996, 15(5): 598-610.
Chen Y, Zhao X, Jia X. Spectral-spatial classification of hyperspectral data based on deep belief network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.
Masci J, Meier U, Cireşan D, Schmidhuber J. Stacked convolutional auto-encoders for hierarchical feature extraction. In: Proc. of the Int'l Conf. on Artificial Neural Networks. Berlin, Heidelberg: Springer-Verlag, 2011. 52-59.
Mikolov T, Karafiát M, Burget L, Kombrink S. Recurrent neural network based language model. In: Proc. of the 11th Annual Conf. of the Int'l Speech Communication Association. 2011. 2877-2080.
Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. In: Proc. of the Int'l Conf. on Medical Image Computing and Computer-assisted Intervention. Cham: Springer-Verlag, 2015. 234-241.
He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2016. 770-778.
Iandola F, Moskewicz M, Karayev S, Girshick R, Darrell T, Keutzer K. DenseNet: Implementing efficient ConvNet descriptor pyramids. arXiv preprint arXiv: 1404.1869, 2014.
Zhai LM, Jia J, Ren WX,
翟黎明, 嘉炬, 任魏翔, 等. 深度学习在图像隐写术与隐写分析领域中的研究进展. 信息安全学报, 2018, 3(6): 2-12.
Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde D, Ozair S, Courville A, Bengio Y. Generative adversarial nets. In: Proc. of the Advances in Neural Information Processing Systems. 2014. 2672-2680.
Aumann R, Brandenburger A. Epistemic conditions for Nash equilibrium. Econometrica: Journal of the Econometric Society, 1995, 63(5): 1161-1180.
Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv: 1411.1784, 2014.
Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv: 1511.06434, 2015.
Arjovsky M, Chintala S, Bottou L. Wasserstein GAN. arXiv preprint arXiv: 1701.07875, 2017.
Chan CK, Cheng LM. Hiding data in images by simple LSB substitution. Pattern Recognition, 2004, 37(3): 469-474.
Mielikainen J. LSB matching revisited. IEEE Signal Processing Letters, 2006, 13(5): 285-287.
Filler T, Judas J, Fridrich J. Minimizing additive distortion in steganography using syndrome-trellis codes. IEEE Trans. on Information Forensics and Security, 2011, 6(3): 920-935.
Westfeld A. F5-A steganographic algorithm. In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 2001. 289-302.
Fridrich J, Goljan M, Lisonek P, Soukal D. Writing on wet paper. IEEE Trans. on Signal Processing, 2005, 53(10): 3923-3935.
Sachnev V, Kim HJ, Zhang R. Less detectable JPEG steganography method based on heuristic optimization and BCH syndrome coding. In: Proc. of the 11th ACM Workshop on Multimedia and Security. 2009. 131-140.
Pevný T, Filler T, Bas P. Using high-dimensional image models to perform highly undetectable steganography. In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 2010. 161-177.
Holub V, Fridrich J. Designing steganographic distortion using directional filters. In: Proc. of the 2012 IEEE Int'l Workshop on Information Forensics and Security (WIFS). IEEE, 2012. 234-239.
Holub V, Fridrich J. Digital image steganography using universal distortion. In: Proc. of the 1st ACM Workshop on Information Hiding and Multimedia Security. 2013. 59-68.
Li B, Tan S, Wang M, Huang J. Investigation on cost assignment in spatial image steganography. IEEE Trans. on Information Forensics and Security, 2014, 9(8): 1264-1277.
Zhang T, Ping X. A fast and effective steganalytic technique against JSteg-like algorithms. In: Proc. of the 2003 ACM Symp. on Applied Computing. 2003. 307-311.
Holub V, Fridrich J, Denemark T. Universal distortion function for steganography in an arbitrary domain. EURASIP Journal on Information Security, 2014, 2014: Article No. 1.
Guo L, Ni J, Shi YQ. Uniform embedding for efficient JPEG steganography. IEEE Trans. on Information Forensics and Security, 2014, 9(5): 814-825.
Guo L, Ni J, Su W, Tang C, Shi Y. Using statistical image model for JPEG steganography: Uniform embedding revisited. IEEE Trans. on Information Forensics and Security, 2015, 10(12): 2669-2680.
https://openreview.net/forum?id=H1hoFU9xe¬eId=H1hoFU9xe]]>
Tang W, Tan S, Li B,
Yang J, Ruan D, Huang J,
Wang SZ, Zhang XP, Zhang WM. Recent advances in image-based steganalysis research. Chinese Journal of Computers, 2009, 32(7): 1247-1263(in Chinese with English abstract).
王朔中, 张新鹏, 张卫明. 以数字图像为载体的隐写分析研究进展. 计算机学报, 2009, 32(7): 1247-1263.
Ker AD. Steganalysis of LSB matching in grayscale images. IEEE Signal Processing Letters, 2005, 12(6): 441-444.
Chandramouli R, Memon N. Analysis of LSB based image steganography techniques. In: Proc. of the 2001 Int'l Conf. on Image Processing. IEEE, 2001. 1019-1022.
Westfeld A, Pfitzmann A. Attacks on steganographic systems. In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 1999. 61-76.
Liu Q, Sung AH, Chen Z, Xu J. Feature mining and pattern classification for steganalysis of LSB matching steganography in grayscale images. Pattern Recognition, 2008, 41(1): 56-66.
Tan S. Steganalysis of LSB matching revisited for consecutive pixels using B-spline functions. In: Proc. of the Int'l Workshop on Digital Watermarking. Berlin, Heidelberg: Springer-Verlag, 2011. 16-29.
Böhme R. Weighted stego-image steganalysis for JPEG covers. In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 2008. 178-194.
Xia Z, Wang X, Sun X, Liu Q, Xiong N. Steganalysis of LSB matching using differences between nonadjacent pixels. Multimedia Tools and Applications, 2016, 75(4): 1947-1962.
Gul G, Kurugollu F. A new methodology in steganalysis: Breaking highly undetectable steganograpy (HUGO). In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 2011. 71-84.
Luo X, Song X, Li X, Zhang W, Lu J, Yang C, Liu F. Steganalysis of HUGO steganography based on parameter recognition of syndrome-trellis-codes. Multimedia Tools and Applications, 2016, 75(21): 13557-13583.
Tang W, Li H, Luo W, Huang J. Adaptive steganalysis against WOW embedding algorithm. In: Proc. of the 2nd ACM Workshop on Information Hiding and Multimedia Security. 2014. 91-96.
Jindal N, Liu B. Review spam detection. In: Proc. of the 16th Int'l Conf. on World Wide Web. 2007. 1189-1190.
Fridrich J, Kodovsky J. Rich models for steganalysis of digital images. IEEE Trans. on Information Forensics and Security, 2012, 7(3): 868-882.
Holub V, Fridrich J. Low-complexity features for JPEG steganalysis using undecimated DCT. IEEE Trans. on Information Forensics and Security, 2014, 10(2): 219-228.
Holub V, Fridrich J. Phase-aware projection model for steganalysis of JPEG images. In: Proc. of the Int'l Society for Optics and Photonics, Media Watermarking, Security, and Forensics, Vol.9409. 2015.
Goljan M, Fridrich J, Cogranne R. Rich model for steganalysis of color images. In: Proc. of the 2014 IEEE Int'l Workshop on Information Forensics and Security (WIFS). IEEE, 2014. 185-190.
Zhang XP, Qian ZX, Li S. Prospect of digital steganography research. Journal of Applied Sciences, 2016, 34(5): 476-484. (in Chinese with English abstract).
张新鹏, 钱振兴, 李晟. 信息隐藏研究进展. 应用科学学报, 2016, 34(5): 476-484.
Suykens JAK, Vandewalle J. Least squares support vector machine classifiers. Neural Processing Letters, 1999, 9(3): 293-300.
Shen HB, Chou KC. Ensemble classifier for protein fold pattern recognition. Bioinformatics, 2006, 22(14): 1717-1722.
Liu C, Wechsler H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition. IEEE Trans. on Image Processing, 2002, 11(4): 467-476.
Xia C, Guan Q, Zhao X, Xu Z, Ma Y. Improving GFR steganalysis features by using Gabor symmetry and weighted histograms. In: Proc. of the 5th ACM Workshop on Information Hiding and Multimedia Security. 2017. 55-66.
Bas P, Filler T, PevnýT. "Break our steganographic system": The ins and outs of organizing BOSS. In: Proc. of the Int'l Workshop on Information Hiding. Berlin, Heidelberg: Springer-Verlag, 2011. 59-70.
http://bows2.eclille.fr/]]>
Yousfi Y, Butora J, Fridrich J, Giboulot Q. Breaking ALASKA: Color separation for steganalysis in JPEG domain. In: Proc. of the ACM Workshop on Information Hiding and Multimedia Security. 2019. 138-149.
Yin X, Goudriaan JAN, Lantinga EA, Vos J, Spiertz HJ. A flexible sigmoid function of determinate growth. Annals of Botany, 2003, 91(3): 361-371.
Fan E. Extended tanh-function method and its applications to nonlinear equations. Physics Letters A, 2000, 277(4-5): 212-218.
Xu B, Wang N, Chen T, Li M. Empirical evaluation of rectified activations in convolutional network. arXiv preprint arXiv: 1505. 00853, 2015.
Qian Y, Dong J, Wang W, Tan T. Deep learning for steganalysis via convolutional neural networks. In: Proc. of the Int'l Society for Optics and Photonics, Media Watermarking, Security, and Forensics, Vol.9409. 2015.
Deng J, Dong W, Socher R, Li L, Li K, Li F. Imagenet: A large-scale hierarchical image database. In: Proc. of the 2009 IEEE Conf. on Computer Vision and Pattern Recognition. IEEE, 2009. 248-255.
Xu G, Wu HZ, Shi YQ. Structural design of convolutional neural networks for steganalysis. IEEE Signal Processing Letters, 2016, 23(5): 708-712.
Wallace GK. The JPEG still picture compression standard. IEEE Trans. on Consumer Electronics, 1992, 38(1): 30-44.
Boroumand M, Chen M, Fridrich J. Deep residual network for steganalysis of digital images. IEEE Trans. on Information Forensics and Security, 2018, 14(5): 1181-1193.
Chen M, Sedighi V, Boroumand M, Fridrich J. JPEG-phase-aware convolutional neural network for steganalysis of JPEG images. In: Proc. of the 5th ACM Workshop on Information Hiding and Multimedia Security. 2017. 75-84.
Yedroudj M, Comby F, Chaumont M. Yedroudj-net: An efficient CNN for spatial steganalysis. In: Proc. of the 2018 IEEE Int'l Conf. on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018. 2092-2096.
Iandola FN, Han S, Moskewicz MW, Ashraf K, Dally WJ, Keuter K. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size. arXiv preprint arXiv: 1602.07360, 2016.
Ye J, Ni J, Yi Y. Deep learning hierarchical representations for image steganalysis. IEEE Trans. on Information Forensics and Security, 2017, 12(11): 2545-2557.
Deng X, Chen B, Luo W, Luo D. Fast and effective global covariance pooling network for image steganalysis. In: Proc. of the ACM Workshop on Information Hiding and Multimedia Security. 2019. 230-234.
Li P, Xie J, Wang Q, Gao Z. Towards faster training of global covariance pooling networks by iterative matrix square root normalization. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2018. 947-955.
Zeng J, Tan S, Li B, Huang J. Pre-training via fitting deep neural network to rich-model features extraction procedure and its effect on deep learning for steganalysis. Electronic Imaging, 2017, 2017(7): 44-49.
Zeng J, Tan S, Li B, Huang J. Large-scale JPEG image steganalysis using hybrid deep-learning framework. IEEE Trans. on Information Forensics and Security, 2017, 13(5): 1200-1214.
Li B, Wei W, Ferreira A, Tan S. ReST-net: Diverse activation modules and parallel subnets-based CNN for spatial image steganalysis. IEEE Signal Processing Letters, 2018, 25(5): 650-654.
Szegedy C, Ioffe S, Vanhoucke V, Alemi A. Inception-v4, inception-resnet and the impact of residual connections on learning. In: Proc. of the 31st AAAI Conf. on Artificial Intelligence. 2017. 4278-4284.
Denemark T, Sedighi V, Holub V, Cogranne R, Fridrich J. Selection-channel-aware rich model for steganalysis of digital images. In: Proc. of the 2014 IEEE Int'l Workshop on Information Forensics and Security (WIFS). IEEE, 2014. 48-53.
Qian Y, Dong J, Wang W, Tan T. Learning and transferring representations for image steganalysis using convolutional neural network. In: Proc. of the 2016 IEEE Int'l Conf. on Image Processing (ICIP). IEEE, 2016. 2752-2756.
Qian Y, Dong J, Wang W, Tan T. Learning representations for steganalysis from regularized cnn model with auxiliary tasks. In: Proc. of the 2015 Int'l Conf. on Communications, Signal Processing, and Systems. Berlin, Heidelberg: Springer-Verlag, 2016. 629-637.
Tan S, Li B. Stacked convolutional auto-encoders for steganalysis of digital images. In: Proc. of the 2014 Asia-Pacific Signal and Information Processing Association Annual Summit and Conf. (APSIPA). IEEE, 2014. 1-4.
Pearlmutter B. Gradient descent: Second order momentum and saturating error. In: Proc. of the Advances in Neural Information Processing Systems. 1992. 887-894.
Zeiler MD. Adadelta: An adaptive learning rate method. arXiv preprint arXiv: 1212.5701, 2012.
Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv: 1502.03167, 2015.
Zhang R, Zhu F, Liu J, Liu G. Depth-wise separable convolutions and multi-level pooling for an efficient spatial CNN-based steganalysis. IEEE Trans. on Information Forensics and Security, 2019, 15: 1138-1150.
He K, Zhang X, Ren S, Sun J. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.
Baluja S. Hiding images in plain sight: Deep steganography. In: Advances in Neural Information Processing Systems. 2017. 2069-2079.
Chollet F. Xception: Deep learning with depthwise separable convolutions. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. 1251-1258.
Kurakin A, Goodfellow I, Bengio S. Adversarial examples in the physical world. arXiv preprint arXiv: 1607.02533, 2016.
Wei LX, Gao PX, Liu J, Liu MM. Image steganalysis based on convolution neural network. Application Research of Computers, 2019, 36(1): 235-238(in Chinese with English abstract).
魏立线, 高培贤, 刘佳, 刘明明. 基于卷积神经网络的图像隐写分析方法. 计算机应用研究, 2019, 36(1): 235-238.
Xu G. Deep convolutional neural network to detect J-UNIWARD. In: Proc. of the 5th ACM Workshop on Information Hiding and Multimedia Security. 2017. 67-73.
Sedighi V, Fridrich J. Histogram layer, moving convolutional neural networks towards feature-based steganalysis. Electronic Imaging, 2017, 2017(7): 50-55.
Pibre L, Pasquet J, Ienco D, Chaumont M. Deep learning is a good steganalysis tool when embedding key is reused for different images, even if there is a cover sourcemismatch. Electronic Imaging, 2016, 2016(8): 1-11.
Chaumont M. Deep learning in steganography and steganalysis from 2015 to 2018. arXiv preprint arXiv: 1904.01444, 2019.
Zheng GH, Feng GR, Yu J, Cheng H, Zhang XP. JPEG steganalysis based on LSBD etection and enhanced features. Journal of Applied Sciences, 2016, 34(6): 670-676(in Chinese with English abstract).
郑国华, 冯国瑞, 余江, 程航, 张新鹏. 基于LSB检测的JPEG隐写分析特征增强方法. 应用科学学报, 2016, 34(6): 670-676.
Xu G, Wu HZ, Shi YQ. Ensemble of CNNs for steganalysis: An empirical study. In: Proc. of the 4th ACM Workshop on Information Hiding and Multimedia Security. 2016. 103-107.
Zeng J, Tan S, Liu G, Li B, Huang J. WISERNet: Wider separate-then-reunion network for steganalysis of color images. IEEE Trans. on Information Forensics and Security, 2019, 14(10): 2735-2748.
Yang J, Shi YQ, Wong EK, Kang XG. JPEG steganalysis based on densenet. arXiv preprint arXiv: 1711.09335, 2017.
Goodfellow IJ, Shlens J, Szegedy C. Explaining and harnessing adversarial examples. arXiv preprint arXiv: 1412.6572, 2014.
Carlini N, Wagner D. Towards evaluating the robustness of neural networks. In: Proc. of the 2017 IEEE Symp. on Security and Privacy (SP). IEEE, 2017. 39-57.
Su J, Vargas DV, Sakurai K. One pixel attack for fooling deep neural networks. IEEE Trans. on Evolutionary Computation, 2019, 23(5): 828-841.
Zhang Y, Zhang W, Chen K, Liu J, Liu Y, Yu N. Adversarial examples against deep neural network based steganalysis. In: Proc. of the 6th ACM Workshop on Information Hiding and Multimedia Security. 2018. 67-72.
Ma S, Zhao X, Liu Y. Adaptive spatial steganography based on adversarial examples. Multimedia Tools and Applications, 2019, 78(22): 32503-32522.
Tang W, Li B, Tan S, Barni M, Huang J. CNN-based adversarial embedding for image steganography. IEEE Trans. on Information Forensics and Security, 2019, 14(8): 2074-2087.
Bernard S, Pevný T, Bas P, Klein J. Exploiting adversarial embeddings for better steganography. In: Proc. of the ACM Workshop on Information Hiding and Multimedia Security. 2019. 216-221.
Kouider S, Chaumont M, Puech W. Adaptive steganography by oracle (ASO). In: Proc. of the 2013 IEEE Int'l Conf. on Multimedia and Expo (ICME). IEEE, 2013. 1-6.
Schöttle P, Schlögl A, Pasquini C, Bohme R. Detecting adversarial examples-A lesson from multimedia security. In: Proc. of the 2018 26th European Signal Processing Conf. (EUSIPCO). IEEE, 2018. 947-951.
Liu J, Zhang W, Zhang Y, Hou D. Detection based defense against adversarial examples from the steganalysis point of view. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2019. 4825-4834.
Hussain I, Zeng J, Tan S. A survey on deep convolutional neural networks for image steganography and steganalysis. KSⅡ Trans. on Internet and Information Systems, 2020, 14(3): 1228-1248.
Wang YJ, Niu K, Yang XY. Information hiding scheme based on generative adversarial network. Journal of Computer Application, 2018, 38(10): 2923-2928(in Chinese with English abstract).
王耀杰, 钮可, 杨晓元. 基于生成对抗网络的信息隐藏方案. 计算机应用, 2018, 38(10): 2923-2928.
Cogranne R, Giboulot Q, Bas P. The alaskasteganalysis challenge: A first step towards steganalysis. In: Proc. of the ACM Workshop on Information Hiding and Multimedia Security. 2019. 125-137.