田青(1984-), 男, 博士, 副教授, CCF高级会员, 主要研究领域为机器学习, 模式识别
储奕(1997-), 男, 硕士生, 主要研究领域为机器学习, 模式识别
孙赫阳(1995-), 男, 硕士生, 主要研究领域为机器学习, 模式识别
吴一昕(1999-), 男, 硕士生, 主要研究领域为机器学习, 模式识别
陈松灿(1962-) 男, 博士, 教授, CCF高级会员, 主要研究领域为机器学习, 模式识别
域适应通过将源域知识迁移到任务相似的目标域, 旨在辅助后者更好地学习. 当目标域的数据标签集为源域标签的子集时, 该类场景的域适应称为部分或偏域适应(partial domain adaption, PDA). 相比一般的域适应, 尽管PDA更具普遍性, 但也更具挑战性, 相关研究较少, 尤其缺少系统的综述. 为此, 旨在弥补这一欠缺, 对现有PDA方法进行全面回顾、分析和总结, 为相关社区提供主题研究概貌和参考. 首先针对PDA背景、概念和应用领域进行概况总结. 其次, 根据方法的建模特点, PDA被划分为促进正迁移和抑制负迁移两大类, 进而分别作出回顾和分析. 然后, 对常用的实验基准数据集进行归类和总结. 最后, 对现有PDA工作存在的问题进行了分析, 并提出了其未来可能的发展方向.
By transferring the knowledge of the source domain to the target domain with similar tasks, domain adaptation aims to assist the latter to learn better. When the data label set of the target domain is a subset of the source domain labels, the domain adaptation of this type of scenario is called partial domain adaptation (PDA). Compared with general domain adaptation, although PDA is more general, it is more challenging with few related studies, especially with the lack of systematic reviews. To fill this gap, this study conducts a comprehensive review, analysis and summary of existing PDA methods, and provides an overview and reference of subject research for the relevant community. Firstly, an overview of the PDA background, concepts, and application fields is summarized. Secondly, according to the modeling characteristics, existing PDA methods are divided into two categories: promoting positive transfer and alleviating negative transfer, and this study reviews and analyzes them respectively. Then, the commonly used experimental benchmark datasets are categorized and summarized. Finally, the problems in existing PDA studies are analyzed to point out possible future development directions.
在传统机器学习中, 通常假设训练数据与测试数据具有完全相同的分布. 但在现实应用中, 这两者之间通常存在着边缘分布[
域适应通过对已有知识的迁移和建模利用, 减少了对规模性标注数据的依赖和要求, 并在很多领域取得了较好的应用, 如计算机视觉[
从大数据层面上对域适应问题进行研究, 可以假设大规模数据集的多样性足以覆盖小规模数据集的所有类别, 其正符合部分域适应问题场景的设定. 随着大数据的普及, 部分域适应问题将受到更广泛的关注和研究, 即在现实应用中目标域标记空间往往为源域标记空间的子集, 而这种特殊的域适应称为部分域适应(partial domain adaptation, PDA)[
部分域适应问题数据分布情况
具体而言, 在部分域适应问题中, 给定一个已标记的源域
部分域适应作为一种特殊的域适应问题, 除了需要抑制负迁移之外, 如何促进域适应过程中的正迁移也是解决部分域适应问题的关键. 此外, 部分域适应问题同样存在目标域拥有不同监督信息的情形, 然而, 据调查所知, 现有方法通常面向无监督下的部分域适应问题展开研究, 而半监督场景下的部分域适应问题鲜有相关研究. 基于此, 本文依据将现有无监督部分域适应方法划分为促进正迁移和抑制负迁移两大类, 再根据不同的方法以及其应用的对象, 对促进正迁移和抑制负迁移于源域和目标域进一步细分, 并对相关代表工作进行回顾和分析. 基于上述分析角度, 本文将现有部分域适应工作总结并划分为如
不同部分域适应方法划分
本文第2节介绍和回顾现有基于正迁移建模的部分域适应方法, 并进行相关的分析. 第3节对负迁移避免建模的部分域适应方法进行回顾和总结. 第4节介绍域适应领域研究相关的基准数据集. 第5节总结当前部分域适应研究的现状, 提出现有工作存在的不足以及未来部分域适应可能的发展方向. 第6节对全文工作进行总结.
在域适应问题中, 能否有效地消除源域和目标域之间的分布差异是解决问题的关键, 而此类从正面促进域适应效果的方式称为促进模型正迁移. 为了促进正迁移, 现已有大量的研究从不同层面出发提出了各不相同的方式, 而部分域适应同样作为域适应问题也受到了大家的广泛研究. 因此本文将已有方法根据其不同层面将其分为以下两类, 其主要包括按照样本分布的不同, 通过度量的方式缩小源域和目标域之间的差异, 从而消除两者间的分布差异, 以及通过特殊网络结构从特征层面, 通过对样本特征更有效地提取来有效地促进正迁移, 从而能更好地解决部分域适应问题.
按照域分布对齐的方式不同, 现有的域适应方法大致可分为边缘分布域适应[
其中,
条件分布域适应是用源域和目标域的条件分布概率来衡量两个域之间的差异, 如公式(2)所示:
其中,
联合分布域适应同时考虑源域和目标域的边缘分布概率和条件分布概率, 以此来衡量两个域之间的差异, 如公式(3)所示:
这3种方法均属于度量在机器学习中的建模手段, 同时也是解决域适应问题的常见策略, 其通过度量的方式来衡量两个域之间的差异. 具体而言, 最大均值差异(maximum mean discrepancy,
其中,
鉴于
Jing等人[
Li等人[
上述方法主要集中致力于源域和目标域间的边缘分布差异, 但为了进一步提升迁移效果促进正迁移, Kheirandishfard等人[
近年来, 自注意机制在广泛的任务中得到了显著的进展, 例如对象识别[
Zhang等人[
自注意力框架在部分域适应问题上的应用[
除了注意力机制外, 图结构[
图卷积结构应用示意图
Kim等人[
图卷积网络(graph convolutional network, GCN)[
除了上述两种特殊结构, 加权策略作为部分域适应中最为常见的方法, 其性质与强化学习中的奖励机制类似, 因为强化学习也被应用于部分域适应问题, 并取得了较好的表现. 现有工作大多直接将强化学习网络直接应用到部分域适应中, 通过奖励机制对相关类给予较大奖励权重, 以此来促进正迁移[
除了从源域层面来促进模型正迁移, 同样也有部分工作针对如何利用目标域信息来更好地实现域适应. 对于无监督域适应问题, 由于目标域样本无监督, 现有研究往往利用源域预训练的分类器, 对目标域样本进行分类, 使其获得相应的伪标签, 而又因存在低置信的伪标签, 通常无法有效地在目标域上利用其条件分布来促进模型的正迁移, 因此如何有效利用目标域样本的不同置信度的伪标签是解决部分域适应问题的关键. 本文根据针对目标域样本监督信息的不同利用方式, 将现有部分域适应研究分为以下两类, 并对其展开回顾以及相应的分析.
除了从源域层面来促进正迁移, 同样也有部分工作针对如何利用目标域来更好地实现域适应展开研究. 对目标域样本加权大多是在对源域样本加权的基础上, 通过计算目标域样本的置信度来对其进行加权, 旨在利用类级别的权重在部分域适应场景下, 提高对齐的效果及增加相关类的重要性, 由此来促进正迁移以提高模型的表现.
Li等人[
总体而言, 该工作所用方法相对于对源域加权策略更加全面, 能够合理地通过对目标域样本的加权来提高促进正迁移, 特别是在对于处于分类边界的目标域样本的分类任务上有显著的作用. 但是同样通过对这篇文章的回顾, 在部分域适应中, 仅对目标域或者源域进行加权是不够全面的, 两者同时采取不同的加权策略可以显著地降低在迁移时的分类误差.
同样是通过目标域样本伪标签的利用来促进域适应的正迁移, Ren等人[
该方法主要通过对分类边界的调整提高目标域样本的分类精度, 以提高目标域样本伪标签的置信度来从目标域层面出发促进了模型的正迁移.
与域适应中的正迁移相反, 负迁移在部分域适应过程中是指源域冗余知识对整体模型的迁移效果所造成的负面影响. 在部分域适应场景中如何解决源域中所包含的不相关类所造成的负迁移是部分域适应问题的核心研究内容, 因此抑制负迁移作为解决部分域适应的常见方法, 被广泛研究并有许多相关的工作被提出. 本文根据抑制负迁移方法的应用, 根据其应用于源域和目标域的不同方式, 本文从这两个层面对基于抑制负迁移的部分域适应工作进行分类和回顾分析.
在部分域适应中, 如何处理源域中的无关类样本造成的负迁移是解决部分域适应问题的关键, 本文针对现有方法对源域样本的不同处理方式, 将现有通过抑制源域所产生负迁移的部分域适应研究分为以下两类, 并对其进行了回顾及分析.
部分域适应问题相较于一般域适应问题, 最大的差异在于源域标记空间与目标域标记空间之间的关系, 而源域中冗余的不相关类所对应的样本如果不进行处理, 在域适应的过程中通过模型的不断训练, 会将不相关类的知识应用到目标域样本的分类中, 从而导致分类精度的下降, 对模型造成较大的负面影响. 在此场景下, 其中最直接且有效的方法是利用不同策略对源域样本进行筛选, 将不相关和相关类的样本区分开, 再利用相关类样本进行模型的训练, 将部分域适应尽可能地转换为闭集域适应, 从而使得模型在部分域适应场景下达到较好表现, 其主要思路如
部分域适应中源域样本筛选的主要思路
Jing等人[
Choudhuri等人[
Sahoo等人[
除了上述筛选出不相关源域样本后, 仅用相关样本进行训练的方式外, 还有一种特殊的方式, 该类方法通过筛选源域样本或者利用自监督方式将源域样本[
如前文所述, 对源域样本的筛选固然可以解决部分域适应中标记空间不匹配的问题, 但仅考虑到不相关类对域适应效果的负迁移是不全面的. 在对源域样本进行筛选的过程中, 由于对样本分类的不确定性, 可能会将相关样本错误划分为不相关样本, 从而在域适应的过程忽略该样本所蕴含的源域信息, 使得域适应效果有所降低. 因此, 为解决这种问题, 在基于源域样本筛选思想的基础上, 对源域样本进行加权的相关方法得到了广泛的研究. 此类针对源域样本加权的方法是目前部分域适应问题领域最为常见的方法且得到了广泛的应用. 相较于对源域样本筛选, 此类方法能够更加有效地保持源域信息, 实现更好的部分域适应效果.
Cao等人[
Cao等人[
SAN模型架构图
所提SAN网络通过设置数量等同于源域类数目的域判别器
在前文所提工作的基础上, Cao等人[
受到Cao等人[
作为解决部分域适应问题的主流方法, 针对利用源域样本加权策略来消除不相关类样本所产生的负迁移的相关工作已被大量的提出, 同时该方式也作为公认且最有效的方法被广泛引用到不同的部分域适应问题研究中.
针对应用到目标域上的抑制负迁移方法主要集中于对目标域样本的加权, 其大多是在对源域样本加权的基础上, 通过计算目标域样本的置信度来对其进行加权, 旨在利用类级别的权重来提高对齐的效果以提高模型的表现. 以此来减少源域无关类样本在进行条件分布对齐时所造成的错误配对, 所导致的负迁移.
Matsuura等人[
由于目标域样本在部分域适应场景下, 其所产生的负迁移相较于源域不相关类样本所造成的负迁移对模型的迁移效果影响较小, 因此在此方式下的相关工作相对较少, 但部分域适应作为特殊的域适应场景, 抑制目标域样本所产生的负迁移同样不可缺少. 在考虑到源域不相关类样本的情况下, 其应作为进一步提升部分域适应效果的关键性策略被深入研究.
本文对部分域适应研究领域常用的实验数据集进行归纳和整理, 其主要包括6种在部分域适应问题中被广泛使用的数据集, 分别为Office-31[
Office-31是一个视觉域适应数据集, 它包括来自3个不同领域的31类样本, 包含3个不同场景的数据集, Amazon (A)、Webcam (W)和Dslr (D). Amazon由在线电子商务图片组成, Dslr包含高分辨率的图片以及Webcam包含由网络相机拍摄的低分辨率照片. 共有4 652幅图像, 分别包含来自3个域的2 817、498和795幅图像. 在模型评价中, 正常测试6种源域和目标域的组合, 分别为A→D, A→W, D→A, D→W, W→A以及W→D.
这个数据集包含4个域, 其中3个域(A、D、W)来自Office-31, 另一个域(C)来自Caltech-256, 该数据集包含256类对象识别的30 607张图像. 选择Office-31和Caltech-256中共有的10个类形成该数据集, 因此其分别收集了A、D、W、C这4个域中的958、157、295和1 123幅图像, 组成的总共2 533幅图像. 在模型评价中, 正常测试12种源域和目标域的组合, 分别为A→D, A→C, A→W, C→A, C→D, C→W, D→A, D→C, D→W, W→A, W→C以及W→D.
MNIST和USPS是两个数据集, 包含10种不同分布下的数字图像进行手写数字识别. MNIST包括6万张训练图片和1万张测试图片. USPS包括7 291张训练图片和2 007张测试图片. 对于域适应任务, 分别从MNIST和USPS中随机选择2 000张图片和1 800张图片. 为了提取特征, 将每幅图像的大小调整为16×16, 最终提取一个编码像素值的256维特征向量. 在评估中, 解决了两个域适应任务, 即MNIST→USPS和USPS→MNIST.
SVHN是一个真实世界的图像数据集, 用于开发机器学习和目标识别算法, 对数据预处理和格式要求较低. 在风格上与MNIST相似, 但SVHN数据集包含了一个数量级的标记数据(超过60万数字图像), 并且SVHN数据集是来自现实世界的数据集(在自然场景图像中识别数字和数字).
OfficeHome是一个相对较新的数据集, 其包含65个类别的15 585张图像, 来自4个不同的域, 其中包括(1) Art (Ar): 以素描、绘画、装饰等形式对物体的艺术描述. (2) Clipart (Cl): 剪接图像的收集. (3) Product (Pr): 没有背景的对象的图像, 类似于Office数据集中的Amazon类别. (4) Real-Word (Rw): 用常规照相机捕捉到的物体的图像. 具体来说其分别包含2 421、4 379、4 428和4 357张图像. 因此共有12个域适应任务, 其中包括Ar→Cl, Ar→Pr, Ar→Rw, Cl→Ar, Cl→Pr, Cl→Rw, Pr→Ar, Pr→Cl, Pr→Rw, Rw→Ar, Rw→Cl和Rw→Pr.
ImageCLEF数据集包括12个类别的1 800张图像, 它们来自3个域: 600张图片来自Caltech256 (C), 600张图片来自ImageNet ILSVRC2012 (I), 以及来自Pascal VOC2012 (P)的600张图片. 因此总共有6个域适应任务, 其中包括C→I, C→P, I→C, I→P, P→C和P→I.
本节在Office-31数据集和OfficeHome数据集上对现有具有代表性的部分域适应方法的性能进行比较, 其中实验结果均使用预训练过的ResNet50作为特征提取器, 所有算法的参数都设置为默认值或者原论文所提供的推荐值.
在Office-31数据集上各部分域适应方法的准确率(%)
方法 | A→W | D→W | W→D | A→D | D→A | W→A | 平均 |
SAN[ |
93.90 | 99.32 | 99.36 | 94.27 | 94.15 | 88.73 | 94.96 |
PADA[ |
86.54 | 99.32 | 100.0 | 82.17 | 92.69 | 95.41 | 92.69 |
IWAN[ |
89.15 | 90.32 | 99.36 | 90.45 | 95.62 | 94.26 | 94.69 |
ETN[ |
94.52 | 100.0 | 100.0 | 95.03 | 96.21 | 94.64 | 96.73 |
TWIN[ |
86.00 | 99.30 | 100.0 | 86.80 | 94.70 | 94.50 | 93.60 |
DARL[ |
90.17 | 99.32 | 100.0 | 90.45 | 93.42 | 93.11 | 94.41 |
DRCN[ |
90.80 | 100.0 | 100.0 | 94.30 | 95.20 | 94.80 | 95.85 |
A2KT[ |
97.28 | 100.0 | 100.0 | 96.79 | 96.13 | 96.14 | 97.72 |
APDA[ |
96.61 | 100.0 | 100.0 | 96.17 | 95.50 | 95.40 | 97.28 |
GPDA[ |
96.95 | 100.0 | 100.0 | 98.73 | 95.10 | 95.83 | 97.77 |
AGAN[ |
97.28 | 100.0 | 100.0 | 94.26 | 95.72 | 95.72 | 97.16 |
CCPDA[ |
99.66 | 100.0 | 100.0 | 97.45 | 95.72 | 95.71 | 98.09 |
BA3US[ |
98.98 | 100.0 | 100.0 | 99.36 | 94.82 | 94.99 | 97.81 |
在OfficeHome数据集上各部分域适应方法的准确率(%)
方法 | Ar→
|
Ar→
|
Ar→
|
Cl→
|
Cl→
|
Cl→
|
Pr→
|
Pr→
|
Pr→
|
Rw→
|
Rw→
|
Rw→
|
平均 |
SAN[ |
44.42 | 68.68 | 74.60 | 67.49 | 64.99 | 77.80 | 59.78 | 44.72 | 80.07 | 72.18 | 50.21 | 78.66 | 65.30 |
PADA[ |
51.95 | 67.00 | 78.74 | 52.16 | 53.78 | 59.03 | 52.61 | 43.22 | 78.79 | 73.73 | 56.60 | 77.09 | 62.06 |
IWAN[ |
53.94 | 54.45 | 78.12 | 61.31 | 47.95 | 63.32 | 54.17 | 52.02 | 81.28 | 76.46 | 56.75 | 82.90 | 63.56 |
ETN[ |
59.24 | 77.03 | 79.54 | 62.92 | 65.73 | 75.01 | 68.29 | 53.37 | 84.37 | 75.72 | 57.66 | 84.54 | 70.45 |
DRCN[ |
54.00 | 76.40 | 83.00 | 62.10 | 64.50 | 71.00 | 70.80 | 49.80 | 80.50 | 77.50 | 59.10 | 79.90 | 69.05 |
A2KT[ |
62.54 | 83.92 | 86.69 | 65.44 | 74.96 | 75.04 | 67.40 | 55.14 | 84.37 | 73.25 | 60.51 | 84.09 | 72.78 |
APDA[ |
54.39 | 77.98 | 85.26 | 73.92 | 71.60 | 82.72 | 69.61 | 50.87 | 81.83 | 78.15 | 55.70 | 82.58 | 72.05 |
AGAN[ |
56.36 | 77.25 | 85.09 | 74.20 | 73.84 | 81.12 | 70.80 | 51.52 | 84.54 | 78.97 | 56.78 | 83.42 | 72.82 |
CCPDA[ |
55.31 | 80.11 | 88.07 | 73.28 | 71.21 | 77.63 | 71.89 | 52.97 | 81.41 | 81.81 | 56.21 | 85.15 | 72.92 |
BA3US[ |
51.20 | 71.70 | 76.30 | 64.20 | 69.90 | 71.90 | 63.70 | 51.40 | 77.10 | 70.90 | 57.10 | 81.50 | 68.70 |
总体而言, 虽然域适应在迁移学习中逐渐引起了人们的广泛关注, 并逐渐成为现在的研究热点, 但部分域适应作为域适应中较为新颖的场景, 目前部分域适应相关工作还为之甚少, 有极大的发展和提升空间. 由于目前部分域适应的现有工作基本仍停留在所总结的几种方法, 但是作为域适应中的特殊场景, 现有相对完善的域适应方法并未在部分域适应场景得以应用. 现有部分域适应方法大多通常基于所获得的目标域伪标签通过对样本加权或筛选实现域适应. 然而, 由于伪标签置信度不定, 其会影响到模型的稳定性. 此外, 现有部分域适应工作通常并未同时考虑正迁移促进和负迁移抑制两个方面, 而仅关注其中一个, 以致相应的方法存在局限性, 仍有较大的提升空间. 除了上述问题外, 在域适应中还存在不同场景, 现有研究仅集中于无监督场景下的部分域适应问题, 而半监督下的部分域适应问题却鲜有研究. 此外, 在域适应中还存在如多源域适应等不同应用场景, 且部分域适应尚未在这些场景中应用. 因此本文认为此类不同场景下的部分域适应问题将成为未来研究的一个重点.
在实际应用中, 很难确认数据采集过程中的标签集合域配置, 因此单一的训练集不能满足实际的需求, 所能提供的源域信息较少, 不能达到较理想的域适应效果. 近年来, 多源域适应由于其能够提供比单源域适应更丰富的信息而受到越来越多的关注, 但是其应用场景几乎均为传统标记空间下的域适应问题, 在部分域适应问题中并没有与多源域场景相结合, 也鲜有相关的工作被提出. 针对多源域适应问题, 若目标域标记空间均为各个源域标记空间子集, 此类场景符合部分域适应场景, 且更贴合实际情况. 与单源域适应问题不同, 多源域适应问题利用多个富含信息的源域往往能够取得更好的迁移效果, 但同时多个源域也意味着更多负迁移的产生, 这将会是多源部分域适应问题的最需要解决的问题, 且此类问题也将成为部分域适应领域的研究热点.
随着多源域适应问题广泛受到人们的关注, 与之相关的工作也层出不穷, 但同时问题也随之而来, 虽然多个监督下的源域能够通过更多的监督信息探索与目标域相关的多个源域之间的标签, 提高域适应效果, 但是其需要来自多个源域的标签信息, 这往往所需成本较高, 因此为了解决这个问题, 人们提出同时适应多个无监督的目标域以避免获取多个源域的标签信息, 多目标域适应的概念被提出. 相较于多源域适应, 其主要通过探究多个目标域之间所存在的潜在关系, 以此使得源域和目标域更好地关联. 多目标域适应作为目前的研究热点仅有少数工作被提出, 但并没有在部分域适应问题得到很好的应用, 而相较于一般的部分域适应问题, 多目标部分域适应问题最需解决的问题在于针对不造成过多负迁移的情况下如何促进正迁移. 本文认为此类场景同样与部分域适应相贴合, 并且也将成为部分域适应问题中亟需解决的问题.
与上述两种场景不同, 无源域适应是随着信息安全逐步受到人们的重视而衍生出的一种特殊场景[
域适应是近年来备受关注的迁移自适应学习中的一个新研究领域, 其旨在从源域学习领域自适应表示和分类器, 从不同但语义相关的目标域表示和识别样本. 而部分域适应问题作为特殊的域适应其目的与之相同, 不同的是部分域适应的应用场景不同, 具体体现在源域标记空间与目标域标记空间之间的关系有所差异, 在部分域适应问题中目标域的标记空间是源域标记空间的子集, 在此场景下消除源域不相关类样本所产生的负迁移现象是解决部分域适应问题关键性的挑战. 本文调查并回顾总结了近5年来绝大多数部分域适应问题的研究进展, 并对目前针对部分域适应问题的解决方法进行了分类, 其包括以促进正迁移为主的部分域适应方法以及抑制负迁移的部分域适应方法, 尽管大部分工作在两者之间都有涉及, 但其解决问题的方式有所不同. 本文提出的部分域适应问题的分类法为研究人员更好地理解和解决相应的问题提供了一个框架和大体思路, 以及未来的研究挑战和方向. 通过对现有问题和未来方向的讨论, 总结了这些挑战, 本文认为部分域适应问题作为一个新的研究方向将受到人们的广泛关注, 尤其是在不同场景下的应用.
Tian Q, Ma C, Zhang FY, Peng S, Xue H. Source-free unsupervised domain adaptation with sample transport learning. Journal of Computer Science and Technology, 2021, 36(3): 606–616. [doi: 10.1007/s11390-021-1106-5]
http://www.jos.org.cn/1000-9825/5837.htm]]>
http://www.jos.org.cn/1000-9825/5837.htm]]>
Pan SJ, Yang Q. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359. [doi: 10.1109/TKDE.2009.191]
Pan SJ, Tsang IW, Kwok JT, Yang Q. Domain adaptation via transfer component analysis. IEEE Transactions on Neural Networks, 2011, 22(2): 199–210. [doi: 10.1109/TNN.2010.2091281]
Zhang Y, Barzilay R, Jaakkola T. Aspect-augmented adversarial networks for domain adaptation. Transactions of the Association for Computational Linguistics, 2017, 5: 515–528. [doi: 10.1162/tacl_a_00077]
Liu J, Zhang L. Optimal projection guided transfer hashing for image retrieval. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 8754–8761. [doi: 10.1609/aaai.v33i01.33018754]
Li HF, Chen YW, Tao DP, Yu ZT, Qi GQ. Attribute-aligned domain-invariant feature learning for unsupervised domain adaptation person re-identification. IEEE Transactions on Information Forensics and Security, 2020, 16: 1480–1494. [doi: 10.1109/TIFS.2020.3036800]
Qi GJ, Aggarwal C, Tian Q, Ji H, Huang T. Exploring context and content links in social media: A latent space method. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 850–862. [doi: 10.1109/TPAMI.2011.191]
张勋晖, 周勇, 赵佳琦, 张迪, 姚睿, 刘兵. 基于熵增强的无监督域适应遥感图像语义分割. 计算机应用研究, 2021, 38(9): 2852–2856. [doi: 10.19734/j.issn.1001-3695.2020.11.0431]
Zhang XH, Zhou Y, Zhao JQ, Zhang D, Yao R, Liu B. Entropy enhanced unsupervised domain adaptive remote sensing image semantic segmentation. Application Research of Computers, 2021, 38(9): 2852–2856 (in Chinese with English abstract). [doi: 10.19734/j.issn.1001-3695.2020.11.0431]
Guo H, Pasunuru R, Bansal M. Multi-source domain adaptation for text classification via distancenet-bandits. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(5): 7830–7838. [doi: 10.1609/aaai.v34i05.6288]
Wang R, Utiyama M, Finch A, Liu LM, Chen KH, Sumita E. Sentence selection and weighting for neural machine translation domain adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2018, 26(10): 1727–1741. [doi: 10.1109/TASLP.2018.2837223]
Chu CH, Dabre R, Kurohashi S. A comprehensive empirical comparison of domain adaptation methods for neural machine translation. Journal of Information Processing, 2018, 26: 529–538. [doi: 10.2197/ipsjjip.26.529]
He NY, Zhu J. A weighted partial domain adaptation for acoustic scene classification and its application in fiber optic security system. IEEE Access, 2021, 9: 2244–2250. [doi: 10.1109/ACCESS.2020.3044153]
Tian YJ, Zhu SY. Partial domain adaptation on semantic segmentation. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(6): 3798–3809. [doi: 10.1109/TCSVT.2021.3116210]
Gretton A, Borgwardt KM, Rasch MJ, Schölkopf B, Smola A. A kernel two-sample test. The Journal of Machine Learning Research, 2012, 13: 723–773.
Duan LX, Tsang IW, Xu D. Domain transfer multiple kernel learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 465–479. [doi: 10.1109/TPAMI.2011.114]
Baktashmotlagh M, Harandi M, Salzmann M. Distribution-matching embedding for visual domain adaptation. The Journal of Machine Learning Research, 2016, 17(1): 3760–3789.
Cao K, Tu ZP, Ming Y. Class conditional distribution alignment for domain adaptation. Control Theory and Technology, 2020, 18(1): 72–80. [doi: 10.1007/s11768-020-9126-1]
Li JJ, Jing MM, Lu K, Zhu L, Shen HT. Locality preserving joint transfer for domain adaptation. IEEE Transactions on Image Processing, 2019, 28(12): 6103–6115. [doi: 10.1109/TIP.2019.2924174]
Borgwardt KM, Gretton A, Rasch MJ, Kriegel HP, Schölkopf B, Smola AJ. Integrating structured biological data by kernel maximum mean discrepancy. Bioinformatics, 2006, 22(14): e49–e57. [doi: 10.1093/bioinformatics/btl242]
Long MS, Wang JM, Ding GG, Pan SJ, Yu PS. Adaptation regularization: A general framework for transfer learning. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(5): 1076–1089. [doi: 10.1109/TKDE.2013.111]
Zhang B, Xiong DY, Xie J, Su JS. Neural machine translation with GRU-gated attention model. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(11): 4688–4698. [doi: 10.1109/TNNLS.2019.2957276]
Zhang CC, Zhao QJ. Attention guided for partial domain adaptation. Information Sciences, 2021, 547: 860–869.
Huang JC, Zhang PY, Zhou ZH, Fan KF. Domain compensatory adversarial networks for partial domain adaptation. Multimedia Tools and Applications, 2021, 80(7): 11255–11272. [doi: 10.1007/s11042-020-10193-0]
Bronstein MM, Bruna J, Lecun Y, Szlam A, Vandergheynst P. Geometric deep learning: Going beyond Euclidean data. IEEE Signal Processing Magazine, 2017, 34(4): 18–42. [doi: 10.1109/MSP.2017.2693418]
Scarselli F, Gori M, Tsoi AC, Hagenbuchner M, Monfardini G. The graph neural network model. IEEE Transactions on Neural Networks, 2009, 20(1): 61–80. [doi: 10.1109/TNN.2008.2005605]
Kim Y, Hong S. Adaptive graph adversarial networks for partial domain adaptation. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(1): 172–182. [doi: 10.1109/TCSVT.2021.3056208]
Chen J, Wu XX, Duan LX, Gao SH. Domain adversarial reinforcement learning for partial domain adaptation. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(2): 539–553. [doi: 10.1109/TNNLS.2020.3028078]
Li LS, Wan ZQ, He HB. Dual alignment for partial domain adaptation. IEEE Transactions on Cybernetics, 2021, 51(7): 3404–3416. [doi: 10.1109/TCYB.2020.2983337]
Ren CX, Ge PF, Yang PY, Yan SC. Learning target-domain-specific classifier for partial domain adaptation. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(5): 1989–2001. [doi: 10.1109/TNNLS.2020.2995648]
Ganin Y, Ustinova E, Ajakan H, Germain P, Larochelle H, Laviolette F, Marchand M, Lempitsky V. Domain-adversarial training of neural networks. The Journal of Machine Learning Research, 2016, 17(1): 2096–2030.
Qiu WJ, Chen WD, Hu HF. Partial domain adaptation based on shared class oriented adversarial network. Computer Vision and Image Understanding, 2020, 199: 103018. [doi: 10.1016/j.cviu.2020.103018]
Zhang L, Zuo WM, Zhang D. LSDT: Latent sparse domain transfer learning for visual adaptation. IEEE Transactions on Image Processing, 2016, 25(3): 1177–1191. [doi: 10.1109/TIP.2016.2516952]
Li S, Liu CH, Lin QX, Wen Q, Su LM, Huang G, Ding ZM. Deep residual correction network for partial domain adaptation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(7): 2329–2344. [doi: 10.1109/TPAMI.2020.2964173]
Tian Q, Sun HY, Ma C, Cao M, Chu Y, Chen SC. Heterogeneous domain adaptation with structure and classification space alignment. IEEE Transactions on Cybernetics, 2022, 52(10): 10328–10338. [doi: 10.1109/TCYB.2021.3070545]