多媒体数据的知识关联与理解专题前言

蒋树强1,  刘青山2,  孙立峰3,  李  波4

1(中国科学院 计算技术研究所 智能信息处理重点实验室,北京  100190)
2(江苏省大数据分析技术重点实验室(南京信息工程大学 自动化学院),江苏 南京 210044)
3(清华大学 计算机科学与技术系,北京  100084)
4(北京航空航天大学 计算机学院,北京  100191)
通讯作者: 蒋树强, E-mail: sqjiang@ict.ac.cn

中文引用格式: 蒋树强,刘青山,孙立峰,李波.多媒体数据的知识关联与理解专题前言.软件学报,2019,30(4):865-866. http://www.jos.org.cn/1000-9825/5668.htm

近年来,不同来源的多媒体数据产生量剧增,成为用户信息获取、信息交换与信息消费的主要对象,多媒体数据具有广泛的应用需求和重大的应用价值.相对于其他数据类型,图像、视频等多媒体数据具有关系繁杂、冗余性强、信息隐藏深、全面理解困难等特点,因此,全面和准确地分析和理解多媒体内容是一个非常重要和具有挑战性的问题.最近,基于知识关联与理解的多媒体计算正逐渐得到研究者的关注,呈现出新的发展动态,这项研究可以使得多媒体内容的分析与理解更加深入,建立从多媒体内容感知到全面认知理解的桥梁.

本专题公开征文,共收到投稿13篇,其中,12篇论文通过了形式审查,内容涉及图像/视频等多媒体内容的识别、理解和描述的各个方面.特约编辑先后邀请了30多位专家参与审稿工作,每篇投稿至少邀请3位专家进行评审.稿件经初审、复审、ChinaMM 2018论文交流和终审4个阶段,历时5个月,最终有7篇论文入选本专题.

《视觉场景描述及其效果评价》对现有视觉场景描述及相关技术进行综述,介绍主要方法、模型及研究进展,梳理评价方法的各项指标,对视觉场景描述技术面临的问题与挑战进行了分析,并讨论了未来的应用前景.

《跨媒体深层细粒度关联学习方法》提出了跨媒体循环神经网络及联合关联损失函数,用以挖掘媒体内和媒体间的多层面关联,支持高效的跨媒体检索.

《基于区域敏感生成对抗网络的自动上妆算法》提出了一种掩模控制的自动上妆生成对抗网络,能够重点编辑上妆区域,保持主体信息,实现特定区域上妆.

《基于仿射不变离散哈希的遥感图像多目标分类》在监督离散哈希(SDH)目标函数中引入仿射不变因子约束,构造仿射不变离散哈希,并应用于遥感图像的多目标分类.

《基于条件随机场的深度相关滤波目标跟踪算法》面向鲁棒的目标跟踪,将基于深度学习的判别式相关滤波和条件随机场模型结合,设计了一个端到端的深度卷积神经网络.

《基于小波域的深度残差网络图像超分辨率算法》将小波变换的思想与深度残差网络相结合,并利用图像空间损失和小波系数损失约束网络训练,并将该方法用于图像的超分辨率重构问题.

《利用可分离卷积和多级特征的实例分割》在全卷积实例感知分割网络的基础上,面向图像中的实例分割,设计了一个具有边界细化模块和多级特征的复杂分割分支.

本专题主要面向多媒体技术、图像处理、人工智能等多领域的研究人员和工程人员,反映了我国学者在多媒体内容分析与理解领域最新的研究进展.感谢《软件学报》编委会和中国计算机学会多媒体技术专委会对专题工作的指导和帮助,感谢专题全体评审专家及时、耐心、细致的评审工作,感谢踊跃投稿的所有作者.希望本专题能够对多媒体及相关领域的研究工作有所促进.

蒋树强(1977－),男,博士,研究员,博士生导师,国际期刊《ACM ToMM》和《IEEE Multimedia》的Associate Editor, CCF多媒体专委会常委,ACM SIGMM中国分会副主席,主要研究领域为图像/视频等多媒体信息的分析、理解与检索技术和多模态智能技术,在本领域重要刊物和会议上发表论文150多篇.

刘青山(1975－),男,博士,教授,博士生导师,江苏省大数据分析技术重点实验室主任,国际期刊《Signal Processing》、《Neurocomputing》和国内期刊《自动化学报》编委,CCF多媒体专委会和计算机视觉专委会常委,先后主持国家杰出青年基金项目、国家自然科学基金重点项目等多项国家级项目,主要研究领域为图像与视频理解,模式识别等,在本领域重要刊物和会议上发表论文100余篇.

孙立峰(1972－),男,博士,教授,博士生导师,网络多媒体北京市重点实验室主任,CCF多媒体技术专委会秘书长,主要研究领域为网络多媒体,智能媒体处理,多媒体大数据,视频编码,社交媒体等,在本领域重要刊物和会议上发表论文120余篇,获得4项国际期刊、会议最佳论文奖.

李波(1966－),男,博士,教授,博士生导师,数字媒体北京市重点实验室主任,中国计算机学会多媒体技术专业委员会主任,作为负责人已完成武器装备型号、863计划、973计划、国家重点研发计划、国家自然科学基金等课题40余项,在本领域重要期刊和国际学术会议发表学术论文100余篇.