基于手绘草图的视觉内容生成深度学习方法综述
作者:
作者单位:

作者简介:

左然(1995-),女,博士生,主要研究领域为计算机视觉,人机交互.;胡皓翔(2000-),男,博士生,主要研究领域为计算机视觉.;邓小明(1980-),男,博士,研究员,博士生导师,CCF高级会员,主要研究领域为计算机视觉,人机交互.;马翠霞(1975-),女,博士,研究员,博士生导师,CCF杰出会员,主要研究领域为人机交互,媒体大数据可视分析.;王宏安(1963-),男,博士,研究员,博士生导师,CCF高级会员,主要研究领域为自然人机交互,实时智能计算.

通讯作者:

马翠霞, E-mail: cuixia@iscas.ac.cn

中图分类号:

基金项目:

国家自然科学基金(62272447); 北京市自然科学基金(4212029); 2019年牛顿奖中国奖(NP2PB/100047)


Survey on Deep Learning Methods for Freehand-sketch-based Visual Content Generation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    手绘草图通过绘制简单的线条直观呈现用户的创作意图, 支持用户采用手绘的方式快速表达思维过程及设计灵感, 创作目标图像或视频. 随着深度学习的发展, 基于草图的视觉内容生成通过学习草图和视觉对象(即图像和视频)的特征分布进行跨领域特征映射, 实现图像自动生成草图以及草图自动生成对应的图像或视频, 与传统的人工创作方式相比有效地提高了生成的效率和多样性, 成为计算机视觉、图形学领域的重要研究方向, 并且在设计、视觉创作等领域具有重要作用. 综述基于草图的视觉内容生成深度学习方法的研究现状和发展趋势, 按照视觉对象的不同将现有工作分为基于草图的图像生成和基于草图的视频生成方法, 并结合草图和视觉内容跨域生成、风格转化、视觉内容编辑等任务对生成模型进行详细分析, 然后比较和总结常用的数据集、针对草图数据不足提出的扩充方法以及生成模型的评估方法, 进一步通过草图在视觉内容生成应用中面临的挑战及生成模型未来发展方向对研究趋势进行展望.

    Abstract:

    Freehand sketches can intuitively present users’ creative intention by drawing simple lines and enable users to express their thinking process and design inspiration or produce target images or videos. With the development of deep learning methods, sketch-based visual content generation performs cross-domain feature mapping by learning the feature distribution between sketches and visual objects (images and videos), enabling the automated generation of sketches from images and the automated generation of images or videos from sketches. Compared with traditional artificial creation, it effectively improves the efficiency and diversity of generation, which has become one of the most important research directions in computer vision and graphics and plays an important role in design, visual creation, etc. Therefore, this study presents an overview of the research progress and future development of deep learning methods for sketch-based visual content generation. The study classifies the existing work into sketch-based image generation and sketch-based video generation according to different visual objects and analyzes the generation models in detail with a combination of specific tasks including cross-domain generation between sketch and visual content, style transfer, and editing of visual content. Then, it summarizes and compares the commonly used datasets and points out sketch propagation methods to address in sufficient sketch data and evaluation methods of generated models. Furthermore, the study prospects the research trend based on the challenges faced by the sketch in the application of visual content generation and the future development direction of generated models.

    参考文献
    相似文献
    引证文献
引用本文

左然,胡皓翔,邓小明,马翠霞,王宏安.基于手绘草图的视觉内容生成深度学习方法综述.软件学报,2024,35(7):3497-3530

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-03-02
  • 最后修改日期:2023-06-05
  • 录用日期:
  • 在线发布日期: 2024-01-31
  • 出版日期: 2024-07-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号