视频片段检索研究综述
作者:
作者单位:

作者简介:

王妍(1997-),女,硕士生,主要研究领域为视频理解,多媒体分析,信息检索;詹雨薇(1997-),女,博士生,CCF学生会员,主要研究领域为计算机视觉,机器学习,信息检索;罗昕(1992-),男,博士,助理研究员,CCF专业会员,主要研究领域为机器学习,多媒体内容分析与搜索;刘萌(1991-),女,博士,教授,CCF专业会员,主要研究领域为多媒体分析,信息检索;许信顺(1975-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为机器学习,信息检索,数据挖掘,图像/视频分析与检索

通讯作者:

罗昕,luoxin@sdu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61991411,61872428,62006142,62172256);山东省重点研发项目(2019JZZY010127);山东省自然科学基金(ZR2019ZD06,ZR2020QF036)


Survey on Video Moment Retrieval
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    视频片段检索旨在利用用户给出的自然语言查询语句,在一个长视频中找到最符合语句描述的目标视频片段.视频中包含丰富的视觉、文本、语音信息,如何理解视频中提供的信息,以及查询语句提供的文本信息,并进行跨模态信息的对齐与交互,是视频片段检索任务的核心问题.系统梳理了当前视频片段检索领域中的相关工作,将它们分为两大类:基于排序的方法和基于定位的方法.其中,基于排序的方法又可细分为预设候选片段的方法和有指导地生成候选片段的方法,而基于定位的方法则可分为一次定位的方法和迭代定位的方法.同时对该领域的数据集和评价指标进行了介绍,并对一些模型在多个常用数据集上的性能进行了总结与整理.此外,介绍了该任务的延伸工作,如大规模视频片段检索工作等.最后,对视频片段检索未来的发展方向进行了展望.

    Abstract:

    Given a natural language sentence as the query, the task of video moment retrieval aims to localize the most relevant video moment in a long untrimmed video. Based on the rich visual, text, and audio information contained in the video, how to fully understand the visual information provided in the video and utilize the text information provided by the query sentence to enhance the generalization and robustness of model, and how to align and interact cross-modal information are crucial challenges of the video moment retrieval. This study systematically sorts out the work in the field of video moment retrieval, and divides them into ranking-based methods and localization-based methods. Thereinto, the ranking-based methods can be further divided into the methods of presetting candidate clips, and the methods of generating candidate clips with guidance; the localization-based methods can be divided into one-time localization methods and iterative localization ones. The datasets and evaluation metrics of this fieldf are also summarized and the latest advances are reviewed. Finally, the related extension task is introduced, e.g., moment localization from video corpus, and the survey is concluded with a discussion on promising trends.

    参考文献
    相似文献
    引证文献
引用本文

王妍,詹雨薇,罗昕,刘萌,许信顺.视频片段检索研究综述.软件学报,2023,34(2):985-1006

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-04-29
  • 最后修改日期:2022-02-17
  • 录用日期:
  • 在线发布日期: 2022-07-22
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号