基于空间语义信息特征融合的目标检测与分割
作者:
作者单位:

作者简介:

郭琪周(1997-),男,硕士生,主要研究领域为计算机视觉;袁春(1969-),男,博士,副研究员,博士生导师,CCF杰出会员,主要研究领域为机器学习,计算机视觉

通讯作者:

袁春,yuanc@sz.tsinghua.edu.cn

中图分类号:

TP18

基金项目:

国家自然科学基金(U1833101);深圳市基础研究项目(JCYJ20190809172201639)


Leveraging Spatial-semantic Information in Object Detection and Segmentation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    高质量的特征表示可以提高目标检测和其他计算机视觉任务的性能.现代目标检测器诉诸于通用的特征金字塔结构以丰富表示能力,但是他们忽略了对于不同方向的路径应当使用不同的融合操作,以满足其对信息流的不同需求.提出了分离式空间语义融合(separated spatial semantic fusion,SSSF),它在自上而下的路径中使用通道注意模块(channel attention block,CAB)来传递语义信息,在自下而上的路径中使用具有瓶颈结构的空间注意模块(spatial attention block,SAB)来通过较少的参数和较少的计算量(相比于直接利用不降维的空间注意模块)将精确的位置信号传递到顶层.SSSF十分有效,并且具有很强大的泛化能力:对于目标检测,它可以将AP提高1.3%以上,对于自上而下的路径进行语义分割的融合操作,它可以将普通加和版本的AP提高约0.8%,对于实例分割,所提方法能够在所有指标上提高实例分割的包围框AP和掩膜AP.

    Abstract:

    High quality feature representation can boost performance for object detection and other computer vision tasks. Modern object detectors resort to versatile feature pyramids to enrich the representation power but neglect that different fusing operations should be used for pathways of different directions to meet their different needs of information flow. This study proposes separated spatial semantic fusion (SSSF) that uses a channel attention block (CAB) in top-down pathway to pass semantic information and a spatial attention block (SAB) with a bottleneck structure in the bottom-up pathway to pass precise location signals to the top level with fewer parameters and less computation (compared with plain spatial attention without dimension reduction). SSSF is effective and has a great generality ability: It improves AP over 1.3% for object detection, about 0.8% over plain addition for fusing operation of the top-down path for semantic segmentation, and boost the instance segmentation performance in all metrics for both bounding box AP and mask AP.

    参考文献
    相似文献
    引证文献
引用本文

郭琪周,袁春.基于空间语义信息特征融合的目标检测与分割.软件学报,2023,34(6):2776-2788

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-11-30
  • 最后修改日期:2020-12-28
  • 录用日期:
  • 在线发布日期: 2022-12-08
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号