基于动态门控特征融合的轻量深度补全算法
作者:
作者单位:

作者简介:

孙海峰(1989-),男,博士,讲师,CCF专业会员,主要研究领域为人工智能,机器视觉,自然语言处理,深度学习;穆正阳(1997-),男,硕士,主要研究领域为深度学习,计算机视觉,深度估计与补全;戚琦(1982-),女,博士,副教授,博士生导师,主要研究领域为智能边缘计算,轻量级神经网络,业务网络智能化;王敬宇(1978-),男,博士,教授,博士生导师,主要研究领域为智能网络,机器学习,边缘计算等;刘聪(1980-),男,博士,高级工程师,主要研究领域为人工智能,物联网;廖建新(1965-),男,博士,特聘教授,博士生导师,主要研究领域为移动通信网络,业务网络化,人工智能,多媒体业务.

通讯作者:

中图分类号:

TP18

基金项目:

国家重点研发计划(2020YFB1807805); 国家自然科学基金(62071067, 62001054, 61771068)


Fast and Accurate Depth Completion Method Based on Dynamic Gated Fusion Strategy
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    稠密深度图在自动驾驶和机器人等领域至关重要, 但是现今的深度传感器只能产生稀疏的深度测量, 所以有必要对其进行补全. 在所有辅助模态中, RGB图像是常用且易得的信息. 现今的许多方法都采用RGB和稀疏深度信息结合进行补全. 然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合, 没有考虑到不用场景下不同模态特征的置信度. 提出一种以输入深度稀疏分布为指导, 结合双模态信息量的动态门控融合模块, 通过动态产生融合权重的方式对两个模态特征进行更高效的结合. 并且根据不同模态的数据特征设计了精简的网络结构. 实验结果表明所提出模块和改进的有效性, 提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上, 使用了很少的参数量达到了先进的结果, 取得了性能和速度的优秀平衡.

    Abstract:

    Dense depth map is essential in areas such as autonomous driving and robotics, but today’s depth sensors can only produce sparse depth measurements. Therefore, it is necessary to complete it. In all auxiliary modalities, RGB images are commonly used and easily obtained. Many current methods use RGB and sparse depth information in depth completion. However, most of them simply use channel concatenation or element-wise addition to fuse the information of the two modalities, without considering the confidence of each modalities in different scenarios. This study proposes a dynamic gated fusion module, which is guided by the sparse distribution of input sparse depth and information of both RGB and sparse depth feature, thus fusing two modal features more efficiently by generating dynamic weights. And designed an efficient feature extraction structure according to the data characteristics of different modalities. Comprehensive experiments show the effectiveness of each model. And the network proposed in this paper uses lightweight model to achieve advanced results on two challenging public data sets KITTI depth completion and NYU depth v2. Which shows our method has a good balance of performance and speed.

    参考文献
    相似文献
    引证文献
引用本文

孙海峰,穆正阳,戚琦,王敬宇,刘聪,廖建新.基于动态门控特征融合的轻量深度补全算法.软件学报,2023,34(4):1765-1778

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-12-27
  • 最后修改日期:2021-03-08
  • 录用日期:
  • 在线发布日期: 2022-06-15
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号