基于宽容训练和隐私保护的快速监控视频检索模型
作者:
作者单位:

作者简介:

覃浩(1998-),男,硕士生,主要研究领域为自然语言处理,视觉语言预训练模型,模型压缩,视频检索;张若非(1974-),男,博士,教授,博士生导师,主要研究领域为机器学习,数据挖掘,自然语言处理,多模态内容表示和理解;王平辉(1984-),男,博士,教授,博士生导师,CCF高级会员,主要研究领域为机器学习与数据挖掘,自然语言处理,移动互联网安全;覃遵颖(1985-),女,高级工程师,主要研究领域为机器学习,数据挖掘.

通讯作者:

王平辉,phwang@mail.xjtu.edu.cn

中图分类号:

基金项目:

国家自然科学基金(61902305,61922067);深圳基础研究资助项目(JCYJ20170816100819428);教育部-中国移动“人工智能”项目(MCM20190701)


Fast Surveillance Video Retrieval Model Based on Tolerant Training and Privacy Protection
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    监控视频关键帧检索和属性查找在交通、安防、教育等领域具有众多应用场景,应用深度学习模型处理海量视频数据在一定程度上缓解了人力消耗,但是存在隐私泄露、计算资源消耗大、时间长等特点.基于上述场景,提出了一个面向大规模监控视频的安全、快速的视频检索模型.具体地,根据云端算力大、监控摄像头算力规模小的特点,在云端部署重量级模型,并使用所提出的宽容训练策略对其进行定制化知识蒸馏,将蒸馏后的轻量级模型部署在监控摄像头内,同时使用局部加密算法对图像敏感部分进行加密,结合云端TEE技术和用户授权机制,在极低资源消耗的情况下实现隐私保护.通过合理控制蒸馏策略的“容忍度”,能够较好地平衡摄像头视频输入阶段和云端检索阶段的耗时,在保证极高准确率的前提下,保证极低的检索时延.相比于传统检索方法,该模型具有安全高效、可伸缩、低延时的特点.实验结果显示,在多个公开数据集上,该模型相比于传统检索方法提供9x-133x的加速.

    Abstract:

    Surveillance video keyframe retrieval and attribute search have many application scenarios in traffic, security, education and other fields. The application of deep learning model to process massive video data to a certain extent alleviates manpower consumption, but it is characterized by privacy disclosure, large consumption of computing resources and long time. Based on the above scenarios, this study proposes a safe and fast video retrieval model for mass surveillance video. In particular, according to the characteristics of large computing power in the cloud and small scale of computing power in the surveillance camera, heavyweight model is deployed in the cloud, and the proposed tolerance training strategy is used for customized knowledge distillation, the distilled lightweight model is then deployed inside a surveillance camera, at the same time using local encryption algorithm to encrypt sensitive to image part, combined with cloud TEE technology and user authorization mechanism, privacy protection can be achieved with very low resource consumption. By reasonably controlling the "tolerance" of distillation strategy, the time-consuming of camera video input stage and cloud retrieval stage can be balanced, and extremely low retrieval delay is ensured on the premise of extremely high accuracy. Compared with traditional retrieval methods, the proposed model has the characteristics of security, efficiency, scalability and low latency. Experimental results show that the proposed model provides 9×-133× acceleration compared with traditional retrieval methods on multiple open data sets.

    参考文献
    相似文献
    引证文献
引用本文

覃浩,王平辉,张若非,覃遵颖.基于宽容训练和隐私保护的快速监控视频检索模型.软件学报,2023,34(3):1292-1309

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-05-15
  • 最后修改日期:2022-09-07
  • 录用日期:
  • 在线发布日期: 2022-10-26
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号