一种监控系统的链路跟踪型日志数据的存储设计
作者:
作者单位:

作者简介:

尤勇(1987-),男,主要研究领域为分布式监控与告警.
顾胜晖(1995-),男,博士生,主要研究领域为实证软件工程.
汪浩(1998-),男,硕士生,CCF学生会员,主要研究领域为智能运维.
孙佳林(1988-),男,主要研究领域为分布式监控与告警.
任天(1997-),男,高级工程师,主要研究领域为分布式监控与告警.

通讯作者:

孙佳林,E-mail:jialin.sun@meituan.com

中图分类号:

基金项目:

国家自然科学基金(62072227,61802173);国家重点研发计划(2019YFE0105500);江苏省政府间双边创新项目(BZ2020017);计算机软件新技术国家重点实验室(南京大学)创新项目(ZZKT2019B01)


Storage Design of Tracing-logs for Application Performance Management System
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (62072227, 61802173); National Key Research and Development Program of China (2019YFE0105500); Intergovernmental Bilateral Innovation Project of Jiangsu Province (BZ2020017); Innovation Project of State Key Laboratory for Novel Software Technology (Nanjing University) (ZZKT2019B01)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着软件系统越来越复杂化和分布化,为系统提供具有完善功能的监控服务显得越来越重要.APM(application performance management)系统通过采集软件系统运行时的各项指标数据来分析软件的运行状态,例如CPU、内存使用率、垃圾回收的耗时、QPS等指标.此外,APM系统也会在软件运行中生成各种日志数据.通常来说,它能提供的监控数据分为3种:指标统计数据、链路跟踪(tracing)数据以及离散事件记录.这些数据有助于系统或者服务的维护人员理解运行状态,从而确保系统或者服务的稳定运行.基于开源的APM监控系统——CAT系统,提出了一种针对tracing类型数据的存储设计方案,通过内存块批量写入的方式提升存储效率,并设计了两级索引以提高查询效率.从线上的真实运行数据来看,该方案在写入性能和查询性能方面均有较好的表现.

    Abstract:

    With the software system becoming more and more complex and distributed, it is more and more important to provide monitoring services with complete functions for the system. APM (application performance management) system analyzes the running state of software by collecting various indicator data of software system, such as CPU, memory utilization, the consuming time of garbage collection, QPS. In addition, the APM system can also generate various types of logs during the operation of the software. Generally speaking, it can provide three types of monitoring data:statistic metrics, tracing data, and discrete event records. The data can help the maintenance personnel of the system or service understand the running state, so as to ensure the stable operation of the system or service. Based on the open-source APM monitoring system (i.e., CAT system), this study proposes a storage design scheme for tracing data. It improves the storage efficiency by memory block which is designed for batch writing logs, and query efficiency by the structure of the two-level index. Through analyzing the real on-line running data, the proposed scheme has sound performance in both write performance and query performance.

    参考文献
    相似文献
    引证文献
引用本文

尤勇,汪浩,任天,顾胜晖,孙佳林.一种监控系统的链路跟踪型日志数据的存储设计.软件学报,2021,32(5):1302-1321

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-09-15
  • 最后修改日期:2020-10-26
  • 录用日期:
  • 在线发布日期: 2021-02-07
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号