大模型与软件工程专刊前言
聂长海1,王璐2,王莹3,姜艳杰4,张敏灵5
1(南京大学 计算机学院,江苏 南京 210023)
2(西安电子科技大学 计算机科学与技术学院,陕西 西安 710071)
3(东北大学 软件学院,辽宁 沈阳 110169)
4(天津大学 软件学院,天津 300072)
5(东南大学 计算机科学与工程学院,江苏 南京 211102)
通讯作者: 聂长海, E-mail: changhainie@nju.edu.cn
中文引用格式: 聂长海,王璐,王莹,姜艳杰,张敏灵. 大模型与软件工程专刊前言.软件学报. http:// www.jos.org.cn/1000-9825/7599.htm
我们正在进入智能化时代,人工智能(AI)已取得了巨大成功,并被广泛应用于学术和工业领域,特别是大型语言模型(LLM)取得了突飞猛进的发展,将人工智能推向了一个新的高度,使更多不同的应用和工业领域获得了智能,并增强了它们的能力,例如人与机器的交互更加自然高效,各行业出现新的服务和业务模式,科学研究也得到加速。大模型背后是超大的参数规模、海量的训练数据和强大的计算资源,软件能力提升的同时其质量保障也越来越困难。相比传统软件软件工程,大模型时代的软件工程需要面临更多的挑战:大模型支撑系统与框架的潜在缺陷;不断变化的基础设施导致系统演化困难;大模型行为本身缺乏可解释性与可信性;数据质量问题诱发的模型质量问题;伦理、道德和法律的约束使得软件应用困难。在这种局面下,亟需从软件工程的角度系统性地审视大模型时代下的软件质量保障方法,从而更好应对这一新兴领域中的新挑战。本专刊立足于软件工程领域,探讨在大模型时代软件工程技术的新发展与新趋势,特别是基于大模型的需求分析、设计和如何利用大模型技术进行自动代码生成、测试和形式化验证等,同时研究如何利用软件工程理论和方法保证基于大模型的软件系统的质量和安全。
本专刊公开征文,共收到投稿51篇(其中9篇直接在软件学报网站上投稿,42篇通过ChinaSoft2025会议系统投稿).论文均通过了形式审查,内容涉及大语言模型赋能的软件需求分析、设计、编码、测试与维护等软件全生命周期.特约编辑先后邀请了 60多位专家参与审稿工作,每篇投稿至少邀请3位专家进行评审.稿件经初审、复审、ChinaSoft 2025会议宣读和终审4个阶段,历时6个月,最终只有7篇论文入选本专刊.
《SmartGen-AADL:多智能体系统需求分析与AADL模型生成》提出一种面向嵌入式系统的智能建模方法—SmartGen-AADL,整体方法基于多智能体协同机制构建,融合语义解析,结构识别与提示增强生成等关键技术,实现从自然语言需求到结构化AADL模型的高质量转换. 在15个嵌入式系统应用场景上的实验结果表明,相较于仅依赖简单提示工程的方法,所提多智能体协同建模方法在4个主流大语言模型上均展现出显著优势.
《基于大语言模型智能体的代码生成综述》对基于大语言模型的代码生成智能体领域进行了系统性的综述,追溯了该技术自诞生以来的发展脉络,全面梳理并从方法论的视角对其核心技术(涵盖单智能体与多智能体系统)进行了归纳和分类。此外,还总结了代码生成智能体在软件开发全周期中的各项应用,整理了主流的评估基准与指标,并盘点了代表性的工具,通过分析关键挑战,展望了该领域未来的长期核心研究方向。
《面向Linux内核开发知识的大模型问答能力评测》提出一种 LLM 问答能力评测基准数据集构建方法,构建了面向Linux 内核的首个高质量问答评测基准 LKQABench,并提出多裁判协同的代码知识问答评测方法 MJ-CCE. LKQABench 基于开发者社区的真实技术问答数据,经过语义分析和人工审核修订,构建了202个标准问答对,覆盖Linux 内核主要模块和不同认知维度.MJ-CCE方法定义多个裁判大模型的协同评分与投票机制,从关键知识点覆盖度、事实正确性与表达清晰度等维度对回答进行多维度评估.在LKQABench上对主流大模型的实证研究表明,当前大模型能较好回答内核实现的单点知识问题,但在涉及跨主题知识整合、深度推理及版本演化关联的问题中,存在知识点遗漏、逻辑链条不完整等不足.
《面向软件测试领域知识问答的大模型评估》对软件测试与LLMs之间双向评估进行了有趣和深入的探索:一方面针对软件测试领域100个概念和方法,设计了7个问题,利用最有代表性的5 个大模型应用进行了系统的问答实验,产生了一系列对软件测试教学、教材编写和修订有价值的结果,即利用大语言模型服务软件测试。另一方面利用大模型产生的结果,根据正确性、完整性、流畅性和创新性等4个度量指标,针对LLMs的可用性、可信性和鲁棒性等重要特性,通过评审员进行人工评估,发现了一系列有价值的问题,即大语言模型的测评。
《基于并行探索的大模型缺陷定位增强方法》针对现有方法仅为大语言模型维护单一决策路径,导致搜索范围有限,缺陷定位效果不够理想等问题,提出了一种基于并行探索的大模型缺陷定位增强方法PRIME.通过设计缺陷位置的并行探索机制提高大语言模型的搜索范围,并结合节点重要性评估方法对大语言模型预测的多个候选缺陷位置进行排序,形成优化后的缺陷定位结果.通过与其他缺陷定位方法的对比分析,以及全面的消融实验和参数影响分析,验证了论文方法可以有效增强大语言模型的缺陷定位性能.
《大语言模型智能体在软件系统根因分析应用综述》聚焦于大语言模型智能体在云计算和微服务系统根因分析的研究现状进行全面的分析和总结.概述基于大语言模型的智能体框架构成和根因分析中的数据使用,从信息获取、根因定位和效果评估三个主要流程系统地分析大语言模型智能体在根因分析中的应用方式,探讨大语言模型智能体技术在根因分析任务中面临的主要挑战和未来的发展方向.
《基于文本表达特征分析的大模型协议交互抽取》提出了一种增强的基于文本表达特征分析的大模型协议交互抽取方法.从真实的协议描述案例出发,总结出协议描述文本中存在的常见语言表达特征;然后提取能够体现这些特征的典型协议描述案例,提炼用于协议交互抽取的处理规则;进一步的,融合案例与规则,提出一套规则回溯思维链方法,使用多路推理和自我验证技术优化任务处理流程.在多个协议数据集上的实验表明,所提出方法在协议交互的抽取精确率和召回率等方面均优于基线方法,证实了方法的有效性.
本专刊主要面向软件工程、系统软件、形式化、人工智能和大模型等多领域的研究人员和工程人员,反映了我国学者在大语言模型、人工智能和软件工程等领域相互赋能最新的研究进展.感谢《软件学报》编委会和软件工程专委会对专刊工作的指导和帮助,感谢专刊全体评审专家及时、耐心、细致的评审工作,感谢踊跃投稿的所有作者.希望本专刊能够对与大语言模型相互赋能的软件工程、系统软件与形式化等相关领域的研究工作有所促进.
聂长海博士,南京大学计算机系教授,博士生导师,中国计算机学会杰出会员,先后在东南大学(1996-2007)和南京大学(2008-至今)任教,2007年到2008年在英国伦敦国王学院计算机系访问学者一年。在近30年的教学工作中,多次主讲过数学类和计算机类课程10多门,基本上覆盖了数学与计算机科学的所有主干课程。主要研究方向为软件测试及软件质量保证,发表及合作发表学术论文100多篇,出版专著《组合测试》,教材《软件测试的概念与方法》、《智能化软件质量保证的概念与方法》和《区块链技术基础教程:原理、方法及实践》,出版人工智能等新技术应用译著《应用数据分析原理与应用》、《创建虚拟原型软件项目:方法与实践》。主持过国家863项目、科技部重点研发项目课题和多项国家自然科学基金项目,参与的项目多次作为重要成员获得省部级科研奖。
王璐,博士,西安电子科技大学副教授,博士生导师,陕西省青托,陕西省优博,西安市智能软件工程重点实验室副主任,中国计算机学会(CCF)软件工程专委会副秘书长,系统软件专委会执行委员,CCF 首批传播大使,西电“华山人才”系列,西电OpenHarmony技术俱乐部主任。主要研究方向为云操作系统、微服务与容器技术、大模型与智能软件工程等,主持国家自然科学基金面上项目等,在ICSE、FSE、SANER、ICSME 等国内外期刊与会议上发表论文37篇并担任会议PC 及期刊审稿人,获陕西省科学技术进步奖二等奖等科技奖励4项。
王莹,东北大学软件学院副教授、 院长学术助理, CCF 女工委委员。 2019 年 1 月于东北大学获得软件工程专业博士学位, 2019 年 2 月以引进副教授人才方式留校任教。荣获微软研究院铸星计划访问学者(2020)、中国计算机学会优秀博士论文提名奖(2020)、辽宁省优秀博士论文奖(2021)、 ACM SIGSOFT 杰出论文奖(ICSE 2021、ESEC/FSE 2023),近五年内发表2篇软件学报文章。主要研究方向为开源软件生态治理技术、软件供应链分析等。在多种程序语言软件生态(包括Java/C#/Python/Go/ JavaScript/Android/Rust等)治理方面发表系列学术成果,形成系列工具平台“英雄联盟”LOL自动化监控开源软件生态的依赖缺陷。多项技术落地于华为、微软、龙芯中科等企业平台。担任ChinaSoft 2023软件工程女性学者论坛主席,SANER 2023 Tool Track联合主席,“计算之美”2021博士生论坛主席等,热衷参与学术活动以鼓励计算机领域女性“研究媛”和“程序媛”坚持科研梦想。
姜艳杰 天津大学副教授,博士生导师。研究方向主要包括人工智能(大语言模型)、数据挖掘、智能软件开发、软件安全、隐私保护。在CCF A类顶级期刊与会议上发表论文30余篇,受邀担任ASE、FSE、ICSE、ISSTA、TSE、TOSEM等CCF A类期刊/会议的审稿人。获得CCF科学技术奖、ACM SIGSOFT杰出论文奖、中国软件大学原型竞赛一等奖、百度学术新星奖、“博士后创新人才”。主持多项科研项目,包括华为胡杨林基金、国家自然科学基金(青年基金)等。
张敏灵,东南大学计算机科学与工程学院教授,院长。主要研究领域为机器学习、数据挖掘。现任中国人工智能学会机器学习专委会副主任、江苏省人工智能学会副理事长等。现任《中国科学:信息科学》、《IEEE Trans. PAMI》、《ACM Trans. IST》、《Frontiers of Computer Science》、《Machine Intelligence Research》等期刊编委。应邀担任ACML、PAKDD指导委员会委员,PRICAI/CCF-ICAI/CCFAI等国内外学术会议程序主席,以及KDD/IJCAI/AAAI/ICDM等国际会议领域主席或资深程序委员60余次。曾获CCF - IEEE CS青年科学家奖(2016)、国家杰出青年科学基金(2022)等。