具身推理与多模态世界模型专题前言
 

孙立峰1,  蒋树强2,  姜育刚3,  洪日昌4,  俞  俊5,  黄庆明2, 
1(清华大学 计算机科学与技术系,北京  100084)
2(中国科学院大学 计算机科学与技术学院, 北京 100049)
3(复旦大学 智能机器人与先进制造创新学院, 上海 200433)
4(合肥工业大学 计算机与信息学院学院, 安徽  合肥 230009)
5(哈尔滨工业大学(深圳) 智能科学与工程学院, 广东  深圳 518055)
通讯作者: 孙立峰, E-mail: sunlf@tsinghua.edu.cn

中文引用格式: 孙立峰,蒋树强,姜育刚,洪日昌,俞俊,黄庆明. 具身推理与多模态世界模型专题前言.软件学报. http://www.jos.org.cn/1000-9825/7760.htm

具身智能已成为人工智能技术的重要研究方向,其核心目标是构建能够在真实环境中自主感知、理解、决策和行动的智能体.如何将智能体与环境交互形成的认知转化为自主完成任务的能力,是这一领域的核心问题.具身推理与多模态世界模型为解决这一问题提供了重要途径.多模态世界模型通过刻画环境状态、对象关系及其演化规律,为智能体的推理与决策提供依据和约束；具身推理将环境认知与任务目标相结合,支撑智能体的判断、规划和行动选择.近年来,多模态大模型的发展为二者的融合带来了新的机遇,但面向真实环境的自主交互仍面临诸多挑战.例如,如何形成符合现实规律的世界认知?如何将知识转化为适应复杂环境的行动?如何通过持续交互获得可泛化的自主能力?围绕这些问题开展研究,对于推动具身智能的理论创新和实际应用具有重要意义.

本专题公开征文,共收到投稿 28 篇. 论文均通过了形式审查, 内容涉及多模态感知、具身自主决策、世界模型推理等. 特约编辑先后邀请了 30 多位专家参与审稿工作, 每篇投稿至少邀请 2 位专家进行评审. 稿件经初审、复审、ChinaMM2026会议宣读和终审 4 个阶段, 历时 4 个多月, 最终有 8 篇论文入选本专题. 根据主题, 这些论文可以分为 3 组.

(1) 世界模型推理与优化
《低轨卫星具身自主体的多模态世界状态推理方法》针对低轨卫星连续任务中状态分散、硬约束耦合和异常后全局重规划代价高等问题,将遥感图像、遥测序列、轨道环境与任务语义对齐为带可用性掩码的统一世界状态,实现了受影响时间窗口内的局部恢复控制.
《基于世界模型自校准的智能体终身学习方法》针对开放图形用户界面中状态转移幻觉引发的规划失效与错误级联问题,提出双层认知架构,两套系统分别负责状态推演和因果归因,形成驱动世界模型持续自校准的数据闭环.
《基于世界模型因果推断的图像压缩方法》突破将图像仅视为像素集合的传统建模方式,把自然图像刻画为受因果结构约束的世界场景切片,并将承载场景因果依赖的关键区域定义为因果锚点,构建以世界模型为推理引擎的编解码框架,为极低码率图像压缩提供了新的世界模型路径.

(2) 多模态理解与生成
《面向场景文字理解的通用多模态大模型OCR提示检索增强方法》针对通用多模态大模型对场景文字利用不足、OCR识别误差以及跨模态语义偏差等问题,提出任务感知的OCR提示检索增强方法,通过联合建模OCR标记的视觉与文本特征,检索与任务相关的关键文字并构造结构化提示,提升了场景文字问答与图像描述能力.
《基于复杂性评估的分流式人体动作生成》面向文本驱动人体动作生成中不同样本复杂性差异难以得到有效处理的问题,提出基于复杂性评估的分流式生成方法,利用动作方向、运动姿态与文本语义的匹配关系评估样本复杂性,改善了动作自然性与文本语义一致性.
《基于分块自回归与局部扩散的语音驱动动作生成》针对语音驱动长序列动作生成中的误差累积与扩散采样开销问题,构建分块自回归和局部双向扩散相结合的混合生成框架,以因果Transformer建模跨块长时依赖,引入条件引导与温度控制采样机制,兼顾动作的长程连贯性、局部表现力和语音同步性.

(3) 具身操作与决策
《面向机器人操作的技能级数据增广方法》针对视觉运动策略高度依赖大量真实示教的问题,提出以三维点云和轻量化场景编辑为基础的数据增广框架,将数据增广由自由空间中的运动规划阶段拓展到决定任务成败的技能完成阶段,提升了操作策略的鲁棒性和分布外泛化能力.
《面向恶劣天气的网络感知型车路协同自主决策系统》面向雨雪天气下感知退化、通信时延与丢包共同影响车路协同决策的问题,提出网络感知型自主决策系统,对外部协同消息进行有效性约束和可信度评估,构建空间、车辆和信息三层耦合模型,提升了复杂交通环境中决策的安全性、准确性与鲁棒性.

本专刊主要面向具身智能、世界模型、多媒体等多领域的研究人员和工程人员,反映了我国学者在具身推理与多模态世界模型领域最新的研究进展.感谢《软件学报》编委会和中国图像图形学会多媒体专业委员会、中国计算机学会多媒体技术专业委员会对专刊工作的指导和帮助,感谢专刊全体评审专家及时、耐心、细致的评审工作,感谢踊跃投稿的所有作者.希望本专刊能够对具身推理与多模态世界模型相关领域的研究工作有所促进.

孙立峰,博士,清华大学计算机系长聘教授,网络多媒体北京市重点实验室主任,中国图像图形学会多媒体技专委会副主任.长期从事网络多媒体、视频智能处理、多媒体边缘计算等领域的研究工作,承担了重点基金、重点研发计划、973、863项目.
蒋树强,博士,中国科学院大学特聘教授,中国科学院计算技术研究所客座研究员,博士生导师,国家杰出青年科学基金获得者,主要研究领域为图像/视频等多媒体内容分析、多模态具身智能,主持承担科技创新 2030—“新一代人工智能”重大项目、国家自然科学基金等项目 20 余项,先后获省部级或学会奖励五项。
姜育刚,博士,复旦大学副校长、教授,兼任智能机器人与先进制造创新学院院长,IEEE/IAPR/CCF Fellow.长期从事多模态人工智能与具身智能研究,担任国家自然科学基金委创新群体带头人,主持新一代人工智能国家科技重大专项、国家重大科研仪器研制项目等.发表论文300余篇,著有《人工智能：数据与模型安全》等中英文著作三部,多项发明技术在知名企业转化成效显著.以第一完成人获2023年度国家自然科学奖二等奖和4项省部级一等奖,获何梁何利基金奖、全国创新争先奖、科学探索奖等荣誉.
洪日昌,教授,合肥工业大学副校长.主要从事人工智能相关方向的研究工作,科研成果获得2015年度国家自然科学二等奖、2017年度安徽省自然科学一等奖和2020年度安徽省科技进步一等奖和2024年吴文俊人工智能科学技术一等奖,教学成果获得2023年度国家教学成果（研究生类）一等奖,入选国家级领军人才计划.
俞俊,博士,哈尔滨工业大学(深圳)教授.主持基金委重点项目、科技部重点研发项目、省杰青人才项目等.致力于图像处理与分析、多模态内容理解的研究.发表IEEE/ACM Trans及CCF A类论文百余篇,授权国家发明型专利30余项,谷歌引用2.4万余次.任IEEE TMM、IEEE TCSVT、Pattern Recognition等汇刊编委.曾以第一作者获IEEE TMM,TIP, TCYB等期刊的最佳论文奖,获省自然科学一等奖 2021（排名第一）.成果在人民日报、阿里等落地.
黄庆明,博士,中国科学院大学讲席教授,国家杰出青年科学基金获得者,百千万人才工程国家级人选并被授予“有突出贡献中青年专家”荣誉称号,享受国务院政府特殊津贴.主要研究方向为多媒体计算、图像与视频分析、模式识别、机器学习、计算机视觉等,主持承担了新一代人工智能国家科技重大专项、国家自然科学基金重点和重点国际合作项目、863课题、973课题、中科院前沿科学重点研究项目等国家和省部级项目.相关研究成果获得吴文俊人工智能自然科学一等奖、中国图像图形学会自然科学一等奖、教育部科技进步一等奖等多项国家学会和省部级奖励