针对LLM对话属性情感理解的多代理一致性反思
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP18

基金项目:

国家自然科学基金(62006166, 62376178, 62076175); 江苏高校优势学科建设工程资助项目; 软件新技术与产业化协同创新中心项目


Multi-agent Consistency Reflection for LLM-grounded Conversational Aspect Sentiment Understanding
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来, 针对对话文本的属性情感理解吸引了越来越多研究者的关注, 取得了一定的研究进展. 与已有的研究工作不同, 致力于探索大语言模型在对话属性情感理解任务上的性能, 并且认为对话属性情感理解任务存在属性指代映射问题和属性情感映射问题两个关键挑战, 严重制约对话结构下的属性情感理解的精度. 基于此, 提出大语言模型对话属性情感理解任务. 该任务致力于利用大语言模型抽取包含属性指代映射关系和属性情感映射关系的四元组, 并且标注了一个高质量的对话属性情感理解四元组数据集用于评估大语言模型在该任务上的性能. 进一步地, 针对上述对话属性情感理解存在的两个关键映射关系挑战以及大语言模型固有的幻觉问题挑战, 提出了一种多代理一致性反思方法. 该方法首先设计了3个子任务代理, 目的在于通过多代理的方式帮助模型捕捉对话结构下的上述两种映射关系; 其次提出了一致性增强的反思方法, 目的在于让模型通过多代理一致反思生成最优的结果, 以缓解大语言模型幻觉问题. 实验结果表明, 该方法在多个评估指标上优于当前主流的基准方法. 此外, 该方法相较于其他基准方法具有最优的对话属性指代关系抽取和属性情感抽取能力, 这将有力地促进大语言模型在对话结构下的细粒度情感理解方面的研究.

    Abstract:

    Recently, aspect sentiment understanding in conversational texts has received growing attention from researchers, leading to notable progress in the field. Unlike prior research, this study focuses on the performance of large language models (LLMs) in conversational aspect sentiment understanding tasks and highlights two primary challenges: aspect-coreference mapping and aspect-sentiment mapping. These challenges pose significant constraints on achieving accurate aspect sentiment understanding within conversational structures. To address these issues, the study defines a new task for LLMs in conversational aspect sentiment understanding, aiming to extract quadruples that encapsulate both aspect-coreference mapping and aspect-sentiment mapping relationships. A high-quality annotated dataset of conversational aspect sentiment quadruples has been created to evaluate the performance of LLMs on this task. To tackle the challenges of mapping relationships and mitigate the inherent hallucination issues of LLMs, this study introduces a multi-agent consistency reflection approach. This method involves the design of three sub-task agents to aid in capturing the complex mapping relationships within conversational structures. In addition, an enhanced consistency reflection is proposed, enabling the model to generate optimal results through multi-agent consensus, thus alleviating hallucination problems. Experimental results demonstrate that the proposed approach significantly outperforms state-of-the-art benchmarks. Furthermore, it exhibits superior capabilities in extracting aspect referential relationships and aspect sentiments, contributing to advancements in fine-grained sentiment understanding within conversational contexts using LLMs.

    参考文献
    相似文献
    引证文献
引用本文

刘一丁,王晶晶,罗佳敏,周国栋.针对LLM对话属性情感理解的多代理一致性反思.软件学报,2025,36(10):4753-4767

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-05-12
  • 最后修改日期:2024-07-21
  • 录用日期:
  • 在线发布日期: 2025-08-01
  • 出版日期: 2025-10-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号