情感分析的终极形态：全景式细粒度多模态对话情感分析基准PanoSent
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。
如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
罗盟，本工作的第一作者。新加坡国立大学（NUS）人工智能专业准博士生，本科毕业于武汉大学。主要研究方向为多模态大语言模型和 Social AI、Human-eccentric AI。
情感计算一直是自然语言处理等相关领域的一个火热的研究课题，最近的进展包括细粒度情感分析（ABSA）、多模态情感分析等等。
新加坡国立大学联合武汉大学、奥克兰大学、新加坡科技设计大学、南洋理工大学团队近期在这个方向上迈出了重要的一步，探索了情感分析的终极形态，提出了 PanoSent —— 一个全景式细粒度多模态对话情感分析基准。PanoSent 覆盖了全面的细粒度、多模态、丰富场景和认知导向的情感分析任务，将为情感计算方向开辟新的篇章，并引领未来的研究方向。该工作被 ACM MM 2024 录用为 Oral paper。
在人工智能领域，让机器理解人类情感是迈向真正智能化的重要一步。情感分析是自然语言处理领域的一个关键研究课题。通过多年的研究，情感分析在各个维度和方面取得了显著的发展。该领域已从传统的粗粒度分析（如文档和句子级别分析）发…
[section][img: link=https://mmbiz.qpic.cn/sz_mmbiz_png/KmXPKA19gWicABY1YmZuAX5zBYzibqxe4K82cK5FPib8ZI5bicoIwVQBwlndm9udLe4fwwfy9dYQgT7ICria3yjFS1w/640?wx_fmt=png&from=appmsg][/section]论文地址：https://www.arxiv.org/abs/2408.09481
项目地址：https://panosent.github.io/
研究背景
在人工智能领域，让机器理解人类情感是迈向真正智能化的重要一步。情感分析是自然语言处理领域的一个关键研究课题。通过多年的研究，情感分析在各个维度和方面取得了显著的发展。该领域已从传统的粗粒度分析（如文档和句子级别分析）发展到细粒度分析（例如 ABSA），融合了广泛的情感元素，并发展出提取目标、方面、观点和情感等不同的情感元组。此外，情感分析的范围已从纯文本内容扩展到包括图像和视频的多模态内容。
因为在现实世界场景中，用户通常通过多种多样的多媒体更准确地传达他们的观点和情绪，提供超越文本的附加信息，如微表情、语音语调和其他线索。此外，研究已超越单一文本场景，考虑更复杂的对话情境，在这些情境中，个体在社交媒体平台（例如 Twitter、Facebook、微博、知乎、小红书、抖音等）上频繁进行关于服务、产品、体育等的多轮、多方讨论。
尽管情感分析领域已取得显著进展，目前的研究定义仍然不够全面，无法提供一个完整且详细的情感画面，这主要是由于以下几个问题。
首先，缺乏一个综合定义，将细粒度分析、多模态和对话场景结合起来。在现实生活应用中，如社交媒体和论坛上，这些方面往往需要同时考虑。然而，现有研究要么在多模态情感分析定义中缺乏详细分析，要么在对话 ABSA 中缺失多模态建模。最完整的基于文本的 ABSA 定义仍然无法完全涵盖或细致划分情感元素的粒度。
其次，当前的情感分析定义只考虑识别固定的静态情感极性，忽略了情感随时间变化或因各种因素变化的动态性。例如，社交媒体对话中的用户最初的观点，可能会在接触到其他发言者的新信息或不同观点后发生变化。
第三，也是最关键的，现有工作没有彻底分析或识别情感背后的因果原因和意图。人类情感的激发和变化有特定的触发因素，未能从认知角度理解情感背后的因果逻辑意味着尚未根本实现人类级别的情感智能。总的来说，提供一个更全面的情感分析定义可能会显著增强这项任务的实用价值，例如，开发更智能的语音助手、更好的临床诊断和治疗辅助以及更具人性化的客户服务系统。
为填补这些空白，本文提出了一种全新的全景式细粒度多模态对话情感分析方法，旨在提供一个更全面的 ABSA 定义，包括全景情感六元组提取（子任务一）和情感翻转分析（子任务二）。如图 1 所示，本文关注的是涵盖日常生活中最常见的四种情感表达模态的对话场景。
一方面，作者将当前的 ABSA 四元组提取定义扩展到六元组提取，包括持有者、目标、方面、观点、情感和理由，全面覆盖更细粒度的情感元素，提供情感的全景视图。
另一方面，作者进一步定义了一个子任务，监控同一持有者在对话中针对同一目标和方面的情感动态变化，并识别导致情感翻转的触发因素。在六元组提取和情感变化识别中，作者强调辨别潜在的因果逻辑与触发因素，力求不仅掌握方法，还要理解背后的原因，并从认知角度进行分析。
论文地址：https://www.arxiv.org/abs/2408.09481
项目地址：https://panosent.github.io/
研究团队构建了一个包含 10,000 个对话的大规模高质量数据集 PanoSent，数据来自现实世界的多样化来源，情感六元组元素经过手动注释，并借助 GPT-4 和多模态检索进行扩展。通过严格的人工检查和交叉验证，确保数据集的高质量。PanoSent 数据集首次引入了隐式情感元素和情感背后的认知原因，覆盖最全面的细粒度情感元素，适用于多模态、多语言和多场景的应用。
多模态
情感分析
情感智能
基准模型
细粒度
认知导向
全景式
PanoSent，一项全新的全景式细粒度多模态对话情感分析基准
任务模型
全景式情感六元组抽取
情感翻转分析
模型构建
多模态信息处理
多模态大语言模型
Sentica，多模态信息处理模型
链式情感推理框架
CoS，基于思维链的推理框架
Check验证机制
PpV，基于复述的验证
数据集构建
合成数据
真实数据
验证实验
主实验结果
合成数据实验
多模态信息
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
情感分析的终极形态：全景式细粒度多模态对话情感分析基准PanoSent
