文/中国人民大学信息学院?韩冰凝许伟

中国人民大学信息学院?许伟

引言

情感分析（SentimentAnalysis），旨在揭示人们对某个话题、人物或实体的观点、立场或者态度。在早期的研究中，情感分析的对象往往只是文本内容，单独使用文本进行分析具有一定缺点，即它只使用不足以提取准确意见的单词和短语作为线索，这可能会导致语言意义的分歧、语言稀疏性、与现实语境联系不足等问题。

随着社交媒体的发展，以及信息内容和信息载体的日益丰富，文字、视觉、听觉等多模态信息的构建为情感分析领域的发展提供了新契机。现如今，越来越多的人们喜欢通过视频或音频记录他们对产品使用的心得感受、对某个品牌的评价，或是对某个社会事件的看法，并将其分享在社交媒体上。相比于文字来说，视频在内容创作多样性上的潜力空间巨大，通常更具有吸引力和信服力，因此其影响力和辐射度也更广。在这样的视频或音频中，人物的面部表情、人声的语音语调、背景音乐的旋律，甚至脑电等生理信号都是传达情感信息的有效工具。

基于文本、图像和声音等多种感知途径获取样本的情感信息，并将其融合进行情感分析，无疑能够更全面地反映个人情感，大大提高准确性。因此，近年来多模态情感分析成为了自然语言处理和计算机视觉领域的热点研究方向。我们可以预见的是，在未来很长一段时间内，这种多模态情感分析方法都会成为多媒体内容分析与理解的主要手段（见图1），并能够广泛应用于多种场景，如股票市场预测、选举民意调查、客户满意度评估、新闻舆情感知、广告推荐等。

图?多模态情感分析的一般路径

多模态情感分析技术

1.文本情感分析技术。文本是情感分析的主要信息来源之一，而文本情感分析又可以进一步拆分为观点挖掘和情感挖掘两部分。前者更注重处理意见的表达，分析的结果为积极的、消极的或者中性的；后者则更