正文
选择脑电情感交互通道时,通过设定的脑电情感识别算法对脑电信号进行预处理、特征提取、特征选择、模型构建和情感识别,并将识别结果和相应的脑电波形在脑电情感识别模块中显示出来。
在有需要时,还可以将脑电情感识别结果输出给相应设备,使设备能够结合用户的情感状态做出相应的反馈。
此外还可以将脑电情感识别结果与语音、人脸表情和肢体语言等情感识别结果结合起来考量,做出综合判断和相应的反馈。
得到以上不同种类的识别信息后,系统将对不同情感信号进行信息融合处理。
信息融合可定义为利用计算机技术对按时序获得的若干传感器观测信息,在一定准则下加以自动分析和综合以完成所需的决策和估计任务而进行的信息处理过程。
当进行多模态情感交互时,通过多通道传感器获取交互者当前情感状态下不同模态的情感信号,再进行数据融合与决策。
其关键是多模态的情感识别算法,即将各通道的情感特征数据融合,并按照一定的规则进行决策,从而判别出多模态信息所对应的情感类别属性。
识别情感、察言观色只是人机交互过程情感机器人的第一步,接下来,它也需要像人一样,去理解对方的情感意图。
在实际交流中,这是人们对情感机器人的自然期望。
对于情感机器人来说,实现个人情感意图的理解,是保证人机和谐交互的关键。
情感意图理解是在情感意图关联性分析的基础上,进一步研究如何从情感表层信息和深层认知信息中,挖掘和发现更深层、更细致的情感意图理解理论、方法和技术,实现基于用户情感、表层交流信息以及特定场景的用户个人情感意图理解,最终实现自然和谐的人机交互。
基于以上背景,研究团队提出了一种基于模糊加权法的三层模糊支持向量回归情感意图理解模型。
该模型包括三层,即信息分类层、信息学习层以及信息理解层。
主要应用了模糊分析、机器学习以及聚类等方法。
该模型可以融合个人情感信息以及性别、年龄、省份,实现在人机交互过程中个人情感的意图理解。
研究人员采用轮式机器人完成情感意图的理解,设计了“酒吧喝酒”场景进行模拟试验。
研究人员作为“客人”在场景中评估情感机器人的行为适应机制,其中一个机器人作为“点单机器人”识别“客人”的多模态情感信息,并传递给工作站,工作站根据“客人”的不同情感下发指令给“送餐机器人”,为“客人”提供不同类别的酒水。
情感交流从来都不单向的,人与机器的交流亦是如此。
在多模态人机情感交互的研究中,机器人不仅需要通过多模态情感信息识别、理解人的情感状态,还要通过语音、面部表情、身体姿势等方式来表达机器人自身的情感,进行情感的反馈,从而实现友好的人机交互。
然而,人类的情感很难用指标量化,它微妙而不可言说,变化万千;
机器则恰恰相反,它由一堆冷冰冰的零部件组装而成,需要把看不见摸不着的“情感”量化成机器可理解、表达的数据产物。
那么,情感如何被量化呢?
多模态人机情感交互系统通过面部表情、语音和姿势来量化情感,表达机器人的情绪。
面部表情作为人体语言的一部分,对于人机交互中信息的理解有着重要的意义。
面部表情合成是利用计算机技术在屏幕上合成一张带有表情的人脸图像。
研究团队将人脸表情进行抽象化处理,简化为LED点阵阵列的形式,这样就可以通过控制机器人的点阵阵列,进行机器人表情的情感表达。
语音情感表达的关键是语音的合成。
语音合成的侧重点在于语音词汇的准确表达,因此相应地在情感方面比较欠缺,而如果能在传统的语音合成技术中加入富有表现力的情感,即情感语音合成,就可以使得语音表达的质量和自然度提高许多。
随着对语音信号的参数化表征和统计建模方法的日益成熟,有研究人员提出了基于建模的参数语音合成方法。
这种方法的主要流程如下:
首先对输入的语音数据进行参数化表征,接着进行声学参数的建模与训练,并以训练得到的模型为基础构建合成系统,然后对不同的输入利用参数生成算法分析后得到相应的普参数和基频,最后使用合成器得到最终的情感语音。