一、项目名称
认知智能驱动的多模态自然人机交互关键技术及应用

二、候选单位
1、北京中科汇联科技股份有限公司；2、清华大学；3、北京大学

三、候选人
1、游世学；2、王东；3、王厚峰；4、刘永进；5、王丙栋；6、郭锐；7、张晓东；8、乔亚飞；9、易冉

四、项目简介
       随着人工智能技术的发展，人与机器的共生与共融成为未来社会生产生活的基础范式。这一范式的基础构件是人与机器的交户模式。机械的、刻板的交互设计不仅不会提高效率，反而会给人们设置障碍，甚至带来伤害（如老人在智能机器面前的弱势）。基于此，智能的、和谐的、自然的人机交互显得越来越重要。
本成果是一个智能认知驱动的多模态自然人机交互系统及相应的工具套件。该成果包含如下技术内容：

1、多模态融合的人机交互设计。该设计了包含视觉、语音、文本等多种交互模式，通过隐空间信息共享, 打破了模态之间的信息壁垒，提高了信息传导的效率和可靠性。为解决语音信号的信息混杂问题，提出了语音信息分解方法，实现了多层次语音信息的协同学习。为解决用户细微情绪感知的困信，提出了基于稀疏光流主方向特征的微表情识别方法，提高了情绪感知能力。为了处理用户意图的复杂性，提出了基于图神经网络的语义感知模型，大幅提高了对用户意图的理解能力。

2、认知驱动的人机对话引擎。设计了结构化知识与感知数据相结合的信息表示机制以及深度神经网络和贝叶斯模型相结合的推理机制，解决先验知识与感知信息的融合问题。设计了基于认知的多轮对话生成方法及复杂意图识别方法，从而提高了复杂交互的自然性。设计了通用的知识图谱设计工具，实现了新领域的快速迁移。构建了从无结构数据中提取结构化知识的自学习工具，实现了系统的自适应。

       虚拟数字人原型。将多模态交互界面与认知对话引擎相结合，构造虚拟数字人原型。为克服数字人模型的构造困难，建立了标准数字人的工业标准，保证了生成效率与质量。

       本项目截至目前共获得了22项发明专利，软件著作权23项，发表论文11篇，著作2件。项目成果形成了包括智能客服、智能金融、智能政府、智能机器人等解决方案，已在近20000家客户得到应用。在政府、银行、保险等行业，连续五年市场占有率蝉联第一。

 
五、直接经济效益、推广应用情况及社会效益
5.1 直接经济效益（技术开发类）

六、主要知识产权和标准规范等支撑材料目录（限15个）

七、提名意见
       该项目针对目前传统人工智能架构、多源异构知识学习及理解、系统自学习复杂度高等瓶颈，研发了具有自主知识产权、技术先进的认知智能驱动的多模态自然人机交互系统，突破基于稀疏光流主方向特征的微表情识别算法、多模态的情感分析算法瓶颈，建立多模态智能交互的信息标准及虚拟数字人的工业化标准。

       该项目截至目前共获得了22项发明专利，软件著作权23项，发表论文11篇、著作2件。该项目成果形成了包括智能客服、智能金融、智能政府、智能机器人等解决方案，已在近20000家客户得到应用。在政府、银行、保险等行业，连续多年处于智能人机交互领域前列，社会效益显著。

       同意提名科技进步奖（技术开发类）一等奖和二等奖。