多模态人机对话技术：面向未来的智能助手 | CNCC2021

在5G等移动技术高速发展的背景下，多模态技术如语音、视觉、表情、唇动、手势、触觉等人机交互手段愈来愈重要。智能助手作为重要的人机交互的核心入口，随着多模态人机对话技术的发展，可以为用户提供更精准、主动和个性化的智能服务。

本论坛邀请了智能助手的端侧从业者，从终端应用的视角出发，探讨在多模态语音交互领域的技术创新，分享产业落地的进展与挑战。并邀约该领域的学术界专家，从个性化语音合成与分析、下一代对话系统等层面，详谈对话式AI在人工智能和人机交互领域的发展，介绍智能助手的方向与挑战，致力于使能智能助手在多场景中解决语义性、交互性、一致性的问题，打造可运用多技能满足人们的社交需求和信息需求的智能语言交互系统，为学术研究与应用实践提供探索。

陶建华

CCF常务理事、中国科学院自动化研究所

报告主题：个性化语音合成与分析

作者简介：陶建华，中国科学院自动化研究所、研究员、博士生导师，模式识别国家重点实验室副主任、国家杰出青年基金获得者，享受国务院政府特殊津贴。主要从事智能交互、大数据分析、模式识别等方向，在国内外主要期刊或会议上发表论文200余篇，研究成果多次在国内外学术会议上获奖。作为牵头人先后负责国家863重点项目、国家重点研发计划项目、国家自然科学基金重点项目、中科院先导项目、国家发改委项目等重点科研任务。目前担任中国计算机学会会士和常务理事、中国人工智能学会常务理事兼智能交互专委副主任、中国图象图形学会理事兼人机交互专委主任、中国中文信息学会理事兼语音信息专委副主任、ISCA Board成员、ISCA SIG-CSLP主席等，并担任IEEE TASLP、Speech Communication、JMUI等多个主要国内外期刊编委，同时担任Interspeech、ACII、IEEE ICSP、IEEE MLSP、ISCSLP、NCMMSC等会议大会主席或程序委员会主席。

报告摘要：目前语音合成技术已经日趋成熟，合成语音在听感上已达到以假乱真的程度，个性化语音合成技术能利用少量的声音数据进行适应性训练，实现模仿特定人的语气风格与音色特点的效果，该技术可广泛用于教育、生活、娱乐等很多领域中。而从另一个角度，由于这种个性化语音合成技术能够实现逼真的特定人员的语音模仿，又给声音的鉴别带来了挑战。本报告将对个性化语音合成，以及相对应的鉴别分析技术进行梳理与阐释，通过实例分析的方法，分别阐述这些技术的发展历程、研究现状和实现效果，并对技术的未来发展进行深入分析。 

杨振宇

OPPO小布智能中心NLP与对话算法负责人

报告主题：面向亿级用户的小布助手对话式AI算法系统实践与思考

作者简介：杨振宇，OPPO小布智能中心NLP与对话算法负责人，深圳市高层次人才计划入选者，于中国科学技术大学获得计算机学士和博士学位。近年来主要从事自然语言处理、对话式AI相关算法研究与落地应用工作。2015年之前任教于国防科学技术大学，学术论文代表作单篇他引超过800次，入选ESI Top 0.1%热点论文。所从事科研工作曾获高等院校（科学技术）科技进步二等奖1次、湖南省科技进步二等奖2次。2015年后加入工业界，专注于对话式AI关键算法技术研发与落地，2018年加入OPPO主导NLP与对话算法工作，帮助公司级战略产品小布助手实现从零到月活过亿的突破。

报告摘要：对话式AI是人工智能和人机交互领域非常重要的研究方向。作为全球知名的智能设备制造商，OPPO把万物互融作为未来的战略发展方向，而对话式AI则是该战略方向不可或缺的重要组成部分，对于打造全新智慧操作系统，为用户提供有趣、贴心的智能交互体验具有非常重要的意义。本报告将以OPPO小布助手对话式AI算法系统的发展历程为案例，分享亿级用户对话式AI系统的构建目标、要解决的关键算法问题、主要实践与思考，以及未来面临的挑战。

张伟男

哈尔滨工业大学副教授、博导，计算机科学与技术学院院长助理

报告主题：开放域角色化对话关键技术

作者简介：张伟男，哈尔滨工业大学副教授、博导，计算机科学与技术学院院长助理。研究兴趣包括人机对话及自然语言处理。在ACL、AAAI、WWW、IJCAI、IEEE TKDE等CCF A类国际会议及国际顶级期刊发表论文多篇，担任ACL2021、EMNLP2021领域主席、AAAI2021、2022高级程序委员会委员（SPC）及多个国际会议及期刊的程序委员会成员、审稿人及期刊编委。目前为中国计算机学会（CCF）术语审定工作委员会执委、YOCSEF哈尔滨主席、哈尔滨分部秘书长。主导研发了智能人机对话系统“笨笨”，上线至今拥有6000多微信平台用户，积累百万级人机对话数据对，2019年3月“笨笨”中的开放域人机对话功能成功落地到科大讯飞AIUI智能交互平台，月均被调用6000多万次。曾获黑龙江省科技进步一等奖及吴文俊人工智能科技进步二等奖等。

报告摘要：近年来，人机对话受到了学术界和工业界的广泛重视。在研究上，自然语言理解技术逐渐从序列标注向深度学习的方向发展，对话管理经历了由规则到有指导学习再到强化学习的发展过程，自然语言生成则从模板生成、句子规划，发展到端到端的深度学习模型。在应用上，基于人机对话技术的产品也层出不穷。然而，随着人机对话技术的进展以及人们对于人机对话类产品需求的多样化，使得通用对话系统在适应不同场景、面向不同群体时的角色化能力成为下一阶段人机对话技术和应用的重点发展方向。尽管近期以腾讯公司、科大讯飞公司为代表的人工智能企业推出了“虚拟人”的角色化对话系统，但人机对话系统的角色化技术仍然面临着诸多挑战。本次报告将从角色属性、说话风格和背景知识等方面，介绍开放域角色化对话的关键技术和研究趋势。

贾磊

百度语音首席架构师

报告主题：多模态语音交互领域的技术创新

作者简介：贾磊，男，1975年生人，2003年中科院自动化所获得博士学位，现任百度语音首席架构师。2010年加入百度，组建了百度语音团队，主导研发了百度语音识别和语音合成等一系列百度自有知识产权的语音核心技术。2012年，贾磊在百度内部首次推动深度学习技术落地在语音搜索产品。之后又研发了百度语音输入法、百度地图语音交互等一系列近场语音识别产品。2016年短暂创业后回归百度，又主持研发了小度音箱的远场语音交互、小度车载语音交互、百度鸿鹄语音芯片、百度智能语音呼叫中心、百度信息流的语音合成播报、百度如流的音视频通讯等一系列语音类产品。贾磊2014年获得北京市科技进步二等奖、2015年获得全国劳模称号、2018年获得中国专利银奖、2018年和2019年贾磊两次获得电子学会一等奖。

报告摘要：从算法创新角度，介绍了百度最新的基于conformer的流式多级截断注意力模型(SMLTA)的声学建模技术创新、语音语义一体化的音节/整句置信度技术、结合唇动检测的复杂场景下的语音交互技术。从算法和算力相结合的角度，本报告介绍了百度软硬一体的端侧芯片的研发设计思想，并重强调结合芯片创新的全端侧多模态语音交互系统的设计和实现架构。从业务落地角度，本报告会介绍百度语音创新技术在车载、音箱等多个场合的落地情况，并展示最新的语音交互技术带给人们全新的产品体验。