回顾：CCF YOCSEF TDS专题探索班《深度强化学习的理论、算法与应用》

      2018年7月29日，CCF YOCSEF TDS专题探索班《深度强化学习的理论、算法与应用》在中科院计算所一层报告厅举行，来自学术界和工业界的120余人参加了本次活动。本次TDS专题探索班的执行主席由YOCSEF总部学术委员会主席、清华大学长聘副教授唐杰博士和YOCSEF总部学术委员会学术秘书、滴滴出行科技合作总监吴国斌博士共同担任。

      CCF YOCSEF专题探索班旨在对特定领域的基础理论、关键技术以及当前热点应用进行深入探索性的介绍，并对如何开展本领域前瞻性的研究等进行探讨。使参加者在了解学科专题基础、提高理论水平的同时，掌握本领域最新技术动态，了解未来技术趋势。

      深度强化学习是目前人工智能领域的最火的研究热点之一。它以一种通用的形式将深度学习的感知能力与强化学习的决策能力相结合，被看作是最接近于通用人工智能的范式之一。自提出以来，在许多需要感知高维度原始输入数据和决策控制的任务中，深度强化学习方法已经取得了实质性的突破。

      为了增进在深度强化学习领域学者间的交流与互动，让学员系统了解深度强化学习的理论基础，并通过工业界的实例掌握本领域的最新技术前沿和动态，本次报告会邀请到了学术界和工业界的五位重量级专家学者做主题报告。深入浅出的以案例入手，讲解了深度强化学习的理论、算法以及在出行、自然语言处理以及自动驾驶方面的应用；最后从可解释性的角度阐述了深度学习面临的挑战和机遇。

      滴滴出行副总裁、AI Labs主任、首席科学家叶杰平博士分享了“深度强化学习在滴滴的探索与实践”。他首先介绍了滴滴的科技战略AI for Transportation和滴滴在AI的布局，随后讲解深度强化学习如何在滴滴场景，特别是在路径规划、预估到达时间（ETA）和智能分单技术上的应用。

      微软亚洲研究院资深研究员/经理秦涛博士分享了“Towards Robust and Efficient Reinforcement Learning”。他首先介绍了深度强化学习面临的包括robustness和efficiency等方面的七大挑战，并详细介绍了微软亚洲研究院近期两个研究项目：组合多个梯度保证鲁棒性和更好利用历史数据保证抽样效率。

      清华大学副教授，清华大学计算机系人工智能实验室副主任黄民烈博士分享了“自然语言处理和搜索中的深度强化学习应用”。他重点介绍了深度强化学习在自然语言处理中如何处理非直接信号的弱监督学习问题，并介绍如何利用有限、弱、非直接的监督信号实现学习目标。同时也分享了强化学习在自然语言处理应用中的一些经验和教训。

      滴滴AI Labs时空序列首席科学家，南加州大学计算机系终身副教授刘燕分享了“Interpretable Machine Learning Models via Neural Interaction Detection”。她首先通过医生和病人对预测糖尿病模型的疑惑等案例介绍了对于可解释机器学习的重要性，然后详细介绍了两种可解释性的机器学习：间接解释和直接解释。

      清华大学计算机系邓志东教授分享了“自动驾驶端到端事件感知-决策的深度策略梯度方法”。他介绍了传统强化学习方法从离散到连续空间基于深度神经网络的扩展，并以棋类通用人工智能围棋程序AlphaZero为例，诠释了完美信息博弈下深度强化学习与蒙特卡洛树搜索深度整合所取得的里程碑式的重大突破。最后提出利用深度策略梯度方法研究自动驾驶端到端行为决策自主学习的思路与技术实现途径，指出这将是开放环境下非完美信息动态博弈下的深度强化学习新战场。

YOCSEF TDS特邀讲者与执行主席合影

 YOCSEF TDS特邀讲者与参会者合影留念

      来自北京工业大学信息学部的学员王伟东会后感言：作为一名高校一线教师，从教学的角度来讲，手里欠缺的是一些能落地的深度强化学习案例，用来激发学生的学习兴趣，感谢工业界的讲者给我们提供了非常好的应用场景案例和数据；从科研的角度来讲，深度强化学习是目前比较火的研究领域，演讲者从算法、应用中提炼了当前深度强化学习中还没解决或需要进一步完善的科学问题，并以企业需求为导向，给高校科研工作者提出了进一步的科研方向，使我们科研工作者少走了很多弯路。这次会很成功，我身边有来自企业的工程师，有来自高校的教师，也有很多对深度强化学习感兴趣的高校研究生，和大家一起交流分享，既交到了朋友，也收获了知识！

      来自蚂蚁金服人工智能部的学员也感言：本次YOCSEF TDS活动很有价值。关于深度强化学习专题的报告会相比于其他AI大会感觉相对较少，但其实这种专题探索班上的分享和讨论更加聚焦，而且质量很高。我尤其为看到强化学习在autoAI的布局感到欣喜，十分喜欢这样报告少而精的活动，感谢组织者和演讲嘉宾。

      本次报告会得到了学员极大的认可，匿名调查问卷统计显示，有97.4%的学员对报告会表示满意。五位专家也和在场的学员做到了全程互动，且五位专家都留到了报告会结束后才离开。本次报告会得到了CCF、CCF YOCSEF总部和分论坛的大力支持，以及多个兄弟新媒体公众号的大力宣传。据了解，CCF YOCSEF专题探索报告会还会在近期围绕其他研究热点话题邀请专家分享，敬请关注CCF YOCSEF公众号查收新一期活动。

CCF YOCSEF微信公众号