【报名】TF47：AI技术落地过程中的实践问题探讨

段亦涛

网易有道首席科学家

个人简介：本科与硕士毕业于北京航空航天大学，于2007年获UC Berkeley计算机科学专业博士学位，研究方向包括大规模分布式计算，数据挖掘，机器学习，密码学以及安全和隐私。在博士期间加入有道，参与完成有道底层架构，目前任网易有道首席科学家，负责有道技术创新与相关实践工作。主要关注以深度学习为代表的最新AI技术在互联网各个领域的应用，包括机器翻译，图像识别等。主导了有道神经网络机器翻译YNMT等核心技术的研究和开发。

张广勇

网易有道 高性能计算研发专家

主题报告一：AI技术在教育智能硬件上的应用实践

主题简介：教育智能硬件是智能硬件+教育的融合，教育智能硬件最近几年得到迅速的发展，2020年教育智能硬件市场规模为343亿元，2024年有望接近1千亿元。AI技术是教育智能硬件中的关键技术，然而，智能硬件本地算力和内存等资源有限，落地越来越复杂的AI算法面临了众多的挑战。

本次演讲将首先介绍教育智能硬件面临的挑战——平衡质量、速度、内存、功耗、成本等指标，然后分别从算法和推理两个角度介绍我们常用的优化方法。算法优化将会介绍裁剪模型、共享参数、量化、知识蒸馏等方法。推理优化一是介绍我们自研的开源高性能端侧机器学习计算库EMLL的技术细节以及其在智能硬件中的应用效果，二是分享网易有道探索基于CPU+NPU异构计算平台的端侧AI落地实践。

个人简介：高性能计算研发专家，网易有道AI部门高性能计算技术负责人，10年高性能计算从业经验。曾任浪潮高性能计算研发工程师，负责传统科学计算、机器学习等行业的高性能应用软件的开发和优化工作。后续在某创业公司担任高性能计算架构师，负责CPU+GPU异构平台的分布式数据库研发。

2018年加入网易有道，负责AI平台建设、AI训练性能优化，云侧和端侧NMT、OCR、ASR、TTS等推理引擎实现和性能优化。

听众获益：

1.有道开源库——EMLL高性能端侧机器学习计算库，对端侧AI落地的作用

2.探索CPU+NPU异构计算方法，解决端侧AI性能和功耗瓶颈

袁进辉

一流科技 CEO

主题报告二：让大规模分布式深度学习变得更方便：来自OneFlow的方案

主题简介：训练诸如GPT-3这样的超大规模模型需要模型并行、流水并行等现有通用深度学习框架TensorFlow和PyTorch官方版本尚不支持的功能，人们不得不转而寻求各种定制化方案。一个很自然的问题是，是否有可能令通用深度学习框架灵活而高效的支持这些大规模预训练模型所需要的这些技术？OneFlow作为完全从头全新开发的深度学习框架提供了一个答案。借助“一致性视角”的概念，OneFlow可以帮助开发者像单机编程一样方便地开发分布式深度学习训练程序。在这次交流中，我将介绍“一致性视角”背后的核心思想以及新的编程接口，并与定制方案InsightFace, HugeCTR和Megatron-LM进行对比。

个人简介：2008年于清华大学计算机系获得工学博士学位（优秀博士学位论文奖），原微软亚洲研究院主管研究员（院长特别奖获得者），于2017年创立北京一流科技有限公司，致力于打造新一代深度学习框架OneFlow。兼任之江实验室天枢开源开放平台架构师，北京智源人工智能研究院大模型技术委员会委员。

听众获益：

1.了解深度学习框架的核心挑战和发展前沿；

2.了解训练大规模预训练模型背后的技术；

3.了解分布式深度学习框架最领先的解决方案。

赵一帆

快手算法专家

主题报告三：端上智能在快手短视频推荐的应用

主题简介：相对于传统的封面瀑布流推荐，上下滑推荐提供了高频交互的沉浸式用户体验。但是目前基于云计算的推荐系统架构，因网络延迟与云端算力瓶颈，客户端并不能根据每一屏视频反馈即时请求云端更新下一屏的推荐结果。现有成熟的方案采用了传统的分页协议，一次请求云端下发一批推荐结果，客户端也默认按云端推荐顺序展示。

我们引入端上智能，来解决上下滑高频交互推荐的问题，在客户端搭建热部署快速迭代算法策略的推荐引擎框架KIR(Kwai Instant Recommend)，使得客户端具备响应用户实时反馈进行实时推荐的能力。本次演讲会介绍KIR端智能框架与在短视频推荐的一系列应用。

个人简介：毕业于浙江大学, 曾就职于阿里巴巴手淘猜你喜欢团队和拼多多推荐算法团队，从事电商推荐系统、分布式机器学习算法框架研发。现于快手负责端上智能推荐引擎KIR(Kwai Instant Recommend)研发，并在快手短视频推荐与用户增长等业务上取得广泛应用。

听众获益：

1.了解快手端上智能在推荐领域前沿的技术成果 

2.了解上下滑推荐的建模技术 

3.了解快手端上智能未来与用户增长结合的技术展望

吴拓邦

百度资深研发工程师

主题报告四：从智能数据到边缘计算-百度AI开发平台技术解析与应用

主题简介：百度AI开发平台以飞桨为核心，提供全流程的AI开发能力，助力企业便捷的构建AI应用。本次分享主要面向数据治理与模型部署两个环节，介绍百度提供的一站式解决方案。

个人简介：百度资深研发工程师，目前就职于百度AI产品研发部，负责百度AI开发平台相关的技术研发工作。

听众获益：

1.了解百度在AI数据服务和边缘计算方面提供的解决方案；

2.了解百度AI开发平台的关键技术以及落地案例。

冯星月

图森未来 软件产品负责人

主题报告五：无人驾驶量产化道路的工程实践

主题简介：图森未来致力于打造可量产的L4级无人驾驶卡车技术，通过计算机视觉、深度学习等 AI 技术，使卡车具备在高速公路等场景下的全无人驾驶能力。这在工程实践中具有很大的技术挑战。

本次演讲将分享图森未来无人驾驶量产化道路的工程实践，介绍 AI 技术在实际落地过程中与产品、场景、业务等真实情况的矛盾，以及图森未来的探索与解决思路。

个人简介：从图森未来应用与基础架构部首位产品经理成长为软件产品负责人，为无人驾驶量产化道路上的研发、离线测试、道路测试全流程提供应用服务支撑。

听众获益：

1.了解L4级别无人驾驶技术的相关内容；

2.了解无人驾驶相关技术在落地过程中遇到的挑战及解决方案。