CNCC | 机器世界新技术——视觉端边云系统数字视网膜前沿技术和标准化

纪雯

中国科学院计算技术研究所研究员/博导

IEEE高级会员。致力于智能多媒体系统的研究，包括多媒体端边云系统、视频编码和传输、多媒体芯片设计、机器视觉编码等。主持承担了国家重点研发计划课题、国家自然科学基金、北京市自然科学基金等多项课题研究。近5年在国际相关领域著名期刊(IEEE TMC, IEEE TMM, IEEE TCSVT等)和会议发表论文100余篇，授权30余项专利。研究成果获2015年北京市科学技术奖、2016年北京市科学技术奖、2016 年中国专利优秀奖、2017年CCF科学技术奖技术发明奖等。受邀担任IEEE JSAC、IEEE WC、ACM TECS等国际期刊专刊的客座编委等。

王耀威

鹏城实验室研究员，鹏城实验室视觉智能研究所所长

2005年获得中国科学院大学计算机科学博士学位，2014年至2015年任伦敦玛丽女王大学视觉实验室的学术访问者。同时担任IEEE数字视网膜系统工作组主席和CIE、CCF、CSIG成员。在多媒体领域开展研究工作20余年，在CVPR、ACM MM、IJCAI等国际期刊和会议上发表论文120余篇，获50多项授权专利，得到多位国内外院士、IEEE Fellow的引用和认可。牵头/参与制定2项IEEE标准、2项团标。获2017年国家技术发明二等奖、中国电子学会2015年技术发明一等奖和2022年科技进步一等奖。

朱文武

清华大学教授/博导

CCF会士、清华大学计算机系，教授/博导，信息科学与技术国家研究中心副主任，大数据算法与分析国家工程实验室副主任，国家973项目首席科学家，国家基金委重大项目负责人。现主要从事媒体大数据分析与智能、网络多媒体智能计算等研究工作。曾任IEEE Transactions on Multimedia 指导委员会主席，IEEE Transactions on Multimedia主编。ACM Fellow、 IEEE Fellow、AAAS Fellow、SPIE Fellow、欧洲科学院外籍院士。

在上述研究领域发表高水平国际论文380余篇，拥有国际专利80余项。曾10次获ACM及IEEE等国际最佳论文奖，包括2012年国际多媒体顶级会议ACM Multimedia（唯一）最佳论文奖、2001和2019年IEEE Transactions on Circuits and Systems for Video Technology（唯一）最佳论文奖。获2018年度国家自然科学二等奖、2012年度国家自然科学二等奖、2022年度教育部自然科学一等奖（排1）、2020年度中国电子学会技术发明一等奖（排1）。

多媒体智能

过去十年，大量新兴多媒体应用和服务出现，产生了海量多媒体数据，极大地促进了图像/视频内容分析、多媒体搜索与推荐、多媒体流化与内容分发等的迅猛发展。与此同时，人工智能(AI)在近十年经历了一波“新”的发展浪潮，取得了巨大成功和应用。本报告介绍多媒体智能这一概念，从以下两方面探讨多媒体与人工智能的相互影响：1）多媒体语义信息促进人工智能向可解释性的研究范式发展；2）人工智能反过来为多媒体理解的可推理性和泛化性注入了新思维。多媒体和人工智能由此交互式地彼此增强，形成闭环。最后，我们探讨多媒体边缘智能新进展，包括针对多样化边缘环境的硬件感知模型搜索与混合精度轻量化，以及面向异构场景的精度-延迟联合感知的推理部署，赋能视网膜服务。

纪雯

中国科学院计算技术研究所研究员/博导

视觉端边云系统、数字视网膜技术及标准演进历程

视觉端边云架构是为人类视觉和机器视觉提供融合智能处理、编码、传输、计算的新体系。该结构改进了传统端云架构中云侧数据堆积汇聚的困境，通过端边云协同的计算方式，充分利用各类资源从而有效处理庞大的视觉类数据，在学术界和产业界迅速掀起研究热潮。数字视网膜系统（DRS）标准正是通过将关键技术标准化的方式将视觉端边云架构迅速推广至产业界。DRS是城市级视觉大数据汇聚、分析、处理的视觉智能系统标准，通过12个部分的系统性标准研发，从架构、技术、评价、应用、保障方面全方位覆盖产业链的各个环节。通过50多家学术界和工业界的单位4年以来的共同努力，已形成一套数字视网膜系统标准体系，并在IEEE发布了最早的端边云协同技术国际标准。本报告首先介绍视觉端边云架构的核心问题和关键技术，之后分享DRS标准的研制历程，最后分析该方向的发展趋势和潜在新突破。

叶龙

中国传媒大学教授/博导

中国传媒大学媒体融合与传播国家重点实验室研究员，数据科学与智能媒体学院副院长，媒介音视频教育部重点实验室（中国传媒大学）副主任，中国人工智能学会智能传媒专委会秘书长，中国通讯学会青年工作委员会委员，中国中⽂信息学会开源情报技术专委会委员，新一代人工智能产业技术创新战略联盟理事，北京市青年人才计划入选者。主要研究领域为智能媒体分析与计算，主持或骨干参与国家重点研发计划课题1项、国家自然科学基金重点项目2项、面上项目3项、青年项目1项，科技支撑计划1项。在沉浸式视听信息处理、音视频内容生成与鉴伪、情智信息分析与计算等领域公开发表SCI、EI检索论文100余篇，其中CCF A类期刊、会议论文30余篇，申请国内外发明专利20余项，研究成果在相关部门获得重要应用。获得IFTC Best Paper Award与PCM Best Paper Finalist，2022年获中国电影电视技术学会青年科技奖。

云边端协同架构下的语义信息传播

立足于网络视听全景式交互化新业态关键技术研发与应用示范国家重大需求，针对现有全景视频内容生产效率低、制作效果差，内容缓存和资源调度协同优化复杂度高等问题，以及基于媒体内容传播特性的云边端协同架构下的资源调度与分发机制的构建，介绍基于云的全景式交互化业务系统，进而对开展全景式交互化视频业务形态在IPTV、有线电视、5G、互联网等网络上的落地示范形成意见建议，推动内容生产供给侧结构改革，拓宽内容消费场景，助力区域文化传播。

张宁

百度智能视联网平台业务负责人

毕业于大连理工大学计算机专业，百度智能云媒体云部资深研发架构师，智能视联网平台业务负责人，带领团队成功落地包括城市治理、能源电力、智慧交通、智慧零售等多个方向的项目，推进完成视联网AI+各行业应用规模化复制。

百度智能视联网平台在数字视网膜方向的实践

数字视网膜模拟人类视觉系统的工作原理，实现对图像和视频的感知、分析和处理，随着5G和边缘计算的发展，数字视网膜系统基于云边端协同架构，可以灵活合理将算法、算力、存储资源分配到不同层次子系统，各个系统之间相互关联协作，为各种应用场景提供实时、准确和智能化的视觉分析能力；百度智能视联网平台深入行业视频场景，通过构建视图接入、视图计算、视图大数据分析实现云边端协同视觉计算架构，提供底层基础平台+视联网应用平台+行业视联网版本，落地实战应用，服务政府、能源、交通等多行业客户，以深耕多年的视频+AI技术能力深入各行各业，夯实智能化基础，助力产业智能化升级实现新突破。