ADL154《大模型安全与对齐》开启报名

讲座题目：联邦大模型的10个研究问题

讲座摘要：随着大模型的发展，人工智能（AI） 进入了一个新时代。大模型在具体应用时的一个挑战是如何把通用大模型的知识迁移到本地化的小模型上，同时保护各方的隐私和数据安全。在本次演讲中，讲者 将讨论如何在大模型的背景下使用“联邦大模型”的框架进行大模型的本地化。讲者将首先回顾AI的发展和联邦学习的概念，然后讨论如何把联邦学习、迁移学习和大模型有机地结合，使得大模型的落地应用更加顺畅和便捷。

讲者简介：杨强，加拿大工程院及加拿大皇家学院院士，微众银行首席人工智能官，香港科技大学荣休教授，第四范式公司联合创始人，AAAI-2021大会主席，国际人工智能联合会（IJCAI）理事会前主席，香港人工智能与机器人学会（HKSAIR）理事长，智能投研技术联盟（ITL）和开放群岛开源社区（OI）主席，《ACM TIST》和《IEEE TRANS on BIG DATA》创始主编，CAAI，AAAI，ACM，IEEE，AAAS等多个国际学会Fellow。研究方向包括迁移学习和联邦学习研究及应用，著作包括《迁移学习》、《联邦学习》、《隐私计算》和《联邦学习实战》等。

讲座题目：大模型对齐：探索基本价值观对齐与精准神经元控制

讲座摘要：大模型如何准确理解和反映人类基本价值观成为一个核心问题。本报告探讨在宏观层面对基本价值观进行对齐的路径，以及在微观层面通过神经元级控制实现精确对齐的可行性和技术方法。讲者发现精确的价值观对齐和神经元控制不仅提升了模型的行为一致性，还增强了模型的可解释性和安全性。

讲者简介：王希廷，中国人民大学高瓴人工智能学院准聘助理教授，研究方向为模型可解释与对齐。担任IJCAI、AAAI领域主席，Q1期刊Visual Informatics编委，加入IEEE VIS组委会担任档案主席。论文两次获选CCF-A类期刊IEEE TVCG封面论文，相关成果落地全球占有量第二的必应搜索引擎及Outlook、MSN等产品，获得CCF自然科学二等奖及专利。获选AAAI 2021杰出SPC。

讲座题目：跨模态大模型对齐

讲座摘要：对齐技术主要解决让大模型在后训练阶段满足有用、诚实、无害的要求。基于人类反馈的强化学习RLHF被证明是一种有效的对齐语言模型的方法。在本讲中，讲者将介绍RLHF方法的挑战，面向跨模态模型，阐述在安全对齐、价值对齐、超级对齐上的一些新方法，新思考。

讲者简介：杨耀东，北京大学人工智能研究院助理教授。国家高层次留学人才、高层次青年人才、中科协托举计划获得者。研究方向为智能体安全交互与价值对齐。在AI领域顶会顶刊发表论文100余篇，谷歌引用五千余次，获得国际最佳论文奖/提名奖3次，新星奖2次。

讲座题目：多模态大模型的安全性与可信性

讲座摘要：多模态大模型近年来取得了快速发展，深刻改变了人们理解和生成图像、文本等数据的方式，并催生了如GPT-4o、Gemini、Sora等代表性成果。然而，尽管多模态大模型取得了巨大成功，其在安全性和可信性方面仍然面临着严峻的挑战。例如，这些模型很容易被诱导生成有害内容，易受对抗性攻击的干扰，且存在显著的隐私风险。本次报告将系统性介绍多模态大模型所面临的安全风险以及发现这些风险的方法。然后讨论如何降低多模态大模型的风险，保证其安全性。最后，本报告将介绍评估多模态大模型可信性的综合基准MultiTrust并展望未来可能的发展趋势。

讲者简介：董胤蓬，清华大学计算机系博士后研究员，导师为朱军教授。主要研究方向为对抗机器学习、人工智能安全，在TPAMI、IJCV、CVPR、NeurIPS等顶级国际期刊和会议上发表论文五十余篇，谷歌学术引用近一万次。担任ICLR2025领域主席，TPAMI、IJCV、ICML等期刊和会议审稿人，曾在ICML2021、AAAI2022等国际会议上组织了对抗机器学习专题研讨会。获NeurIPS2017首届国际人工智能对抗攻防赛等10余项竞赛冠亚军。曾获得CCF优秀博士学位论文激励计划、清华大学优秀博士后、微软学者奖学金、百度奖学金等，连续两年入选全球前2%顶尖科学家榜单。

讲座题目：From (M)LLMs to Agents: Reliability, Safety, and Generalizability

从大语言模型到智能体：可靠性，安全行和泛用性

讲座摘要：大语言模型已经变革了许多领域。特别地，大语言模型用于开发与虚拟或现实世界交互的智能体，并能处理各种任务，这将极大地影响我们未来的生活。在本报告中，讲者将首先介绍智能体中重要的基本概念，他们在多样的应用中的泛用性，然后讨论这些智能体的局限和潜在风险。

讲者简介：邵婧，毕业于香港中文大学MMLab，曾任商汤科技研究总监，现任上海人工智能实验室青年科学家，负责研究自主、可控、可信AI，聚焦多种模态大模型及智能体安全评测与价值对齐相关研发工作。十年以来长期从事城市级的大规模视觉感知理解，及应用安全分析。在相关领域学术成果累计发表 SCI/CCF-A 论文 50 余篇，申请发明专利超 30 项，谷歌学术引用 8700 余次。多次担任学术竞赛和论坛主席，在多次国际比赛中获第一名。

讲座题目：大模型水印技术

讲座摘要：以ChatGPT为代表的生成式人工智能已经取得了显著的进步，但这些进步引发了对滥用的担忧，例如生成假新闻或抄袭内容。本教程介绍了文本水印作为一种解决方案，在大模型生成的文本中嵌入可检测的模式以验证其来源。我们将涵盖文本水印的演变，其现代技术和挑战，以及用于版权保护的模型水印。参与者将对水印方法，其实际应用以及这一关键领域的未来研究方向有扎实的了解。

讲者简介：

李磊，卡耐基梅隆大学计算机学院助理教授。研究方向为机器翻译、大语言模型、人工智能制药。本科毕业于上海交通大学计算机系ACM班，博士毕业于卡耐基梅隆大学计算机系。曾先后任加州大学伯克利分校博士后研究员、百度美国深度学习实验室少帅科学家、字节跳动人工智能实验室创始总监、加州大学圣巴巴拉分校计算机系长聘副教授。曾获CCF青竹奖、ACL最佳论文奖、吴文俊人工智能二等奖，ACM SIGKDD最佳博士论文Runner-up奖。研发出的产品火山翻译和小明写稿机器人获广泛使用。

王宇翔，加州大学圣地亚哥分校Halıcıoğlu数据科学研究所副教授，同时也是计算机科学与工程系的成员。他创建并担任可规模化统计机器学习实验室主任。在加入UCSD之前，他于2018年至2023年间在加州大学圣巴巴拉分校计算机系担任教职，并在2017年至2018年间在亚马逊担任科学家。王宇翔于2017年从卡内基梅隆大学（CMU）获得统计学与机器学习博士学位。他的研究兴趣包括统计理论与方法、差分隐私、强化学习、在线学习和深度学习。他的工作得到了美国国家科学基金会CAREER奖、亚马逊机器学习研究奖、谷歌研究学者奖、Adobe数据科学研究奖的支持，并在KDD'15、WSDM'16、AISTATS'19和COLT'21获得论文奖。在学科服务上，他曾担任CPAL程序委员会主席，ICML、NeurIPS、ICLR、AISTATS、COLT的领域主席，以及TMLR和IEEE TIT的执行编辑。

赵宣栋，加州大学伯克利分校博士后研究员。研究方向为大语言模型、机器学习、人工智能安全。本科毕业于浙江大学计算机系，博士毕业于加州大学圣巴巴拉分校计算机系。曾在谷歌、微软、阿里巴巴等公司实习，在机器学习和自然语言处理顶会上发表多篇论文。曾获加州大学圣巴巴拉分校校长奖学金。

讲座题目：大模型的生成质量与安全性评价

讲座摘要：大语言模型在众多自然语言处理任务上均达到最优性能，其文本生成能力已逐渐接近人类水平，这给生成文本的自动评价带来了巨大的挑战。因此，如何准确评价大模型的生成质量和安全性成为了当前自然语言处理领域的研究热点。本次报告将围绕大模型生成质量与安全性评价的核心问题和挑战，从数据、方法、平台等多个层面介绍该方向的前沿研究工作，同时探讨如何利用评价结果作为反馈信号来自动提升大模型的生成质量和安全性，实现大模型的高效对齐。

讲者简介：柯沛，电子科技大学特聘副教授，博士毕业于清华大学计算机系。主要研究方向是大语言模型、自然语言生成和对话系统。近年来，在ACL、EMNLP、IJCAI、ICLR、ICML、TACL等国际顶级会议和期刊上共发表论文20余篇，获NLPCC 2020最佳学生论文奖。谷歌学术总引用量1200余次，曾担任ACL、EMNLP、NAACL等国际会议的领域主席。担任中国中文信息学会大模型与生成专委会副秘书长，入选2023年度博士后创新人才支持计划，主持国家自然科学基金青年科学基金项目、中国博士后科学基金面上资助项目。