ADL131《向量学习与搜索》开始报名

李平（Ping Li）

微软LinkedIn公司杰出工程师（Distinguished Engineer）

讲者简介：李平，美国微软LinkedIn公司杰出工程师(Distinguished Engineer)、美国Rutgers大学客座教授。在斯坦福大学博士毕业后加入康奈尔大学任教，期间获得了美国海军杰出青年科学家奖（ONR-YIP）和美国空军杰出青年科学家奖(AFOSR-YIP)。加入微软LinkedIn公司之前，曾在百度公司工作。在2010年之前，较多专注向量数据压缩和检索算法、排序模型（learning to rank）、树模型和boosting算法的研究，其研究贡献了现今流行的主要树模型平台的多项基础算法包括二阶导分树公式和输入数据分箱算法，让boosted树模型精度大幅度提升，成为了现今流行树模型平台的基本算法。2010年后，专注大模型和向量数据库的基础算法，包括近似近邻检索、快速神经网络排序搜索、超大规模机器学习、分布式计算、哈希算法、差分隐私、联邦学习、自然语言和知识图谱、AI模型安全等。获得过NeurIPS、KDD、ASONAM、SIGIR、ICDM等会议的的最佳论文奖或最佳论文奖荣誉提名。最近几年，主要研究用大语言模型、大规模深度学习、视觉、知识图谱、近似近邻检索等在工业界做 “搜广推” （搜索、广告、推荐）。

报告题目：向量数据库和大模型，Vector Database and Big Models

报告摘要：介绍在向量数据库和大模型方向的研究：（A）向量压缩和量化算法；（B）向量快速检索和排序算法；（C）向量隐私保护算法；（D）向量相似度研究；（E）从向量检索到快速神经网络搜索；（F）大模型训练算法和平台；（G）深度神经网络高效训练；（H）分布式计算和自适应算法；（I）联邦学习。

李飞飞

阿里云数据库产品事业部负责人

讲者简介：李飞飞，ACM Fellow, CCF Fellow, IEEE Fellow。阿里云数据库产品事业部负责人。曾获ACM SIGMOD 2023最佳论文奖，EDBT 2022 Test-of-Time Award，IEEE ICDCS 2020最佳论文奖，ACM SoCC 2019最佳论文奖runner up，IEEE ICDE 2014十年最有影响力论文奖，ACM SIGMOD 2016最佳论文奖、ACM SIGMOD 2015最佳系统演示奖、世界互联网大会2019全球领先科技成果奖、浙江省科技进步一等奖、中国电子学会科技进步一等奖等。担任多个国际及国内一流学术期刊和学术会议的编委、主席，中国计算机学会CCF大数据专家委员会副主任，数据库专业委员会常委。带领团队研发了以云原生数据库PolarDB为核心的云数据库系统，实现了中国数据库市场份额第一，作为国内唯一数据库厂商连续3次进入Gartner全球云数据库市场分析报告领导者象限。

报告题目：云原生向量数据库: 挑战与机遇

报告摘要：在云计算时代，云原生分布式数据库因其弹性扩展、高可用、分布式等特性而获得了大量应用。数据库系统在快速的向云原生化、平台化、一体化、智能化的四化方向演进。随着大模型的快速发展和应用，海量向量数据的高效处理成为一个核心挑战，在面向retrieval plugin、私域数据(知识库)embedding等方向上有广阔的应用。如何提供一站式一体化的向量数据库能力，提供多维度融合智能查询和搜索面临很多关键挑战和机遇。报告将介绍云原生向量数据库的关键技术和进展，以及云原生数据系统和大模型结合的展望。

Matthijs Douze

Research Scientist，FAIR lab

讲者简介：Matthijs Douze， 自2015年11月起在巴黎Facebook人工智能研究实验室(FAIR)担任研究科学家。在Facebook，他致力于大规模索引（参见Faiss库）、图形机器学习以及图像和视频的相似性搜索。他在ENSEEIHT工程学院获得硕士学位，并于2004年在图卢兹大学获得博士学位。从2005年至2015年，Matthijs加入了INRIA格勒诺布尔的LEAR团队，他在多个领域进行了研究，包括图像索引、大规模向量索引、视频中的事件识别和类似视频搜索。在2010年至2015年期间，他还管理着INRIA的大型3D动作捕捉工作室Kinovis，并开发了用于构造实体几何操作的高性能几何算法。除了FAIR的一般研究主题外，Matthijs对处理图像并生成图形结果的高效算法也感兴趣。

报告题目：Similarity search and the Faiss library

报告摘要：在这次演讲中，我将涵盖近似最近邻搜索。有哪些权衡取舍？如何解决这些问题？然后我将介绍Faiss库如何在这些用例中发挥作用，设计选择有哪些？最后，我将提到一些尚未解决的挑战。

郭人通

Zilliz合伙人兼产品总监

讲者简介：郭人通，是Zilliz 的合伙人兼产品总监，他专注于开发以 AI 为中心的数据分析基础软件与系统。他是 Milvus 项目的系统架构师和 PMC成员，以及Towhee 项目的创始人，目前是 Zilliz 的产品负责人。他毕业于华中科技大学，获得计算机软件与理论博士学位。他的研究成果曾发表于SIGMOD，VLDB，USENIX ATC，ICS，IEEE TPDS等国际顶级会议和期刊。

报告题目：向量数据库的应用、技术、挑战

报告摘要：目前AIGC技术生态已经开始从模型扩散到基础软件，向量数据库，作为链接AI模型与海量非结构化数据的桥梁，正发挥越来越重要的作用。本次分享将介绍向量数据库基础、相关应用、向量数据库系统架构、 LLM + VectorDB + Prompt架构，以及向量数据库如何为大模型赋能。

Harsha Simhadri

Principal Researcher，Microsoft Research

讲者简介：Harsha Simhadri，微软研究院的首席研究员。他喜欢开发面向未来平台和实际系统的新算法。最近的例子包括应用于微软各种搜索和推荐场景的大规模最近邻搜索算法，以及用于微小物联网和边缘设备的新机器学习运算符和架构。在卡内基梅隆大学攻读博士学位期间，他曾研究具有可证明保证的多核处理器的并行算法和运行时系统。

报告题目：Approximate Nearest Neighbor Search algorithms for web-scale search and recommendation

报告摘要：Web规模的搜索和推荐场景越来越多地使用近似最近邻搜索（ANNS）算法，根据对象在几何空间中的学习表示的相似性来索引和检索对象。由于这些场景通常涉及数十亿甚至数万亿的对象，高效可扩展的ANNS算法对于使这些系统变得实用至关重要。然而，大部分文献中研究的算法要么仅关注百万级数据集，要么没有实际索引所需的特性，例如对实时更新的支持。在本次演讲中，我们将讨论在这个问题上的实证进展。具体而言，我们将介绍DiskANN，这是第一个能够在商用机器上索引十亿数据点并以交互延迟（几毫秒）高召回率提供查询的外部内存ANNS算法。这相当于每台机器索引的数据点数量比以前的工作增加了一个数量级。此外，该索引允许实时更新，并且其内存性能与其他最先进的索引相当。与Meta、Yandex、Baidu、GSI技术以及哥本哈根IT大学和卡内基梅隆大学的研究人员合作，我们组织了NeurIPS'21挑战赛，以鼓励开发面向十亿规模ANN搜索的新算法和硬件。我们将总结作为该挑战的一部分发布的数据集和结果。最后，我们将强调这个领域中一些未解决的问题，例如支持涉及相似性搜索和硬匹配组合的混合查询，对于超出分布范围的查询的准确搜索，以及更新的线性化等，并介绍一些初步实验。本工作与Ravishankar Krishnaswamy、Sujas J Subramanya、Aditi Singh、Rohan Kadekodi、Devvrit、Shikhar Jaiswal、Magdalen Dobson、Siddharth Gollapudi、Neel Karia、Varun Sivasankaran共同完成。NeurIPS'21挑战赛与George Williams、Martin Aumüller、Artem Babenko、Dmitry Baranchuk、Qi Chen、Matthijs Douze、Lucas Hosseini、Ravishankar Krishnaswamy、Gopal Srinivasa、Suhas Jayaram Subramanya、Jingdong Wang合作进行。

肖斌

首席研究员，微软Azure

讲者简介：肖斌，微软Azure计算机视觉研究组的首席研究员。他对尖端技术充满热情，并在多个领域专注于视觉与语言基础模型训练、神经网络架构设计、人体姿态估计和物体检测等方面。目前，他的研究重点是计算机视觉领域的大规模基础模型预训练以及图像/文本多模态学习技术的发展。值得注意的是，Bin负责建立微软最大的计算机视觉基础模型(Florence)项目。他的其他重要工作包括DaViT、CvT、UniCL、HRNet等。他的有影响力的工作对推进Azure认知服务、革新各种应用具有重要意义。

报告题目：A New Foundation Model for Computer Vision

报告摘要：自动化地理解我们多样化且开放的世界需要能够有效泛化并对特定任务进行最小定制化的计算机视觉模型，类似于人类视觉。计算机视觉领域的基础模型在这个使命中起着关键作用，它们通过在大规模多样化的数据集上进行训练，并能够适应广泛的下游任务。我们介绍了一种新的计算机视觉基础模型，名为Florence。Florence扩展了表示范围，从粗糙（场景）到细粒度（物体），从静态（图像）到动态（视频），从RGB到多种模态（字幕）。通过将来自Web规模图像-文本数据的通用视觉语言表示纳入其中，Florence模型可以轻松适应各种计算机视觉任务，包括分类、检索、物体检测、VQA、图像描述、视频检索和动作识别。此外，Florence在不同类型的迁移学习场景中展现出优秀的性能：完全采样微调、线性探测、少样本迁移和对于新图像和物体的零样本迁移。

陈琪

首席研究员，微软亚洲研究院

讲者简介：陈琪，微软亚洲研究院系统研究组的首席研究员。她于2010年和2016年在北京大学获得计算机科学学士学位和博士学位，在那里与导师肖臻教授一起从事分布式系统、云计算和并行计算的研究。2013年至2014年，她作为访问学生在纽约大学的系统组中，在李金扬教授的指导下从事分布式数组框架的研究。她在顶级会议和期刊上发表了20多篇论文，其中一些论文获得了重要奖项，如OSDI最佳论文奖和NeurIPS杰出论文奖。她目前的研究兴趣包括分布式系统、云计算和深度学习算法和框架。

报告题目：Vector Search and Vector Database

报告摘要：近年来深度学习的最新进展使得各种类型的数据都能被映射为高维向量。目前最先进的向量搜索库主要关注如何在内存中进行快速高召回率的搜索。然而，在极大规模的向量搜索场景中存在一些挑战。例如，数百亿个向量与有限的内存结合在一起会导致容量问题。同时，扩展性也是一个问题，增加服务机器的数量会增加查询延迟和计算成本。此外，高维向量索引不具备单调性，而单调性是传统索引的一个关键属性。缺乏单调性使得现有的向量系统不得不依赖于保持单调性的临时索引，用于目标向量的TopK最近邻，以便实现近似相似性搜索和关系运算的复杂查询。这导致了性能的下降，因为很难预测最优的K值。在本次演讲中，我们介绍了SPANN，一个分布式基于磁盘的ANNS系统，已经集成到Bing中，可以实现数百亿规模的向量搜索，并以毫秒级的响应时间。此外，我们还介绍了VBASE，一个向量数据库系统，它能有效处理基于一种称为放松单调性的共同属性的复杂查询。这种方法将两个看似不兼容的系统统一起来，提供了比现有最先进的向量系统高出三个数量级的性能。