中国海洋大学CSInsider学生交流论坛第三期线上讲座成功举办

为加强中国海洋大学学生会员的专业培养和能力提升，为学生会员打造一个开放、自由、包容的学术交流平台，在指导教师高峰的倡议下，11月30日，中国海洋大学CSInsider学生交流论坛第三期线上直播讲座成功举办。本期讲座邀请的嘉宾为中国海洋大学2016级本科毕业生、复旦大学基础医学院医学图像处理与计算机辅助手术重点实验室博士研究生曲麟昊，其研究方向为AI计算病理学、医学图像处理、信息融合和数据挖掘，已在国际顶级学术会议和期刊发表论文共16篇，谷歌学术总引用量172，曾获得研究生国家奖学金、第二届《中国图象图形学报》研究生学术论坛报告一等奖。

本次报告的主题是“AI病理语言学家的崛起，探索双层提示学习用于小样本病理全切片分类”，提出少样本弱监督病理全切片图像分类(FSWC)，构建了一个基于提示学习和预训练的大型视觉-语言模型CLIP与大型语言模型GPT-4的多实例学习框架。

曲麟昊指出病理全切片图像分类问题的核心挑战在于可用于训练的样本量有限，且仅能依赖切片级别的稀疏标注。为应对这一挑战，本篇文章分别在小型图像与全切片两个层次上引入GPT-4 病理先验知识，并借助视觉-语言模型 CLIP 完成提示学习。在 MIL 框架中，每个 WSI 都被视为bag，提取的patch被视为该bag中的instance，FSWC的主要目标是使用很少的训练包实现精确的bag级和instance级分类。

曲同学提出由病理学语言先验知识引导的Two-level提示学习MIL框架，利用大型语言模型GPT-4的能力生成多个instance级提示组，并将其作为instance级病理语言先验知识，有效地指导聚合过程；此外，GPT-4通过bag级病理类别和视觉病理描述来构建充当病理语言先验知识的bag级提示组，以促进bag级别的few-shot提示学习。同时，两个提示组分别有不同的可学习提示向量对视觉概念的分类权重向量进行优化和微调.除此之外，为了应对缺乏有效的实例聚合方法的挑战，曲同学提出了一种提示引导的池化策略，将instance特征聚合到bag特征中。主要思想是首先计算每个instance的图像特征与多个文本描述的原型之间的相似度权重，然后使用bag中所有instance特征的加权平均值作为bag feature。

曲同学在乳腺癌、肺癌和宫颈癌三个真实WSI数据集对本文方法进行了综合评价。本文所提出的TOP方法在有限的bag级标记数据下展示了强大的bag分类和instance分类性能，实现了最先进的结果。

最后是问答环节，学生会员们针对这篇论文进行了热烈的讨论，曲麟昊一一解答了会员们提出的大语言模型的数据量、视觉编码器、learnable prompt微调参数、few-shot方法鲁棒性、prompt使用模版和two-stage训练阶段等问题，让学生会员们进一步加深了对医学影像领域和大语言模型的认识。至此，中国海洋大学CSInsider学生交流论坛第三期线上直播讲座圆满结束。

CSInsider 依托于CCF中国海洋大学学生分会而建立发展，以服务广大师生为宗旨，每周举办优质讲座，涉及内容包括导师信息分享、新老生交流会、学术报告、就业咨询、专利申请等。感兴趣的会员可以关注“中国海洋大学计算机学院”微信公众号获取最新报告预告。