信息引擎项目 | 关浩祥同学在北京中关村学院全院师生面前进行 SAE 主题分享

近日,在北京中关村学院举办的全院专题学习交流活动中,信息引擎项目 成员 关浩祥 同学受邀进行主题分享,面向全院师生介绍了他在 Sparse Autoencoders(SAEs)领域的探索与经验积累。


分享内容概览

关同学的分享内容深入浅出,首先从宏观视角介绍了 SAE 作为当前人工智能领域中最具代表性的可解释性分析工具之一,阐明了它在大语言模型(LLMs)甚至整个 AI 系统中的广泛应用价值。通过对比“黑盒式”深度模型和 SAE 带来的“可读性”,引发大家对人工智能内部结构透明化的思考。

随后,关同学带领大家回顾了 SAE 的发展路径与关键技术原理,详细讲解了其如何通过稀疏编码和特征解码,构建出模型内部语义空间与外部概念之间的映射关系。这一技术核心,使得我们得以在神经网络内部追踪概念的“激活点”,为复杂模型的分析和干预提供了技术手段。

1

不仅如此,关同学还通过丰富的实例展示了 SAE 的多场景应用。他生动地讲解了 SAE 如何识别出 LLM “记忆”中各类高级概念,比如著名景点、疾病术语,乃至对社会偏见等抽象主题的潜在表示。同时,关同学进一步说明,利用这些表示,我们甚至可以操纵大语言模型的输出方向,实现更具定向性的文本生成。

在更深层次的案例中,关同学向我们展示了 SAE 如何揭示大模型的“思考路径”——比如在多语言处理与简单逻辑推理任务中,如何追踪模型的内部推理过程。这些内容帮助大家理解了模型不仅在“做出决策”,更在内部组织复杂的信息流动与表达。

此外,关同学也讲到了 SAE 在跨模态领域的延展,包括其在蛋白质语言模型中对结构、序列及其它生物学特征的刻画能力,展示了 SAE 在生命科学与合成生物学方向的潜力。类似地,他还介绍了 SAE 在基因模型中的应用前景,如何帮助研究人员分析基因表达特征,提供新的分析维度。


反响热烈

作为信息引擎项目的骨干成员之一,关同学长期参与项目架构与系统设计工作。本次分享不仅展现了他个人的实践积累,也代表了信息引擎项目阶段性成果的一次集体亮相。

分享过程中语言深入浅出、内容详实、案例鲜活,获得现场师生一致好评。在互动答疑环节,多位师生就 SAE 未来的研究方向提出了积极建议与讨论。

3


关于信息引擎项目

📌 信息引擎项目是一个刚刚成立的 AI 组织,致力于构建未来的智能系统,我们欢迎所有对系统性学习、跨学科探索与工程实践感兴趣的同学加入我们,一起构建与推动更多有深度、有影响力的学生主导项目!

我们强调“对内成长、对外输出”,鼓励每一位参与者既是学习者,也是创造者和传播者。


信息引擎项目将持续推动知识共享与技术传播,为更多同学搭建展示与交流的平台。欢迎更多志同道合的伙伴加入我们!

作者:Zhenzhen Ren

排版校对:Zhenzhen Ren

All Blog Posts