论文标题：A survey on memory-efficient transformer-based model training in AI for science

期刊：Frontiers of Computer Science

作者：Kaiyuan TIAN, Linbo QIAO, Baihui LIU, Gongqingjian JIANG, Shanshan LI, Dongsheng LI

发表时间：21 Aug 2025

DOI：10.1007/s11704-025-50178-6

微信链接：点击此处阅读微信文章

引用格式：

Kaiyuan TIAN, Linbo QIAO, Baihui LIU, Gongqingjian JIANG, Shanshan LI, Dongsheng LI. A survey on memory-efficient transformer-based model training in AI for science. Front. Comput. Sci., 2026, 20(11): 2011355

阅读原文：

文章摘要

国防科技大学李东升的研究团队系统描述了面向科学领域的Transformer架构大语言模型（LLM）在训练过程中的内存效率问题。随着模型规模不断扩大，内存需求成为制约其在生物学、医学、化学和气象学等科学领域应用的关键瓶颈。文章系统梳理了算法级、系统级及软硬件协同优化等内存高效预训练技术，并结合AlphaFold 2案例，展示定制化内存优化方法如何降低存储开销并保持预测精度。

内容精要

随着深度学习技术的发展，以Transformer为核心的大语言模型正在深度改变科学研究的范式。在蛋白质结构预测、药物研发和气象预报等“科学人工智能”（AI for Science）领域，模型能够处理极其复杂的科学数据并挖掘规律。

然而，这类模型通常需要极高的分辨率和海量的参数，导致其在训练过程中对内存的需求呈指数级增长。高昂的内存开销不仅限制了模型在普通硬件上的部署，也成为了阻碍科学AI进一步规模化发展的主要瓶颈。

为了缓解这一内存危机，研究人员从多个维度探索了优化路径。首先在算法层面，通过混合精度训练、梯度累积以及模型压缩（如量化和剪枝）等手段，在保证预测准确性的前提下降低了激活值和权重占用的空间。其次在系统层面，引入了零冗余优化器（ZeRO）、算子融合以及内存交换技术，实现了内存资源的高效调度与重用。此外，软硬件协同优化技术则针对科学计算的特定硬件特性进行定制，进一步压榨了硬件的算存潜能。

文章以著名的蛋白质结构预测模型AlphaFold 2为例，深入剖析了内存优化技术的实际效能。AlphaFold 2在处理长序列蛋白时面临巨大的内存压力，通过采用分块处理和重算（Recomputation）等定制化内存优化方案，该模型成功在有限的内存容量下实现了高精度的预测，这为大型科学模型的训练提供了极具参考价值的实践范本。

内存优化技术的不断突破，不仅降低了科学AI模型训练的硬件门槛，也为构建更具可扩展性和成本效益的科研基础设施奠定了基础。随着这些优化策略在更多科学领域得到应用，科研人员将能够训练出更强大、更精确的模型，加速生命科学和物理化学等领域的创新进程。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。