整合 200 多项相关研究，大模型「终生学习」最新综述来了

整合 200 多项相关研究，大模型「终生学习」最新综述来了。

---

图片链接：

• 

AIxiv专栏是机器之心发布学术、技术内容的栏目。

---

过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

该论文作者均来自于华南理工大学马千里教授团队，所在实验室为机器学习与数据挖掘实验室。论文的三位共同第一作者为博士生郑俊豪、硕士生邱圣洁、硕士生施成明，主要研究方向包括大模型和终生学习等，通讯作者为马千里教授（IEEE/ACM TASLP 副主编）。马千里教授团队近年来在国际权威期刊（如 TPAMI 等）和国际顶级学术会议（如 NeurIPS、AAAI、IJCAI、ACL、KDD、ICDE 等）上发表多篇 Time Series/NLP/Recommendation System 相关的研究工作，和国内外知名高校、科研机构广泛开展合作。

随着大语言模型在各个领域应用的不断拓展，如何让这些模型能够连续适应数据、任务和用户偏好的变化成为一个关键问题。传统的静态数据集训练方法已经无法满足现实世界的动态需求。

为了解决这一挑战，终生学习（Lifelong Learning）或连续学习（Continual Learning）技术应运而生。它能让大语言模型在其工作寿命中不断学习和适应，在整合新知识的同时保留以前学习过的信息，防止灾难性遗忘（Catastrophic Forgetting）。

最近，来自华南理工大学的研究者调研、整理并总结了大语言模型（LLMs）的终生学习（Lifelong Learning）方法及其发展前景，并将其总结为一篇全面且前沿的综述。

图片链接：

• 

• 论文标题：Towards Lifelong Learning of Large Language Models: A Survey

• 机构：华南理工大学

• 论文地址：https://arxiv.org/abs/2406.06391

• 项目地址：https://github.com/qianlima-lab/awesome-lifelong-learning-methods-for-llm

图 1 展示了终生学习（Lifelong Learning）在大语言模型和人类学习过程中的类比。图中通过两条平行的学习路径来展示人类和大语言模型在终生学习中的进化过程。

图片链接：

• 

人类学习（Human Learning）

1. 步行（Walk）：人类从最基础的技能（如步行）开始学习。
2. 骑自行车（Ride a Bike）：随着学习的进展，人类掌握了更复杂的技能（如骑自行车）。
3. 开车（Drive a Car）：最终，人类可以掌握更加复杂和高级的技能（如开车）。

每一步都代表着人类在终生学习过程中不断获取新技能和知识的过程。

大语言模型学习（LLMs Learning）

1. 新语言（New Language）：大语言模型从学习新的语言开始（如学会处理不同的自然语言）。
2. 新领域（New Domain）：接下来，模型学习新的领域知识（如从自然语言处理扩展到医学领域）。
3. 新信息（New Information）：最终，模型可以学习和整合新的信息，无论是语言还是领域。

每一步代表着大语言模型在终生学习过程中不断扩展和更新知识的过程。这张图强调终生学习的过程：终生学习是一个连续的过程，涵盖了从基础到高级的逐步进化。终生学习不仅仅是简单的知识积累，而是一个动态的、不断进化的过程。

近年来，终生学习已成为一个越来越热门的研究课题，涌现出有关神经网络终生学习的大规模调查。大多数现有研究主要关注卷积神经网络（CNN）的终生学习的各种应用场景和图神经网络的终生学习。然而，只有少量文献关注语言模型的终生学习。尽管最近的一些综述收集了终生学习的最新文献，但都没有涉及连续文本分类、连续命名实体识别、连续关系提取和连续机器翻译等场景，对连续对齐、连续知识编辑、基于工具的终生学习和基于检索的终生学习的讨论也很少。

这篇综述是第一个从 12 个场景出发，对大语言模型终生学习方法进行全面系统研究的调查。

总体来说，综述的主要贡献包括：

1. 新颖分类：引入了一个详细的结构化框架，将有关终生学习的大量文献分为 12 个场景；
2. 通用技术：确定了所有终生学习情况下的通用技术，并将现有文献分为每个场景中不同的技术组；
3. 未来方向：强调了一些新兴技术，如模型扩展和数据选择，这些技术在前 LLM 时代探索较少。

一、引言

本综述系统地总结了现有的终生学习技术方法，在图 2 中将其分为内部知识和外部知识两大类。

图片链接：

• 

内部知识（Internal Knowledge）

• 连续预训练（Continual Pretraining）

  • 连续垂直领域预训练（Continual Vertical Domain Pretraining）：针对特定垂直领域（如金融、医疗等）进行的连续预训练。
  • 连续语言领域预训练（Continual Language Domain Pretraining）：针对自然语言和代码语言进行的连续预训练。
  • 连续时间领域预训练（Continual Temporal Domain Pretraining）：针对时间相关数据（如时间序列数据）的连续预训练。

• 连续微调（Continual Finetuning）

  • 特定任务（Task Specific）
    • 连续文本分类（Continual Text Classification）：针对文本分类任务进行的连续微调。
    • 连续命名实体识别（Continual Named Entity Recognition）：针对命名实体识别任务进行的连续微调。
    • 连续关系抽取（Continual Relation Extraction）：针对关系抽取任务进行的连续微调。
    • 连续机器翻译（Continual Machine Translation）：针对机器翻译任务进行的连续微调。
  • 任务无关（Task Agnostic）
    • 连续指令微调（Continual Instruction-Tuning）：通过指令微调实现模型的连续学习。
    • 连续知识编辑（Continual Knowledge Editing）：针对知识更新进行的连续学习。
    • 连续对齐（Continual Alignment）：针对模型与新任务对齐进行的连续学习。

外部知识（External Knowledge）

• 基于检索的终生学习（Retrieval-Based Lifelong Learning）：通过检索外部知识库来实现终生学习。
• 基于工具的终生学习（Tool-Based Lifelong Learning）：通过调用外部工具来实现终生学习。

二、终生学习概况

综述介绍了评估终生学习效果的指标，主要从整体性能、稳定性和适应性三个角度进行评估：整体性能、稳定性测量和适应性测量。

三、连续预训练

连续垂直领域预训练、连续语言领域预训练和连续时间领域预训练等方法涉及不断更新语言模型，以保持其在垂直、语言和时间敏感数据上的准确性和相关性。

四、连续微调

连续微调通过蒸馏、重放、正则化、基于架构和基于梯度的方法等技术对大语言模型的内部知识进行增强，并使其能够适应特定任务。

五、外部知识

基于检索的终生学习和基于工具的终生学习为大语言模型提供了获取新知识的途径，使其能够与外部资源进行交互。

六、讨论与结论

主要挑战包括灾难性遗忘、可塑性 - 稳定性困境、昂贵的计算成本和模型权重或预训练数据的不可用性。当前趋势包括从特定任务到通用任务、从全量微调到部分微调和

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。