Google Research 提出 LLM 持续学习睡眠框架

Google Research 提出一种用于大语言模型持续学习的 sleep 框架，让模型在交替的“唤醒—睡眠”周期中学习：睡眠阶段通过 MoE 参数扩展和知识蒸馏，把短期上下文写入长期参数，再用自生成样本做自我改进。 该框架借鉴人脑在休息时处理和稳定记忆的方式，目标是让模型持续学习，并把易失的短期上下文巩固为稳定的长期参数。目前这是 Google Research 提出的方法设计，报道未给出验证效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。