Google Research·· 4 小时前AI 评分58
Google 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究者提出 sleep 框架，为 LLM 设计交替的唤醒与睡眠周期，在睡眠阶段通过 MoE 参数扩展和知识蒸馏把短期上下文写入长期参数，再用自生成样本做自我改进。
来源：Google Research · research.google