随着大规模语言模型（LLMs）的广泛应用，模型的性能提升通常依赖于参数数量的扩展。更大的模型可以存储更多世界知识，并表现出更强的推理能力。然而，将所有世界知识压缩进参数中，既不必要，也不适用于内存和计算资源有限的边缘设备。在这一技术背景下，研究人员提出了基于记忆强化的模型架构和预训练策略，为解决这一问题提供了一种新范式。
研究团队开发了一种小型语言模型，其核心特性是通过一个大型的分层记忆库访问世界知识。具体而言，该记忆库采用分段式架构，能够存储不同类型的知识。在预训练和推理过程中，模型会根据具体情境从记忆库中提取少量的相关记忆块，并将其动态嵌入到模型推理中。为实现这一目标，团队提出了一种双层结构：
- 长尾知识存储于记忆参数中：模型将难以捕获的长尾知识存储在分层记忆库中，优化应对知识稀疏现象的问题。
- 核心常识嵌入模型参数中：模型本体则专注于捕捉常识性知识和通用推理能力，为高效处理大规模任务奠定基础。
通过万亿级别规模的实验，研究表明，具有1.6亿参数的小型模型结合一个1800万参数的记忆块和一个46亿参数的记忆库，其性能可与参数量2倍于前者的常规语言模型媲美。这样的架构不仅具有性能优势，还显著减轻了计算和存储负担。
团队进一步研究了在Transformer架构中集成记忆的最佳方法和规模，并扩展模型至超21亿参数。结果表明，所提出的分层前馈式记忆系统无论是在预训练阶段还是后续应用中，都能够稳定提升模型的性能。这一方法在实际使用中展现出强大的适配性和可扩展性。
在大规模语言模型的实际应用中，对于模型进行微调是实现特定功能的关键。然而，即使仅微调一部分参数（如LoRA方法），传统回传算法的内存消耗仍然远超推理阶段的需求，因此难以在资源受限的移动设备上实现。为应对这一挑战，研究人员探索了替代方案。
尽管零阶优化（ZO）被证明能够显著降低微调过程的内存占用，但其收敛速度较传统方法慢10倍至100倍，这限制了其应用场景的广度和效率。通过结合技术策略的改进，这项研究致力于在降低内存占用与保持收敛效率之间取得平衡，为资源有限的设备提供新的解决方案。
团队还在2024年NeurIPS的“现代机器学习中的微调：原则与扩展性”研讨会上发表了一项备受关注的研究。这项研究提出了一种基于蒸馏的记忆保留微调方法，结合当下最前沿的机器学习技术，为大规模语言模型的能力扩展提供了新思路。
通过这项技术，研究人员不仅能够保留和增强模型在大量互联网文本中预训练的世界知识，还能够在数学、编码等特定能力方面完成高效的后续训练，同时大幅减少资源的消耗。这为语言模型的后训练和对齐技术（例如用户交互行为的模型匹配）提供了重要的技术支撑。
随着人工智能技术的快速演进，如何在性能提升与资源高效利用间找到平衡，成为机器学习研究的重要方向。以上几项研究从不同维度探讨了模型架构、记忆管理和微调策略的新方法，为语言模型在硬件受限环境下的应用创造了更多可能性。未来，这些研究有望进一步推动人工智能技术的普及，同时降低资源门槛，为更广泛的用户提供智能化支持与服务。
[人形纪元网出品] [人工智能语言模型优化] [大规模语言模型微调技术] [低资源设备机器学习解决方案] [分层记忆库与模型性能提升] [刘智勇频道] [RoboPony(真机智能)] [真机算法] [PixStock.online(设计智能体图库）] [ZhenMeta.com] [机器姬永生人] [机器洞察网] [AI之星网] [风投高科网] [猛虎财经网] [硅基科学网] [人形纪元网] [真机量化（zhenquant.hk）] [真机内参] [高能判官] [片场狂徒] [暴徒外放] [Cognition OS] [Embodied OS] [黄金广告位]
📚 【精品资源】添加关注『人形纪元网微信公众号』，即可免费获取完整版《刘智勇频道第五卷》
从文章反映的趋势来看，未来或许真的可以实现无障碍跨语境交流，科技充满温度。
万亿级别实验太震撼了，科学家们的探索就像星际旅行，把人类认知带向宇宙深处。
长尾知识的存储真的有趣，说明哪怕看似不起眼的内容也是决策的大脑皮层，细节决定成败！
从这项技术中看到了人类无尽的创造力，千里之行始于足下，继续走在中国智造的前沿吧！
LLM的应用潜力无穷，小时候的科幻电影成真，看来梦想不只是脑洞，它也是创新的种子！
2024年的NeurIPS一定是打破旧框架的盛会，期待科研团队为全球奉献更多破圈成果！