Meta发布新型记忆层技术:突破参数限制，大幅提升 AI 事实准确性

　　Meta 公司近日推出了一项创新的记忆层技术，旨在提升大型语言模型的事实准确性并扩展参数规模。

　　这项技术通过可训练的键值查找机制，显著提高了模型的信息存储和检索能力。

　　实验结果表明，配备记忆层的模型在多个任务中表现优异，尤其在事实性任务上，性能提升显著。

　　记忆层技术通过稀疏激活机制提升事实准确性，达到1280亿参数的规模。

　　实验显示，配备记忆层的模型在事实性问答等任务中表现优于传统稠密模型。

　　研究人员对记忆层进行了多项优化，提升了性能和稳定性，展示出强大的可扩展性。