DeepSeek于12日晚發(fā)布新論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（基于可擴(kuò)展查找的條件記憶：大型語(yǔ)言模型稀疏性的新維度）論文。
該論文為北京大學(xué)與DeepSeek共同完成，合著作者署名中出現(xiàn)梁文鋒論文。論文提出條件記憶（conditional memory），通過引入可擴(kuò)展的查找記憶結(jié)構(gòu)，在等參數(shù)、等算力條件下顯著提升模型在知識(shí)調(diào)用、推理、代碼、數(shù)學(xué)等任務(wù)上的表現(xiàn)。同時(shí)，DeepSeek開源相關(guān)記憶模塊Engram。
責(zé)編論文：葉舒筠
