在業(yè)界對(duì)新一代旗艦?zāi)P虳eepSeek V4的翹首期盼中,DeepSeek團(tuán)隊(duì)卻悄然放出了一篇新的學(xué)術(shù)論文論文。這篇論文由DeepSeek聯(lián)合北大、清華共同撰寫,將研究方向投向了決定大模型實(shí)際應(yīng)用落地的關(guān)鍵一環(huán)——推理速度,為日益復(fù)雜的AI智能體,提供一套高效的底層系統(tǒng)解決方案。
具體來(lái)說(shuō),新論文介紹了一個(gè)名為DualPath的創(chuàng)新推理系統(tǒng),專門針對(duì)智能體工作負(fù)載下的大模型(LLM)推理性能進(jìn)行優(yōu)化論文。通過(guò)引入“雙路徑讀取KV-Cache(類似記憶緩存)”機(jī)制,重新分配存儲(chǔ)網(wǎng)絡(luò)負(fù)載,將離線推理吞吐量最高提升1.87倍,在線服務(wù)的每秒智能體運(yùn)行數(shù)平均提升1.96倍。(第一財(cái)經(jīng)記者 劉曉潔)