IT之家 4 月 30 日消息，蘋(píng)果公司攜手加州大學(xué)圣迭戈分校團(tuán)隊(duì)，在新版論文《LaDiR：潛在擴(kuò)散增強(qiáng) LLM 文本推理》中提出新框架，讓大語(yǔ)言模型（LLM）在回答前并行探索多條推理路徑，再用自回歸方式輸出提高結(jié)果質(zhì)量。
IT之家援引博文介紹，該框架并非新模型，而是疊加在現(xiàn)有模型之上的通用框架，重點(diǎn)改變模型思考問(wèn)題的方式。LaDiR 結(jié)合擴(kuò)散（Diffusion）和自回歸（Autoregression）兩種主流生成范式，在推理階段采用擴(kuò)散模型，在最終輸出階段使用自回歸模型。
這種混合架構(gòu)有效提升了模型處理復(fù)雜問(wèn)題的能力，既保留了擴(kuò)散模型并行處理的優(yōu)勢(shì)，又延續(xù)了自回歸模型生成的連貫性。
LaDiR 的獨(dú)特之處在于其并行推理機(jī)制。系統(tǒng)在推理時(shí)會(huì)同時(shí)啟動(dòng)多條獨(dú)立的推理路徑，每條路徑從隨機(jī)噪聲開(kāi)始，通過(guò)擴(kuò)散過(guò)程逐步優(yōu)化成連貫的推理步驟。為防止所有路徑過(guò)早收斂于同一結(jié)論，框架引入了特殊的多樣性鼓勵(lì)機(jī)制，確保每條路徑能探索不同的解題思路，從而生成多樣化的候選答案池。
研究團(tuán)隊(duì)在 Meta 的 LLaMA 3.1 8B 和 Qwen3-8B-Base 上部署測(cè)試。在數(shù)學(xué)基準(zhǔn)測(cè)試中，LaDiR 取得了比現(xiàn)有方法更高的準(zhǔn)確率，在面對(duì)更困難的分布外任務(wù)時(shí)表現(xiàn)尤為突出。在代碼生成測(cè)試 HumanEval 中，該框架生成的代碼更加可靠，在難題上的表現(xiàn)明顯優(yōu)于標(biāo)準(zhǔn)微調(diào)方法。
在謎題規(guī)劃任務(wù)中，LaDiR 能探索更廣泛的解空間，找到正確解的概率高于所有通用基準(zhǔn)模型。不過(guò)，在單次嘗試準(zhǔn)確率上，它仍略遜于專(zhuān)門(mén)針對(duì)特定任務(wù)優(yōu)化的專(zhuān)用模型。這表明通用框架在追求廣泛適用性的同時(shí)，在極致專(zhuān)精領(lǐng)域仍有提升空間。
IT之家附上參考地址
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。