Copyright 2011-2025 看報紙 版權(quán)所有 京ICP備2012156892號
10 月 10 日消息,科技媒體 venturebeat 于 10 月 8 日發(fā)布博文,報道稱三星高級 AI 研究院發(fā)布了名為微型遞歸模型(TRM)的開源 AI 模型,僅包含 700 萬個參數(shù),不過在數(shù)獨、迷宮等特定的結(jié)構(gòu)化推理任務(wù)上,表現(xiàn)媲美甚至超越了參數(shù)量為其 10000 倍的谷歌 Gemini 2.5 Pro 等頂尖大模型。
該 AI 模型由三星高級 AI 研究院(SAIT)高級 AI 研究員 Alexia Jolicoeur-Martineau 發(fā)布,成為 AI 領(lǐng)域“小模型”對抗“大模型”的趨勢的重磅新案例。
該模型僅有 700 萬參數(shù),設(shè)計理念是極致簡化復(fù)雜性。在架構(gòu)方面,摒棄了分層推理模型(HRM)所依賴的雙網(wǎng)絡(luò)協(xié)作架構(gòu),轉(zhuǎn)而采用一個僅有兩層的單一模型。
其核心機(jī)制在于“遞歸推理”:模型對自身輸出的預(yù)測進(jìn)行反復(fù)迭代和修正,每一步都糾正前一步的潛在錯誤,直至答案收斂穩(wěn)定。
TRM 通過這種方式,用迭代計算的深度模擬了龐大網(wǎng)絡(luò)的復(fù)雜推理過程,實現(xiàn)了“以遞歸替代規(guī)模”的目標(biāo),從而在不犧牲性能的前提下,大幅降低了計算和內(nèi)存成本。
盡管模型極小,TRM 在多個基準(zhǔn)測試中展現(xiàn)了“以小博大”的驚人實力:
在 Sudoku-Extreme(極限數(shù)獨)測試中,其準(zhǔn)確率達(dá)到 87.4%;
在 Maze-Hard(困難迷宮)中達(dá)到 85%;
在衡量抽象推理能力的 ARC-AGI 測試中準(zhǔn)確率為 45%;
ARC-AGI-2 的準(zhǔn)確率為 8%。
盡管 TRM 使用的參數(shù)不到 0.01%,但這些結(jié)果仍然超過或接近幾種高端大型語言模型的性能,包括 DeepSeek R1 、 Gemini 2.5 Pro 和 o3-mini 。
然而,一個重要的前提是,TRM 是專門為解決結(jié)構(gòu)化、可視化的網(wǎng)格類問題(如數(shù)獨、迷宮和特定解謎任務(wù))而設(shè)計的,并非通用的語言聊天模型,它擅長在有明確規(guī)則的封閉環(huán)境中進(jìn)行邏輯推理,而非開放式的語言生成。
TRM 的成功源于其刻意追求的“少即是多”極簡主義設(shè)計。研究發(fā)現(xiàn),增加模型層數(shù)或大小反而會導(dǎo)致在小數(shù)據(jù)集上出現(xiàn)過擬合,性能下降。其精簡的雙層結(jié)構(gòu)與遞歸深度相結(jié)合,實現(xiàn)了最佳效果。
TRM 的代碼、訓(xùn)練腳本和數(shù)據(jù)集目前已在 GitHub 上根據(jù) MIT 許可證完全開源,企業(yè)和研究人員均可免費使用、修改和部署,甚至用于商業(yè)應(yīng)用。