IT之家 3 月 26 日消息，科技媒體 9to5Mac 昨日（3 月 25 日）發(fā)布博文，報(bào)道稱蘋果公司攜手威斯康星大學(xué)麥迪遜分校，聯(lián)合發(fā)布名為 RubiCap 的全新 AI 訓(xùn)練框架，主要用于優(yōu)化“密集圖像描述”模型的訓(xùn)練流程。

IT之家注：密集圖像描述（Dense Image Captioning）是一種先進(jìn)的計(jì)算機(jī)視覺技術(shù)。與只給出一句整體描述不同，該技術(shù)能識別圖片中的各個局部區(qū)域（如“桌子上的紅蘋果”、“遠(yuǎn)處的行人”），并為每個細(xì)節(jié)生成精準(zhǔn)的文字說明。

這項(xiàng)技術(shù)在訓(xùn)練視覺語言模型、文本生成圖像以及改善無障礙工具等領(lǐng)域具有核心價(jià)值。研究人員指出，傳統(tǒng)的訓(xùn)練方法面臨著人工標(biāo)注成本過高的問題；而利用現(xiàn)有大模型生成合成數(shù)據(jù)的替代方案，則容易導(dǎo)致模型輸出缺乏多樣性且泛化能力較弱。

蘋果研究團(tuán)隊(duì)為了攻克上述難題，創(chuàng)新設(shè)計(jì)全新強(qiáng)化學(xué)習(xí)機(jī)制。系統(tǒng)首先從數(shù)據(jù)集中抽取 5 萬張圖像，并調(diào)用 GPT-5、Gemini 2.5 Pro 等前沿大模型生成候選描述。

隨后，系統(tǒng)利用 Gemini 2.5 Pro 分析候選內(nèi)容，提煉共識與遺漏點(diǎn)，進(jìn)而將其轉(zhuǎn)化為清晰的評分標(biāo)準(zhǔn)。最后，由 Qwen2.5 模型擔(dān)任“裁判”，根據(jù)這些標(biāo)準(zhǔn)對描述進(jìn)行打分。這種機(jī)制為模型提供了結(jié)構(gòu)化的精準(zhǔn)反饋，讓其明確知道該如何修正錯誤。

蘋果基于這一框架，最終訓(xùn)練出了參數(shù)量分別為 20 億、30 億和 70 億的三個 RubiCap 模型。測試數(shù)據(jù)顯示，這些緊湊型模型展現(xiàn)出了驚人的效率，其中 70 億參數(shù)模型在盲測中獲得了最高的排名，并實(shí)現(xiàn)了最低的“幻覺”錯誤率，全面超越了參數(shù)量高達(dá) 720 億的前沿大模型。

更值得一提的是，30 億參數(shù)的微型模型在部分測試中甚至反超了 70 億參數(shù)版本，進(jìn)而充分證明，高質(zhì)量的圖像描述模型可以擺脫對龐大參數(shù)量的絕對依賴。

IT之家附上參考地址

• RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

• DenseCap: Fully Convolutional Localization Networks for Dense Captioning

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。