IT之家 3 月 25 日消息，Arc Prize 基金會是一家由知名人工智能研究員弗朗索瓦?肖萊（Fran?ois Chollet）共同創(chuàng)立的非營利組織，該基金會于本周一在其博客上宣布推出一個名為 ARC-AGI-2 的全新測試，旨在衡量領(lǐng)先人工智能模型的通用智能水平。這項測試的難度極高，截至目前，大多數(shù) AI 模型都在該測試中表現(xiàn)不佳。
根據(jù) Arc Prize 排行榜的數(shù)據(jù)顯示，以推理能力著稱的 AI 模型，如 OpenAI 的 o1-pro 和 DeepSeek 的 R1，在 ARC-AGI-2 測試中的得分僅為 1% 至 1.3%。而包括 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Flash 等強大的非推理型模型，得分也僅在 1% 左右。
ARC-AGI 測試由一系列類似謎題的問題組成，要求 AI 從一組不同顏色的方塊中識別出視覺模式，并生成正確的“答案網(wǎng)格”。這些問題的設(shè)計旨在迫使 AI 適應(yīng)其未曾見過的新問題。為了建立人類基線，Arc Prize 基金會邀請了超過 400 人參加 ARC-AGI-2 測試。平均而言，這些參與者組成的“小組”能夠正確回答測試中 60% 的問題，這一成績遠遠超過了任何 AI 模型的得分。
在 X 平臺上，肖萊表示，ARC-AGI-2 測試比之前的 ARC-AGI-1 測試更能準確衡量 AI 模型的實際智能水平。Arc Prize 基金會的測試旨在評估 AI 系統(tǒng)是否能夠在訓(xùn)練數(shù)據(jù)之外高效地獲取新技能。
肖萊指出，與 ARC-AGI-1 不同，新的 ARC-AGI-2 測試防止了 AI 模型依賴“蠻力”—— 即大量的計算能力 —— 來尋找解決方案。他此前曾承認，這是 ARC-AGI-1 的一個主要缺陷。為了彌補這一缺陷，ARC-AGI-2 引入了一個新的指標：效率。它還要求模型實時解讀模式，而不是依賴記憶。
“智能不僅僅是解決問題或取得高分的能力，”Arc Prize 基金會聯(lián)合創(chuàng)始人格雷格?卡姆拉德（Greg Kamradt）在其博客中寫道，“這些能力的獲取和部署效率是至關(guān)重要的決定性因素。我們提出的核心問題不僅僅是‘AI 能否獲得解決任務(wù)的技能？’，還包括‘以何種效率或代價？’”
ARC-AGI-1 在大約五年內(nèi)無人能敵，直到 2024 年 12 月，OpenAI 發(fā)布了其先進的推理模型 o3，該模型超越了所有其他 AI 模型，并在評估中達到了人類水平的表現(xiàn)。然而，正如當時所指出的，o3 在 ARC-AGI-1 上的性能提升是以高昂的成本為代價的。
OpenAI 的 o3 模型（低配版）—— 第一個在 ARC-AGI-1 上取得突破的版本，在該測試中得分高達 75.7%，但在 ARC-AGI-2 測試中，即使使用價值 200 美元的計算能力，其得分也僅為 4%。
ARC-AGI-2 的推出正值科技行業(yè)許多人呼吁需要新的、未飽和的基準來衡量 AI 進展之時。Hugging Face 聯(lián)合創(chuàng)始人托馬斯?沃爾夫（Thomas Wolf）最近在接受 TechCrunch 采訪時表示，AI 行業(yè)缺乏足夠的測試來衡量所謂的通用人工智能的關(guān)鍵特質(zhì)，包括創(chuàng)造力。
與此同時，Arc Prize 基金會還宣布了 2025 年 Arc Prize 競賽，挑戰(zhàn)開發(fā)者在 ARC-AGI-2 測試中達到 85% 的準確率，同時每項任務(wù)的花費不超過 0.42 美元（IT之家注：現(xiàn)匯率約合 3 元人民幣）。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。