IT之家 11 月 18 日消息，微軟亞洲研究院于 11 月 16 日發(fā)布博文，介紹了名為 UI-Evol 的新組件，旨在解決計(jì)算機(jī)使用 AI 智能體（computer-use AI agents）因軟件界面頻繁變更而導(dǎo)致的準(zhǔn)確性與可靠性不足問(wèn)題。
IT之家援引博文介紹，計(jì)算機(jī)使用智能體是一種新興的人工智能系統(tǒng)，它能像人類(lèi)一樣通過(guò)圖形用戶(hù)界面（GUI）自主操作各類(lèi)軟件，以完成填寫(xiě)表單、管理工作流等復(fù)雜任務(wù)。
盡管前景廣闊，這類(lèi)智能體在實(shí)際應(yīng)用中卻表現(xiàn)不佳。它們通常依賴(lài)從網(wǎng)絡(luò)獲取的外部知識(shí)，來(lái)理解屏幕內(nèi)容并執(zhí)行操作，但常常無(wú)法將這些知識(shí)成功轉(zhuǎn)化為行動(dòng)，這一難題被稱(chēng)為“知識(shí)-行動(dòng)鴻溝”（knowledge-action gap）。
微軟援引的一項(xiàng)研究凸顯了該問(wèn)題的嚴(yán)重性：即便 AI 智能體獲得了高達(dá) 90% 的正確指令，其任務(wù)的最終成功率也僅有 41%。
此外，這些 AI 智能體的行為難以預(yù)測(cè)，每次執(zhí)行相同任務(wù)時(shí)都可能采用不同的方式，表現(xiàn)出極大的不穩(wěn)定性，這嚴(yán)重阻礙了它們?cè)趯?shí)際場(chǎng)景中的應(yīng)用。
微軟亞洲研究院為解決這一核心挑戰(zhàn)，開(kāi)發(fā)了一款名為 UI-Evol 的即用型組件。該組件能無(wú)縫集成到智能體的工作流程中，其設(shè)計(jì)思路并非僅僅依賴(lài)外部的靜態(tài)知識(shí)，而是讓智能體直接從真實(shí)的軟件界面中獲取指導(dǎo)。
UI-Evol 能夠持續(xù)更新和優(yōu)化其對(duì)界面的理解，通過(guò)將知識(shí)與軟件環(huán)境動(dòng)態(tài)對(duì)齊，幫助智能體更準(zhǔn)確、更可靠地完成任務(wù)，從而有效彌合理論知識(shí)與實(shí)際操作之間的差距。這項(xiàng)研究成果已被 ICML 2025 計(jì)算機(jī)使用智能體研討會(huì)接收。
UI-Evol 的工作原理分為兩個(gè)關(guān)鍵階段。第一階段是“回溯”（retrace），系統(tǒng)會(huì)精確記錄下智能體為完成某項(xiàng)任務(wù)所執(zhí)行的每一步操作，包括所有的點(diǎn)擊、按鍵等具體行為，從而捕獲一套完整的、可驗(yàn)證的行動(dòng)軌跡。
第二階段是“審?！保╟ritique），系統(tǒng)會(huì)將這套實(shí)際行動(dòng)軌跡與外部指令進(jìn)行比對(duì)。一旦發(fā)現(xiàn)不匹配之處，UI-Evol 便會(huì)調(diào)整知識(shí)庫(kù)，使其反映真正在軟件中行之有效的操作步驟。通過(guò)這兩個(gè)階段的循環(huán)，外部的通用指令被逐步演化為經(jīng)過(guò)實(shí)踐檢驗(yàn)的、高度可靠的智能體行動(dòng)指南。
研究團(tuán)隊(duì)在頂尖水平的計(jì)算機(jī)使用智能體 Agent S2 上，使用 OSWorld 基準(zhǔn)測(cè)試對(duì) UI-Evol 進(jìn)行了評(píng)估。OSWorld 專(zhuān)為評(píng)測(cè)多模態(tài)智能體在真實(shí)軟件和工作流中的開(kāi)放式任務(wù)而設(shè)計(jì)。
結(jié)果表明，UI-Evol 不僅顯著提升了任務(wù)成功率，還解決了一個(gè)長(zhǎng)期存在的難題 ——“高行為標(biāo)準(zhǔn)差”，即智能體在執(zhí)行相同任務(wù)時(shí)行為不一致的問(wèn)題。集成 UI-Evol 后，基于 GPT-4o 等先進(jìn)大語(yǔ)言模型的智能體表現(xiàn)出更高的穩(wěn)定性與可預(yù)測(cè)性。
IT之家附上參考地址
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。