IT之家 3 月 4 日消息，據(jù) Phys 報(bào)道，研究人員表示，利用人工智能識別野生動物的做法，暴露出一場潛在的“遷移性危機(jī)”。AI 成像系統(tǒng)的營銷宣傳往往宣稱，模型能像人類觀察者一樣，輕松應(yīng)對不同生態(tài)系統(tǒng)和環(huán)境中的全新場景。但在一篇新論文中，?？巳卮髮W(xué)的兩位研究人員指出，這一說法建立在“錯誤假設(shè)”之上。他們以物種識別和醫(yī)學(xué)診斷成像為例對此進(jìn)行了說明。

這篇發(fā)表在《公共科學(xué)圖書館 · 生物學(xué)》（PLOS Biology）期刊上的論文題為《生物學(xué)中的深度學(xué)習(xí)正面臨一場遷移性危機(jī)》。

研究人員稱，盡管 AI 模型在其訓(xùn)練環(huán)境中表現(xiàn)穩(wěn)定可靠，但這種效果極少能遷移到新的場景，導(dǎo)致其泛化能力難以預(yù)測。

埃克塞特大學(xué)康沃爾郡彭林校區(qū)環(huán)境與可持續(xù)發(fā)展研究所的托馬斯 · 奧謝-惠勒博士表示：“核心結(jié)論是，盡管被視為‘黃金標(biāo)準(zhǔn)’，但性能基準(zhǔn)（用于評估 AI 的測試）并不能可靠反映 AI 模型的真實(shí)能力。我們看到大量宣稱在極廣泛場景下對比最新 AI 模型與人類能力的說法。然而，這些結(jié)論都來自數(shù)據(jù)集上的性能測試，而這些數(shù)據(jù)往往無法遷移到現(xiàn)實(shí)任務(wù)中。用庫存圖片訓(xùn)練出來的貓咪識別模型，在測試其他貓咪庫存圖時表現(xiàn)良好，但這無法轉(zhuǎn)化為野外環(huán)境下有效的貓咪檢測。危險在于，這類通常由隨意圖像類別構(gòu)成的基準(zhǔn)指標(biāo)，正被用來夸大模型的性能和泛化能力?！?/p>

來自生態(tài)與保護(hù)中心的凱蒂 · 默里補(bǔ)充道：“以野生動物識別為例，你最終可能得到一個表現(xiàn)并不好、卻對自己的結(jié)論顯得非常自信的系統(tǒng)。簡單來說，AI 在處理從未見過的事物時會很吃力，但它不一定會向用戶表達(dá)這一點(diǎn)?！?/p>

奧謝-惠勒博士指出，問題并非出在技術(shù)本身，而在于它的使用方式，“AI 可以極為強(qiáng)大，但場景是關(guān)鍵 —— 模型必須在真實(shí)使用場景中接受評估，否則后續(xù)可能引發(fā)嚴(yán)重問題。在生態(tài)學(xué)中，這給物種監(jiān)測和保護(hù)工作帶來挑戰(zhàn)；而在醫(yī)學(xué)等領(lǐng)域，后果可能更為嚴(yán)重?；蛟S最危險的一點(diǎn)是，當(dāng)模型失效時，往往要等到造成廣泛損失后才會被發(fā)現(xiàn)。”

研究人員呼吁，在解讀性能指標(biāo)時應(yīng)保持謹(jǐn)慎，并更多采用能讓模型在真實(shí)應(yīng)用中快速測試的工具。

IT之家注意到，針對基準(zhǔn)測試這一更廣泛的問題，他們認(rèn)為，不應(yīng)使用這些指標(biāo)來評估模型的泛化性能。奧謝-惠勒博士補(bǔ)充說：“就目前情況而言，評估一個 AI 模型效果如何的唯一可靠方法，就是在你的具體使用場景中對它進(jìn)行實(shí)際測試?！?/p>

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。