IT之家 10 月 24 日消息，生成式 AI 的確在信息整理方面大有用處，生成的內(nèi)容也常令人驚嘆，但只要仔細(xì)一看，就能發(fā)現(xiàn)這項(xiàng)技術(shù)仍存在不少缺陷。
據(jù)外媒 Android Authority 今日報(bào)道，歐洲廣播聯(lián)盟（EBU）與 BBC 近日聯(lián)合評(píng)估了 ChatGPT、Gemini 及 Perplexity 等多款 AI 系統(tǒng)在新聞?wù)矫娴谋憩F(xiàn)。研究動(dòng)因在于，現(xiàn)有約 15% 的 25 歲以下年輕人主要通過 AI 獲取新聞。
BBC 最初通過大規(guī)模問卷調(diào)查及六場焦點(diǎn)小組訪談收集公眾對 AI 新聞工具的使用體驗(yàn)與看法，隨后 EBU 將這項(xiàng)研究擴(kuò)展至國際范圍。
研究顯示，約 42% 的英國成年人表示信任 AI 內(nèi)容的準(zhǔn)確性，年輕群體的信任度更高。不過，84% 的受訪者認(rèn)為，一旦出現(xiàn)事實(shí)性錯(cuò)誤，將嚴(yán)重削弱自己對 AI 的信任。問題在于，這些系統(tǒng)的“不準(zhǔn)確度”究竟為何，以及用戶是否真的察覺到了這些錯(cuò)誤。
結(jié)果顯示，大多數(shù) AI 生成的內(nèi)容都存在問題。各模型整體表現(xiàn)差距不大，但 Gemini 成為明顯“異類”，不僅錯(cuò)誤數(shù)量最多，嚴(yán)重錯(cuò)誤的比例也遠(yuǎn)高于其他系統(tǒng)。
研究指出，Gemini 的問題主要包括：缺乏清晰的資料來源鏈接、未能區(qū)分可靠信息與諷刺內(nèi)容、過度依賴維基百科、缺乏足夠語境，以及錯(cuò)誤引用原文。
在六個(gè)月的研究周期中，各大 AI 系統(tǒng)的表現(xiàn)都有改進(jìn)，新聞?wù)臏?zhǔn)確率普遍提升，Gemini 的進(jìn)步尤為明顯。但即使如此，Gemini 的表現(xiàn)仍明顯落后于其他系統(tǒng)。
IT之家附報(bào)告鏈接：News Integrity in AI Assistants
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。