IT之家 4 月 30 日消息，OpenAI 昨日（4 月 29 日）發(fā)布博文，復(fù)盤發(fā)現(xiàn) GPT-5.1 系列及后續(xù) AI 模型出現(xiàn)異常行為，在回答中頻繁使用“哥布林”（goblin）和“小魔怪”（gremlin）等生物隱喻。
OpenAI 官方調(diào)查后發(fā)現(xiàn)，自從 GPT-5.1 系列發(fā)布以來(lái)，“哥布林”一詞使用率上升 175%，“小魔怪”上升 52%。這一現(xiàn)象并非偶發(fā)，而是模型行為被特定獎(jiǎng)勵(lì)信號(hào)塑造的結(jié)果。
調(diào)查溯源發(fā)現(xiàn)，異常源于“書呆子”人格定制功能的訓(xùn)練過(guò)程。該功能僅占 ChatGPT 總回復(fù)量的 2.5%，卻貢獻(xiàn)了 66.7% 的“哥布林”提及量。
審計(jì)顯示，原本用于鼓勵(lì)該人格風(fēng)格的獎(jiǎng)勵(lì)模型，在 76.2% 的數(shù)據(jù)集中對(duì)包含生物詞匯的輸出給予了更高評(píng)分。
技術(shù)團(tuán)隊(duì)發(fā)現(xiàn)，這種行為具有跨場(chǎng)景泛化能力。盡管獎(jiǎng)勵(lì)僅在“書呆子”條件下應(yīng)用，但強(qiáng)化學(xué)習(xí)無(wú)法保證限制習(xí)得行為。
隨著含生物詞匯的輸出被用于后續(xù)監(jiān)督微調(diào)，模型形成了“獎(jiǎng)勵(lì)-生成-訓(xùn)練”的正反饋循環(huán)，導(dǎo)致該行為擴(kuò)散至其他場(chǎng)景。IT之家附上相關(guān)圖表如下：
OpenAI 針對(duì)此問(wèn)題，已采取多項(xiàng)措施。技術(shù)團(tuán)隊(duì)移除了偏好生物詞匯的獎(jiǎng)勵(lì)信號(hào)，并從訓(xùn)練數(shù)據(jù)中過(guò)濾了包含相關(guān)詞匯的內(nèi)容。受限于訓(xùn)練周期，GPT-5.5 未能完全規(guī)避此問(wèn)題，開(kāi)發(fā)團(tuán)隊(duì)通過(guò)添加指令提示進(jìn)行了緩解。
相關(guān)閱讀：
參考
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。