IT之家 1 月 17 日消息，科技媒體 New Atlas 今天（1 月 17 日）發(fā)布博文，報道稱哥倫比亞大學創(chuàng)意機器實驗室（Creative Machines Lab）研發(fā)名為 EMO 的機器人面部系統(tǒng)，解決仿人機器人“恐怖谷”效應(yīng)中的關(guān)鍵一環(huán)：唇形與語音的完美同步。
不同于傳統(tǒng)預(yù)編程的機器人，EMO 具備自我學習能力，能夠通過觀察人類行為來優(yōu)化自身的面部表達，讓其交互體驗更接近《西部世界》中的科幻設(shè)定。
EMO 并未采用剛性外殼，而是覆蓋了一層柔軟的硅膠皮膚，質(zhì)感接近真實人類。在這層皮膚之下，研究團隊精密部署了 26 個微型電機（致動器）。
這些電機通過不同組合的協(xié)同運作，能夠精細牽引皮膚，從而呈現(xiàn)出微妙的面部表情并控制唇形變化。這種硬件架構(gòu)為 EMO 提供了極高的自由度，讓其能夠模擬出從微笑到驚訝等多種復(fù)雜神態(tài)。
為了讓 EMO 掌握控制面部的技巧，研究團隊引入了“視覺-動作”（Vision-to-Action, VLA）語言模型。訓練初期，團隊將 EMO 置于鏡前，讓其隨機進行數(shù)千次面部運動。
EMO 通過攝像頭觀察鏡中的自己，分析電機指令與最終面部表情之間的因果關(guān)系。這一過程類似于人類嬰兒通過模仿和觀察自我來學習控制肌肉，使機器人建立了內(nèi)部的本體感官模型。
建立基礎(chǔ)運動模型后，EMO 進入了進階訓練階段。該機器人觀看了數(shù)小時的人類說話和唱歌的 YouTube 視頻，系統(tǒng)通過分析視頻中的音頻特征與對應(yīng)的口型變化，映射聽覺信號與視覺信號。
結(jié)合此前建立的 VLA 模型，EMO 最終實現(xiàn)了在發(fā)出合成語音的同時，實時生成高度吻合的唇部動作，甚至能在發(fā)聲前幾毫秒預(yù)判并調(diào)整口型。
盡管 EMO 目前在處理“B”和“W”等閉唇音時仍存在細微瑕疵，但其核心架構(gòu)已展現(xiàn)出巨大的潛力。研究人員指出，隨著訓練數(shù)據(jù)的增加，這些問題將逐步得到解決。未來，團隊計劃將 EMO 與 ChatGPT 或 Gemini 等先進的對話式 AI 整合。
IT之家附上參考地址
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。