IT之家 12 月 30 日消息，一個名為 EXO Labs 的組織今日在社交媒體上發(fā)布了一段視頻，展示了一臺運(yùn)行 Windows 98 系統(tǒng)的 26 年高齡的奔騰 II 電腦（128MB 內(nèi)存）成功運(yùn)行大型語言模型（LLM）的情形。隨后，EXO Labs 在其博客上發(fā)表了一篇詳細(xì)文章，進(jìn)一步闡述了這個項目的細(xì)節(jié)，以及其“普及人工智能”的愿景。
IT之家注意到，視頻中一臺 350MHz 的 Elonex 奔騰 II 電腦啟動 Windows 98 后，EXO Labs 運(yùn)行了基于 Andrej Karpathy 的 Llama2.c 開發(fā)的定制純 C 推理引擎，并讓 LLM 生成了一個關(guān)于“Sleepy Joe”的故事。令人驚訝的是，整個過程運(yùn)行流暢，故事生成速度也相當(dāng)可觀。
EXO Labs 由牛津大學(xué)的研究人員和工程師組成，于今年 9 月正式對外亮相，其使命是“普及人工智能”。該組織認(rèn)為，少數(shù)大型企業(yè)控制人工智能會對文化、真相以及社會其他基本方面造成負(fù)面影響。因此，EXO Labs 希望“構(gòu)建開放的基礎(chǔ)設(shè)施，以訓(xùn)練前沿模型，并使任何人都能在任何地方運(yùn)行它們”，從而讓普通人也能在幾乎任何設(shè)備上訓(xùn)練和運(yùn)行 AI 模型。此次在 Windows 98 上運(yùn)行 LLM 的壯舉，正是對這一理念的有力證明。
根據(jù) EXO Labs 的博客文章，他們從 eBay 上購得了一臺老式 Windows 98 電腦。然而，將數(shù)據(jù)傳輸?shù)竭@臺老機(jī)器上卻是一個挑戰(zhàn)，他們最終通過其以太網(wǎng)端口使用“古老的 FTP”完成了文件傳輸。
更大的挑戰(zhàn)在于為 Windows 98 編譯現(xiàn)代代碼，幸運(yùn)的是他們找到了 Andrej Karpathy 的 llama2.c，這是一個“用 700 行純 C 代碼即可在 Llama 2 架構(gòu)的模型上運(yùn)行推理”的工具。借助這一資源以及老式的 Borland C++ 5.02 IDE 和編譯器（以及一些小的調(diào)整），EXO Labs 成功將代碼編譯成可在 Windows 98 上運(yùn)行的可執(zhí)行文件。他們還在 GitHub 上公開了最終代碼。
EXO Labs 的 Alex Cheema 特別感謝了 Andrej Karpathy 的代碼，并對其性能贊嘆不已，稱其在使用基于 Llama 架構(gòu)的 26 萬參數(shù) LLM 時，在 Windows 98 上實現(xiàn)了“每秒 35.9 個 token”的生成速度。值得一提的是，Karpathy 曾任特斯拉人工智能主管，也是 OpenAI 的創(chuàng)始團(tuán)隊成員之一。
雖然 26 萬參數(shù)的 LLM 規(guī)模較小，但在這臺古老的 350MHz 單核電腦上運(yùn)行速度相當(dāng)不錯。根據(jù) EXO Labs 的博客，使用 1500 萬參數(shù)的 LLM 時，生成速度略高于每秒 1 個 token。而使用 Llama 3.2 10 億參數(shù)模型時，速度則非常緩慢，僅為每秒 0.0093 個 token。
EXO Labs 的目標(biāo)遠(yuǎn)不止于在 Windows 98 機(jī)器上運(yùn)行 LLM。他們在博客文章中進(jìn)一步闡述了其對未來的展望，并希望通過 BitNet 實現(xiàn)人工智能的普及。
據(jù)介紹，“BitNet 是一種使用三元權(quán)重的 transformer 架構(gòu)”，使用這種架構(gòu)，一個 70 億參數(shù)的模型只需要 1.38GB 的存儲空間。這對于一臺 26 年前的奔騰 II 來說可能仍然有些吃力，但對于現(xiàn)代硬件甚至十年前的設(shè)備來說，都非常輕量級的。
EXO Labs 還強(qiáng)調(diào)，BitNet 是“CPU 優(yōu)先”的，避免了對昂貴 GPU 的依賴。此外，據(jù)稱這種類型的模型比全精度模型效率高 50%，并且可以在單個 CPU 上以人類閱讀速度（約每秒 5 到 7 個 token）運(yùn)行一個 1000 億參數(shù)的模型。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。