IT之家 1 月 14 日消息，智譜今日宣布聯(lián)合華為開(kāi)源新一代圖像生成模型 GLM-Image，模型基于昇騰 Atlas 800T A2 設(shè)備和昇思 MindSpore AI 框架完成從數(shù)據(jù)到訓(xùn)練的全流程，是首個(gè)在國(guó)產(chǎn)芯片上完成全程訓(xùn)練的 SOTA 多模態(tài)模型。
GLM-Image 采用自主創(chuàng)新的“自回歸 + 擴(kuò)散解碼器”混合架構(gòu)，實(shí)現(xiàn)了圖像生成與語(yǔ)言模型的聯(lián)合。
IT之家附 GLM-Image 核心亮點(diǎn)如下：
架構(gòu)革新，面向“認(rèn)知型生成”的技術(shù)探索：采用“自回歸 + 擴(kuò)散編碼器”混合架構(gòu)，兼顧全局指令理解與局部細(xì)節(jié)刻畫(huà)，克服了海報(bào)、PPT、科普?qǐng)D等知識(shí)密集型場(chǎng)景生成難題，向探索以 Nano Banana Pro 為代表的新一代“知識(shí) + 推理”的認(rèn)知型生成模型邁出一步。
首個(gè)在國(guó)產(chǎn)芯片完成全程訓(xùn)練的 SOTA 模型：模型自回歸結(jié)構(gòu)基座基于昇騰 Atlas 800T A2 設(shè)備與昇思 MindSpore AI 框架，完成了從數(shù)據(jù)預(yù)處理到大規(guī)模訓(xùn)練的全流程構(gòu)建，驗(yàn)證了在國(guó)產(chǎn)全棧算力底座上訓(xùn)練前沿模型的可行性。
文字渲染開(kāi)源 SOTA：在 CVTG-2K（復(fù)雜視覺(jué)文本生成）和 LongText-Bench（長(zhǎng)文本渲染）榜單獲得開(kāi)源第一，尤其擅長(zhǎng)漢字生成任務(wù)。
性?xún)r(jià)比與速度優(yōu)化：API 調(diào)用模式下，生成一張圖片花費(fèi) 0.1 元，速度優(yōu)化版本即將更新。
據(jù)智譜官方介紹，通過(guò)改進(jìn) Tokenizer 策略，GLM-Image 能夠自適應(yīng)處理多種分辨率，原生支持從 1024x1024 到 2048×2048 尺寸的任意比例圖像的生成任務(wù)，無(wú)需重新訓(xùn)練。
GLM-Image 在文字渲染的權(quán)威榜單中達(dá)到開(kāi)源 SOTA 水平。
GLM-Image 在實(shí)際的復(fù)雜圖文任務(wù)中測(cè)試表現(xiàn)如下：
場(chǎng)景一：科普插畫(huà)
GLM-Image 更擅長(zhǎng)繪制包含復(fù)雜邏輯流程與文字說(shuō)明的科普插畫(huà)及原理示意圖。
場(chǎng)景二：多格圖畫(huà)
在生成電商圖、漫畫(huà)等多格圖畫(huà)時(shí)，GLM-Image 能夠保持風(fēng)格和主體的一致性，并保障多處文字生成的準(zhǔn)確率。
場(chǎng)景三：社交媒體圖文封面
GLM-Image 適用于制作社交媒體封面及內(nèi)容等排版復(fù)雜的圖片，讓您的創(chuàng)作更自由豐富。
場(chǎng)景四：商業(yè)海報(bào)
GLM-Image 能夠生成構(gòu)圖富有設(shè)計(jì)感、文字嵌入準(zhǔn)確的節(jié)日海報(bào)與商業(yè)宣傳圖。
場(chǎng)景五：寫(xiě)實(shí)攝影
在文字渲染以外，GLM-Image 也同樣擅長(zhǎng)生成各種景別和尺寸的人像、寵物、風(fēng)景、靜物。
IT之家附 GLM-Image 體驗(yàn)和開(kāi)源地址如下：
API 接入：https://docs.bigmodel.cn/cn/guide/models/image-generation/glm-image
Hugging Face：https://huggingface.co/zai-org/GLM-Image
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。