IT之家 7 月 25 日消息，IT之家從上海市第六人民醫(yī)院官方公眾號獲悉，上海交通大學醫(yī)學院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團隊與上海交通大學電院計算機系 / 教育部人工智能重點實驗室盛斌教授團隊，攜手清華大學黃天蔭教授團隊與新加坡國立大學覃宇宗教授團隊，通過醫(yī)工交叉合作研究，構建了全球首個面向糖尿病診療的視覺-大語言模型的多模態(tài)集成智能系統(tǒng) DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 發(fā)表（題為 Integrated image-based deep learning and language models for primary diabetes care）。
據(jù)介紹，DeepDR-LLM 系統(tǒng)融合了大語言模型和深度學習技術優(yōu)勢，實現(xiàn)了醫(yī)學影像診斷與診療意見的多模態(tài)生成功能，能提供糖尿病視網(wǎng)膜病變輔助診斷結果及個性化糖尿病綜合管理意見。
該系統(tǒng)在覆蓋亞非歐三大區(qū)域七個國家的多中心隊列中進行了回顧性驗證，以及針對中國基層醫(yī)療實際開展了前瞻性真實世界驗證，首次向全球提供了面向糖尿病醫(yī)療垂直領域的多模態(tài)大模型應用成效的高質量循證證據(jù)。研究團隊表示，研究證明 DeepDR-LLM 系統(tǒng)可有效改善 DR 篩查和基層糖尿病管理水平，為未來全球糖尿病治理提供了革命性的數(shù)字解決方案。
既往的 AI 系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領域。隨著全球范圍內(nèi)以 ChatGPT 為代表的生成式人工智能技術的迅猛發(fā)展，多模態(tài)大模型正不斷推動醫(yī)療領域的新應用場景和模式的涌現(xiàn)，但這些模型尚不能根據(jù)患者的醫(yī)學影像和具體病情，提供準確且安全的糖尿病綜合診療建議。
針對當前的技術空白和臨床的實際需求，該團隊成功研發(fā)了全球首個面向糖尿病基層診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng) DeepDR-LLM。其可適配包括 LLaMA 在內(nèi)的大語言模型，LLM 模塊將訓練網(wǎng)絡層與大語言模型的固有權重參數(shù)相融合，突破低算力資源約束下的多模態(tài)大模型優(yōu)化的瓶頸，并進一步基于 37.2 萬條基層慢病診療和慢病管理數(shù)據(jù)和知識實現(xiàn)了高效優(yōu)化訓練，使 DeepDR-LLM 系統(tǒng)可基于患者個體的臨床信息生成精準糖尿病管理意見。
IT之家附研究成果：
https://www.nature.com/articles/s41591-024-03139-8
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。