糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等。全球糖尿病患者超5亿人，其中80%生活在中低收入国家。我国现有糖尿病人数约1.4亿，居全球之首，糖尿病防治形势更为严峻，尤其在基层和偏远地区缺乏糖尿病管理适宜技术，基层医生的数量和经验远不能满足糖尿病管理的实际需求。糖尿病的患病率不断上升对中国及全球的公共卫生构成重大挑战，亟需构建糖尿病一体化管理的适宜性数字解决方案，赋能基层医疗。

　　2024年7月19日，清华大学黄天荫教授团队、上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队、上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队、新加坡国立大学覃宇宗教授团队合作，在 Nature Medicine 期刊发表了题为：Integrated image-based deep learning and language models for primary diabetes care 的研究论文。

　　研究团队通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统——DeepDR-LLM。

　　DeepDR-LLM系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。该系统在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。研究证明DeepDR-LLM系统可有效改善糖尿病视网膜病变（DR）筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。

　　人工智能特别是深度学习在糖尿病及并发症管理领域发挥着越来越重要的作用，2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队在国际上率先基于深度学习算法并在多种族人群上实现了自动诊断中重度糖尿病视网膜病变（DR）病例，成果发表于JAMA，这在智能医疗发展历史上具有里程碑式意义。

　　2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队开展医工交叉协同创新，携手新加坡国家眼科中心等机构，研制了迁移强化的多任务深度学习系统DeepDR，实现了对糖尿病视网膜病变（DR）从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割，该成果于2021年发表于Nature Communications，该技术同时应用于国际糖尿病联盟“全球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家。

　　2021年底，黄天荫教授受聘于清华大学担任讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究工作。贾伟平教授、李华婷教授团队、盛斌教授团队与黄天荫教授团队持续合作，成功构建基于Weibull混合分布模型的深度学习系统DeepDR Plus，在全球率先实现对DR进展长达5年的风险预警和进展预测，超越在该领域此前由美国Google拥有的技术，可在大幅降低筛查频率和公共卫生成本的情况下仍保持极低的漏诊率，该成果于2024年1月发表于Nature Medicine。

　　然而，既往的人工智能系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内以ChatGPT为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现，但这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。鉴于这种现状，如何有效整合糖尿病并发症的精准诊断与糖尿病诊疗意见的自动生成，构建出一个安全可控的多模态智能模型，以支持基层医生提供一站式辅助诊疗服务，已成为国际医疗领域的前沿课题和重大挑战。

　　针对当前的技术空白和临床的实际需求，该研究成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统——DeepDR-LLM。该系统由大语言模型（LLM）模块和DeepDR-Transformer模块组成，研究团队创新性地提出融合适配器（Adaptor）和低秩自适应（Low-Rank Adaptation，LoRA）协同优化技术，构建了DeepDR-LLM多模态大模型（图2），可适配包括LLaMA在内的大语言模型，LLM模块将训练网络层与大语言模型的固有权重参数相融合，突破低算力资源约束下的多模态大模型优化的瓶颈，并进一步基于37.2万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练，使DeepDR-LLM系统可基于患者个体的临床信息生成精准糖尿病管理意见。与此同时，DeepDR九游体育-Transformer模块引入Transformer模型架构针对超50万张眼底图像进行训练，精准实现眼底影像的质量检测、病变分割和DR分级诊断。DeepDR-Transformer模块生成的DR等相关视觉特征信息可自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊疗意见集成。

　　DeepDR-LLM系统自去年研制成功后，研究团队对该系统开展了安全性、可靠性、可控性、公平性等多维度的评估（图3）。研究团队邀请香港中文大学Juliana C. N. Chan教授、上海市第六人民医院包玉倩教授、澳大利亚Baker心脏病与糖尿病研究所Jonathan E. Shaw教授、美国约翰霍普金斯大学Justin B. Echouffo-Tcheugui教授、新加坡国家眼科中心Gavin Siew Wei Tan教授等糖尿病相关学科的著名学者组成国际多学科专家委员会，专家委员会首先从覆盖中国31个省区的中国糖尿病慢性并发症研究队列中随机抽取100个病例样本，专家针对每个病例形成诊疗共识，以此为标准答案，对DeepDR-LLM系统和基层医生给出的诊疗意见进行盲法评分。

　　评分结果显示，DeepDR-LLM系统产出诊疗意见的质量达到或优于基层医生的水平（图3a）。DeepDR-LLM系统通过来自北京、上海、广州、武汉及香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，其DR诊断能力达到专业眼科医生水平（图3b）。进一步通过面向中国基层医生和新加坡读片人员的读片试验，利用从中国糖尿病慢性并发症研究、新加坡眼病流行病学研究等数据库抽取的眼底图像，团队同时证明了基层医生在DeepDR-LLM的辅助下能够更准确地判读DR（图3c）。更重要的是，研究团队将集成的DeepDR-LLM系统应用于真实世界临床流程，开展了随访769名中国基层糖尿病患者的前瞻性研究，证明了在DeepDR-LLM系统纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，并提高DR患者的转诊依从性（图3d）。

　　目前全球基层糖尿病管理水平参差不齐，中低收入国家面临医疗资源不足、缺乏训练有素的基层医生等挑战。DeepDR-LLM系统具备DR辅助诊断及糖尿病管理意见推荐功能，将其纳入基层糖尿病管理诊疗流程有望提高基层DR筛查能力和糖尿病管理意见推荐能力，进而改善糖尿病患者预后（图4）。

　　清华大学黄天荫教授、上海交通大学盛斌教授、上海交通大学医学院附属第六人民医院贾伟平教授及李华婷教授、新加坡国立大学覃宇宗教授为论文共同通讯作者。博士生李佳佳、博士生管洲榆、上海市保健医疗中心王静医生为论文共同第一作者。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。