剑桥华人团队搞出多模态医学大模型！
来源：未知
时间：2023-04-17 10:37
浏览量： 次
剑桥华人团队搞出多模态医学大模型！
ChatGPT、AutoGPT 能干那么些事，好想知道大模型啥时候才能看病，救我本人狗命？
带视觉的多模态医学基础大模型，它来啦～
名为Visual Med-Alpaca，官宣即开源。
这个专为生物医学领域设计的基础模型，构建于 LLaMa-7B 之上，还在一定程度上借鉴了 Visual-ChatGPT 和 Alpaca（羊驼）。
因为参数量相对较小，所以使用单个消费级 GPU就能轻松部署和运行。
给小羊驼披上白大褂的背后团队，主要成员来自剑桥大学语言技术实验室（CambridgeLTL，Language Technology Lab at the University of Cambridge），以及一位 MIT 背景的中国小哥。
披上白大褂的羊驼
披上白大褂的小羊驼，望闻问切的实际效果如何？
带着疑问，我们把同样的考题（根据模态能力）丢给了 Visual Med-Alpaca、Glass AI（提供诊断和临床建议的生成式 AI 应用）、VQA Medical Model（医学影像语言模型）、MOSS 以及 GPT-4。
看 X 光片能力
既然是多模态 LLM，测试时自然不能放过这部分。
丢给他一张胸部 X 光片，并且提问：X 光片显示了这人有啥毛病？该咋办？
Visual Med-Alpaca 给出的答案是这样的：
在胸部 X 光片中看到的双侧浸润和双侧胸腔积液，可能表明呼吸道感染或其他呼吸系统疾病，例如肺炎肺水肿或胸腔积液，重要的是咨询医疗专业人员以进行正确诊断和治疗计划。
而参赛选手中另一名能读图看病的VQA Medical Model，回答就两个字：
褥疮（the decubitus）。
提供用药建议
鉴于能够读图看病的 LLM 应用太少，后续测试都只采用纯文字模式。
第一个问题：我头发掉到快秃了，有啥药可以救救孩子？
Visual Med-Alpaca列出了 5 种药物，顺带解释了一下用法和对应病症。
1、米诺地尔：一种用于头皮以促进头发生长的药物。
2、非那雄胺：一种口服药物，可减缓二氢睾酮 ( DHT ) 的产生，DHT 是一种可导致脱发的激素。
3、皮质类固醇：可涂抹在头皮上以减轻炎症和促进毛发生长的外用药物。
4、蒽林：一种应用于头皮的药物，通过刺激滋养毛囊的血细胞的产生来促进头发生长。
5、酮康唑：一种应用于头皮的药物，用于治疗可导致脱发的真菌感染。在使用任何这些化学物质治疗脱发之前。
请务必咨询医疗保健专业人员，因为它们可能有潜在的副作用并且可能并不适合所有人。
（感觉有人跟我一样需要，所以特地翻译后列出，狗头 .jpg）
ChatGPT、AutoGPT 能干那么些事，好想知道大模型啥时候才能看病，救我本人狗命？
带视觉的多模态医学基础大模型，它来啦～
名为Visual Med-Alpaca，官宣即开源。
这个专为生物医学领域设计的基础模型，构建于 LLaMa-7B 之上，还在一定程度上借鉴了 Visual-ChatGPT 和 Alpaca（羊驼）。
因为参数量相对较小，所以使用单个消费级 GPU就能轻松部署和运行。
给小羊驼披上白大褂的背后团队，主要成员来自剑桥大学语言技术实验室（CambridgeLTL，Language Technology Lab at the University of Cambridge），以及一位 MIT 背景的中国小哥。
披上白大褂的羊驼
披上白大褂的小羊驼，望闻问切的实际效果如何？
带着疑问，我们把同样的考题（根据模态能力）丢给了 Visual Med-Alpaca、Glass AI（提供诊断和临床建议的生成式 AI 应用）、VQA Medical Model（医学影像语言模型）、MOSS 以及 GPT-4。
看 X 光片能力
既然是多模态 LLM，测试时自然不能放过这部分。
丢给他一张胸部 X 光片，并且提问：X 光片显示了这人有啥毛病？该咋办？
Visual Med-Alpaca 给出的答案是这样的：
在胸部 X 光片中看到的双侧浸润和双侧胸腔积液，可能表明呼吸道感染或其他呼吸系统疾病，例如肺炎肺水肿或胸腔积液，重要的是咨询医疗专业人员以进行正确诊断和治疗计划。
而参赛选手中另一名能读图看病的VQA Medical Model，回答就两个字：
褥疮（the decubitus）。
提供用药建议
鉴于能够读图看病的 LLM 应用太少，后续测试都只采用纯文字模式。
第一个问题：我头发掉到快秃了，有啥药可以救救孩子？
Visual Med-Alpaca列出了 5 种药物，顺带解释了一下用法和对应病症。
1、米诺地尔：一种用于头皮以促进头发生长的药物。
2、非那雄胺：一种口服药物，可减缓二氢睾酮 ( DHT ) 的产生，DHT 是一种可导致脱发的激素。
3、皮质类固醇：可涂抹在头皮上以减轻炎症和促进毛发生长的外用药物。
4、蒽林：一种应用于头皮的药物，通过刺激滋养毛囊的血细胞的产生来促进头发生长。
5、酮康唑：一种应用于头皮的药物，用于治疗可导致脱发的真菌感染。在使用任何这些化学物质治疗脱发之前。
请务必咨询医疗保健专业人员，因为它们可能有潜在的副作用并且可能并不适合所有人。
（感觉有人跟我一样需要，所以特地翻译后列出，狗头 .jpg）
