微软展示LLaVA-Med模型，可用于医学病理案例分析

6月14日报道 | 微软研究人员最近展示了LLaVA-Med模型，该模型是专为生物医学研究而设计的人工智能模型。它利用生物医学图像，如CT和X光图像等，推测患者的病理状况。微软与一批医院合作，获得了大量的生物医学图像和对应的文本数据集，用于训练这个多模态AI模型。

视觉指令调整，在生物医学领域构建具有 GPT-4级别功能的大型语言和视觉模型。6月1日在GitHub上发布了LLaVA-Med: Large Language and Vision Assistant for Biomedicine，这使得模型能够生成与图像相关的问答，并能够以自然语言回答有关生物医学图像的问题，实现了助手的愿景。

LLaVA-Med模型是基于GPT-4、Vision Transformer和Vicuna语言模型的。微软研究人员使用了八个英伟达A100 GPU对模型进行训练，其中包含每个图像的所有预分析信息。LLaVA-Med 使用通用模型 LLaVA 进行初始化，然后以课程学习方式不断进行训练（首先是生物医学概念对齐，然后是全面的指令调整）。并评估了 LLaVA-Med 在标准视觉对话和问答任务上的表现。

在训练过程中，LLaVA-Med模型主要关注描述图像内容以及阐述生物医学概念（即从图像中判断是什么）。微软表示，该模型在多模态对话能力方面表现出色，并在用于回答视觉问题的三个标准生物医学数据集上，在部分指标上领先于其他先进模型。

然而，微软的研究团队也指出，LLaVA-Med模型目前仍存在一些不足之处。这些包括大模型常见的虚假举例和准确度不佳的问题。研究团队表示，他们将致力于改善模型的质量和可靠性，以便将来能够在商业生物医学领域应用该模型。

尽管LLaVA-Med模型还存在改进空间，但它代表了构建有用的生物医学视觉助手迈出的重要一步。随着微软和其他研究机构的努力，相信在不久的将来，这样的模型将能够为医学界提供更准确、高效的病理分析和诊断服务。