这篇文章最初发表在 NVIDIA 技术博客上。

3D 医学图画的剖析对于进步临床反应、疾病盯梢和患者的全体生存率至关重要。深度学习模型构成了现代 3D 医学表明学习的支柱,完成了对临床决策至关重要的精确空间上下文丈量。这些 3D 表明对医学成像数据(例如 CT 或 MRI 扫描)的生理特性高度敏感。

医学图画切割是医学运用的一项关键视觉使命,是丈量医学图画各个方面的定量东西。为了改善对这些图画的剖析,根底模型的开发和运用在医学图画剖析范畴变得越来越重要。

什么是根底模型?

根底模型是最新一代人工智能神经网络,在广泛多样的数据集上进行练习,可用于广泛的使命或方针。

跟着大型语言模型展示其处理一般使命的才能,视觉根底模型正在呈现,以处理各种问题,包含分类、检测和切割。

根底模型能够用作强大的人工智能神经网络,用于切割医学图画中的不同方针。它为医学成像运用开辟了一个可能性的世界,增强了切割使命的有效性,并完成了更精确的丈量。

医学图画剖析面对的应战

医学根底模型在医学图画剖析中的运用提出了严重应战。与一般的核算机视觉模型不同,医学图画运用程序一般需求高档范畴常识。

传统上,研讨机构仅依靠输入数据特征和靶标标签之间的相关,为脾脏或肿瘤等特定靶标创建了彻底注释的数据集。处理多个方针更加困难,因为手动注释既吃力又耗时。练习更大或多使命模型也越来越具有应战性。

尽管最近取得了进展,但因为其异质性,在了解大型医学成像数据方面依然存在一个长期存在的问题:

  • 医学体积数据一般具有极高的分辨率,因而需求很多的核算资源。
  • 当时的深度学习模型尚未有效地捕捉解剖变异性。
  • 医学成像数据的大规模性质使得学习鲁棒和高效的 3D 表明变得困难,尤其是在处理异构数据时。

但是,对高分辨率、高维和大规模医学体积数据的现代剖析为加速发现和获得对人体功用、行为和疾病的创新见地供给了机会。

根底模型供给了处理异质改变的才能,这些改变使主题间和主题内差异的纠正变得杂乱。人工智能有可能经过对大规模杂乱数据进行更精确、更高效的剖析,彻底改变医学成像。

医学视觉切割根底模型渠道

MONAI 模型园 是一个用于保管医学视觉根底模型的渠道。它包含一组运用 MONAI 结构开发的预练习模型,用于医学成像使命。

MONAI 模型动物园是一个揭露可用的资源,为不同的医学成像使命(如切割、分类、配准和组成)供给了对各种预练习模型的拜访。这些预练习的模型能够用作在新数据集上进行练习或针对特定运用进行微调的起点或根底模型。

MONAI 模型动物园旨在加速新的医学成像运用程序的开发,使研讨人员和临床医生能够运用已有的模型并在此根底上进行构建。

全身 CT 切割

从单个模型中切割整个全身 CT 扫描是一项艰巨的使命。但是, MONAI 团队现已知难而进。他们开发了从一个模型中切割一切 104 个解剖结构的模型:

  • 27 个器官
  • 59 块骨头
  • 10 块肌肉
  • 8 血管

MONAI 运用 totalSegmentator 团队发布的数据集进行了研讨和基准测试,以完成快速推理。对于高分辨率 1 . 5 mm 模型,运用单个 NVIDIA V100 GPU 对一切 104 个结构的揣度时刻仅为 4 . 12 秒,而运用 CPU 的揣度时刻为 30 . 30 秒。这比原论文报导的单次 CT 扫描的揣度时刻(超过 1 分钟)有了明显改善。

要拜访 MONAI 全身 CT 切割根底模型,请参阅 MONAI 模型园。

欲了解更多有关全身 CT 扫描中一切解剖结构概述的信息,请参阅 TotalSegmentator: robust segmentation of 104 anatomical structures in CT images 白皮书。

医学图像分析的可视化基础模型
图 1 。在全身 CT 扫描中切割 104 个解剖结构

(材料来历:TotalSegmentator:CT图画中104个解剖结构的强健切割)

全脑 MRI 切割

全脑切割是医学图画剖析中的一项关键技术,为从临床结构磁共振成像( MRI )中丈量大脑区域供给了一种非侵入性手法。但是,因为人类大脑中有 130 多个子结构,切割大脑中的任何东西对 MRI 3D 切割来说都是一个艰巨的应战。不幸的是,大脑的具体注释很少,这使得这项使命对医学成像界来说更加具有应战性。

为了处理这个问题, MONAI 团队与范德比尔特大学合作开发了一种深度学习模型,该模型能够同时切割一切 133 个大脑结构。运用 3D 切片器, MONAI 模型能够在 2 . 0 秒内揣度出整个大脑。 MONAI 全脑 MRI 切割模型代表了医学成像研讨的一个有前途的发展,为进步临床环境中大脑丈量的精确性供给了名贵的资源。

拜访 MONAI 模型园,检查MONAI 全脑 MRI 切割根底模型。

医学图像分析的可视化基础模型
图 2 :脑 MRI T1 扫描中 133 个解剖结构的切割

怎么拜访医学成像根底模型

在医学图画剖析中运用根底模型在进步诊断精确性和加强患者护理方面具有巨大潜力。但是,重要的是要认识到医学运用需求强大的范畴常识。

根底模型具有处理很多数据和辨认细微模式和反常的才能,已被证明是医学图画剖析范畴的名贵东西。这些模型的开发和完善正在进行中,研讨人员和从业者正在努力进步其精确性并扩展其才能。

尽管有必要处理患者隐私和潜在成见等应战,但根底模型的运用现已证明了明显的优点。估计未来它将在医疗保健范畴发挥更杰出的效果。

跟着研讨人员、临床医生和用户持续重视根底模型, MONAI 模型动物园,一个保管预练习医学图画模型的渠道,正在扩展其影响。微调预练习模型对医学图画剖析的未来至关重要。

MONAI 模型动物园为各种医学成像使命供给了对各种预练习模型的拜访,包含切割、分类、配准和组成。经过运用这些预先存在的模型作为起点,研讨人员和临床医生能够加快新的医学成像运用程序的开发,节省时刻和资源。

加入我们,今天就开端探究MONAI Model Zoo吧!

阅读原文