方法文章

集成病理图像管理、人工智能与报告系统的介绍

2K 次观看

DOI:

10.3791/68270

2025年7月11日

本文内容

摘要

集成的图像管理、人工智能(AI)和报告系统已彻底改变了诊断病理学的实践。本文中,我们介绍 FlexLIS,这是一种先进的系统,可使人工智能辅助病理学家进行组织病理学图像评估并生成诊断报告。

摘要

电子报告系统(LIS)、图像管理系统(IMS)和人工智能模型的发展已彻底改变了病理学实践。通过整合先进的图像管理系统和复杂的AI算法,这些系统进一步简化了诊断流程,实现了更精确、高效的诊断。FlexLIS 是一款前沿的数字病理学软件,集成了用于图像分析的人工智能模型,并将AI生成的结果转化为全面的病理报告。该集成AI系统还可支持质量控制(QC)、为疑难病例申请特殊染色,并促进会诊。因此,该系统有望提高病理医生的诊断准确性和工作效率。本文为病理医生提供了一份简明的操作规程,介绍如何使用该软件审阅切片图像并生成病理报告。我们还讨论了该软件在前列腺穿刺活检诊断前列腺癌以及通过尿液细胞学进行膀胱癌筛查中的应用,展示了该平台在临床实践中的广泛适用性与重要影响。

引言

诊断病理学是一门重要的医学专业,通过检查从患者身上获取的组织来诊断疾病。组织样本经过处理后,将组织的薄切片置于载玻片上,再用苏木精和伊红(H&E)等化学试剂进行染色。传统上,病理学家在显微镜下观察载玻片上的染色组织,并通过计算机软件(即实验室信息系统,LIS;图1A)发布诊断报告。在过去十年中,数字病理学逐渐引入病理实践,通过扫描载玻片将玻璃切片数字化,生成全切片图像(WSI)1。病理学家只需使用图像管理系统(IMS)审阅切片图像即可做出诊断,这显著改变了病理实践的工作流程(图1B)。近年来,基于深度机器学习的数字化组织病理图像人工智能(AI)技术,为提高病理学家诊断的准确性与效率提供了潜在机遇1,2

由于实验室信息系统(LIS)、图像管理系统(IMS)以及病理学人工智能(AI)在不同时期引入和发展,这些系统由不同的供应商提供,且各自独立运行。目前,病理医师必须同时操作两个独立的系统,即使用LIS进行诊断报告,使用IMS进行图像审查1。此外,现有的AI模型设计上更适用于IMS,而非LIS3。LIS、IMS与AI之间的不兼容性,严重影响了数字病理学及AI模型在常规病理实践中的发展与应用。因此,建立一个将LIS与IMS整合的系统至关重要且理想,从而实现AI在IMS中审查图像,并在LIS中生成病理报告。

因此,我们的目标是开发一种基于云的集成化实验室信息系统/图像管理系统/人工智能(LIS/IMS/AI)系统,使病理医生能够随时随地访问图像并签发报告。此外,人工智能模型在图像管理系统(IMS)与实验室信息系统(LIS)之间实现无缝交互,使得IMS中图像的人工智能分析结果可自动转录至LIS中的病理报告。病理医生只需在IMS中查看图像,并在LIS中确认诊断结果,无需手动输入。本文介绍了病理医生使用FlexLIS的操作流程,并展示了人工智能辅助图像分析与报告在前列腺癌诊断及膀胱癌筛查中的尿液细胞学检测中的实际应用。

方案

FlexLIS 的设计严格遵守数据隐私标准和监管框架,包括《健康保险可携性和责任法案》(Health Insurance Portability and Accountability Act, HIPAA)。系统内处理的所有患者数据均采用行业标准协议,在静态和传输过程中进行加密。

1. 账户设置

  1. 打开网页浏览器。输入继续图2)。系统将向用户发送一封电子邮件。
  2. 前往邮箱并点击链接以登录,此时将打开登录号列表窗口(图3)。

2. 玻璃切片的数字化

  1. 打开数字扫描仪电源,并将先前染色的玻片(例如苏木精和伊红染色)装入扫描仪中。
  2. 按下开始以启动玻片扫描。图像将通过直接接口自动上传至系统,并按病理学家通常在玻片盒中查看的病例格式进行排列。

3. 数据分析

  1. 在“Accession List”窗口中查看病例列表(图3图4),并在“Image Review”窗口中查看相应的图像(图5图6)。
    注:软件使用以下指标评估用户可用性:任务成功率、任务完成时间、错误率、每项任务的操作次数、系统可用性量表(SUS),以及通过用户研究和访谈获得的用户满意度。我们使用 Datadog 进行实时用户监控(RUM)并监测应用程序错误。
  2. 在“Accession List”窗口中,用户可查看已分配的病例列表(图3C)。点击病例(PN24-00004)前的下拉箭头按钮,可查看由工作人员和人工智能(AI)所点选的染色类型(本例中为 PIN4)。显微镜图标上的绿色圆点表示 AI 分析已完成(图2C)。编号前的红色圆点表示 AI 在图像中检测到癌症(图2C)。“已审核/待审核/总数”表示每个类别中的图像总数。图像编号后的“!”标记表示 AI 对图像质量的评估(例如图像缺失或模糊)。
  3. 点击病例 PN24-00004 前的User图标,进入病理医生审核窗口(图4)。所有标本在“标本汇总表”中按字母顺序列出(图4B)。用户可查看每个标本的 AI 分析结果,包括诊断结果(良性、HGPIN、ASAP、癌症)和描述信息(Gleason 评分、肿瘤长度和分级组;图4B)。用户还可通过图表查看 AI 结果(红色表示癌症,橙色表示 ASAP,黑色表示良性;图4B)。
  4. 点击左侧标本 B 旁的Microscope图标(图4B),打开“Image Review”窗口(图5)。用户将在独立的“Image Review”窗口中查看对应的图像(图5)。用户还可看到 AI 的标注结果:红色高亮区域表示癌症,绿色高亮区域表示 Gleason 4(图5)。
  5. 点击C图5A)以查看图像 C,点击D以查看图像 D,依此类推。点击 图5C 中的AI Feedback图标,可查看 AI 输出结果的详细信息(图6)。

结果

本部分展示了两个应用案例,以说明人工智能如何协助病理学家评估图像并提供诊断参考。

前列腺癌诊断(图7):对含有癌变组织的前列腺活检样本进行组织病理学评估,包括肿瘤长度及所占百分比、Gleason评分(3、4和5分)、Gleason 4分和5分所占比例等。这些信息随后用于将患者分为4个等级组(1至4组),其中第4组代表最具侵袭性的前列腺癌4,5。此类信息必须包含在病理报告中,因此是展示人工智能辅助病理诊断的典型范例。

在本示例中,带有前列腺活检组织的玻片首先采用苏木精-伊红(H&E)染色法进行染色。染色后的玻片被数字化,生成全切片图像(WSI),并通过扫描仪计算机与软件之间的直接接口上传至系统(图7)。上传完成后,由人工智能模型对标签进行处理,识别并标注每个实体,包括标本来源(即前列腺)和染色类型(即H&E)。该模型首先判断图像是否为H&E染色的前列腺活检切片。若是,则由另一个基于人工智能的模型对图像进行分析,并根据分析结果生成反馈或输出(图7A)。该基于人工智能的模型还能够预先订购PIN4免疫组织化学染色,以协助病理医生确认微小肿瘤区域的存在(图3)。

该模型在超过1700张前列腺全切片图像(WSI)上进行训练,这些图像由一组经验丰富的病理学家进行了像素级标注。在完成WSI标注后,应用深度学习模型将前列腺组织图像切片分类为四类:良性(Benign)、Gleason 3级(Gleason3)、Gleason 4级(Gleason4)和Gleason 5级(Gleason5)。如图5所示,基于切片的输出结果被整合,生成整张切片的掩膜图像,以突出显示癌变区域:癌症(红色)、Gleason4(绿色)和Gleason5(蓝色;图6)。除了这些掩膜图像外,人工智能模型还为每张前列腺WSI生成最终的分类标签(癌症或良性)。该分类基于形态学特征,包括Gleason3、Gleason4和Gleason5区域的大小,Gleason3、Gleason4和Gleason5掩膜的置信度,以及其他因素。我们当前前列腺模型在前列腺癌检测中的性能通过一组独立的1000张WSI进行了验证,这些图像未参与模型的开发或验证过程。验证集中的每张切片均被标注为良性或癌症。训练好的模型也如上所述为每张切片分配标签。通过将真实标签与模型预测结果进行比较,计算出准确率、灵敏度、特异度和F1分数等性能指标,结果如表1所示。结果表明,该训练模型的性能与其他前列腺人工智能模型相当6

除了Gleason评分外,该AI模型还能够确定肿瘤长度、占比以及分级组(图7)。此外,若提供相关信息,该AI模型还可基于NCCN危险分组计算病理和临床信息(图7A)。在FlexLIS系统中,AI能够将所有诊断信息自动转录至病理报告中,从而避免病理医生手动录入(图7B)。尽管整个AI处理过程在后台完成,对病理医生不可见,但AI分析结果及对应的图像对病理医生可见,医生可据此决定是否保留或修改AI生成的结果并纳入病理报告(图7B)。

用于膀胱癌筛查的尿液细胞学:尿液细胞学是膀胱癌筛查、诊断和监测的主要非侵入性方法7。尿液细胞学将患者分为四类:高级别尿路上皮癌阴性、尿路上皮细胞非典型、可疑高级别尿路上皮癌以及高级别尿路上皮癌8。尿液细胞学的判读需要丰富的经验和技能,且耗时极长。因此,亟需人工智能辅助的尿液细胞学筛查。本案例展示了人工智能对单个细胞的评估。

对尿液细胞学涂片的检查对于病理医生而言可能是一项劳动密集且耗时的工作。该过程需要仔细扫描大范围视野,并频繁地放大和缩小以寻找罕见但具有诊断意义的细胞,这一过程常被形容为“大海捞针”。这种人工方式不仅耗费大量时间和注意力,还可能导致诊断疲劳以及判读结果的潜在变异性。为了简化这一流程,FlexLIS 系统中集成了基于人工智能的尿液细胞学模型,旨在通过自动检测和分类尿液标本中的多种细胞类型来辅助病理医生。该模型能够识别以下类别:HGUC(高级别尿路上皮癌细胞)、可疑细胞(形态显著异常、提示恶性可能但尚不能确诊的尿路上皮细胞)、非典型尿路上皮细胞、红细胞(RBCs)、结晶、淋巴细胞、多形性细胞、多瘤病毒、肾小管上皮细胞、精子、鳞状上皮细胞、正常尿路上皮细胞、酵母菌以及其他细胞类型。为进一步提升使用便捷性,系统对具有诊断意义的关键类别——HGUC、非典型尿路上皮细胞和可疑细胞——采用不同颜色进行高亮标注(图8),使病理医生能够快速聚焦于关键区域,而无需进行全面的人工筛查。

此外,人工智能模型会对检测到的每个类别中的细胞数量进行量化,并将这些数据无缝整合到输出结果中(图8)。这些结果会自动转录至病理报告中,使病理医生能够专注于审核、核实和最终确认病例。这显著提高了诊断效率,减轻了人工工作负担,并促进了报告之间的一致性和准确性。

为了训练人工智能模型,从150例尿液细胞学标本的全切片图像中随机选取了500个区域。由经验丰富的细胞病理学家手动将这些区域内的细胞标注为14个预定义类别,如前所述,共获得超过30,000个已标注细胞。其中80%切片的区域用于训练,其余20%保留用于验证。随后训练并评估了一个目标检测模型,以准确识别和分类各预定义类别中的细胞。

除了前列腺和尿液细胞学模型外,该软件还提供胃肠病学人工智能模型。其他模型,包括膀胱癌和肺癌模型,正在开发过程中。

传统病理学与数字病理学流程图;活检、制片、显微镜检查、扫描用于诊断。
图 1:病理学工作流程。A)传统病理学工作流程。(B)数字病理学工作流程。请点击此处查看此图的放大版本。

使用电子邮件登录 FlexLIS 的界面,包含电子邮件输入框和继续按钮。
图 2:登录窗口。在邮箱输入框中输入电子邮件地址。 请点击此处查看该图的高清版本。

带有样本编号列表、病理记录和系统导航的实验室数据管理界面。
图 3:样本编号列表窗口。A)左侧边栏显示不同的用户选项。(B)样本编号筛选器,用于搜索和排序病例。(C)样本编号列表,包含每个病例的信息,如样本编号、患者姓名、病例状态、图像数量与质量等。本例中,有 4 个病例已分配给该用户。请点击此处查看此图的放大版本。

病理报告仪表板、患者数据审查、诊断代码、标本追踪、分析结果。
图 4:病理医生审查界面。A)病例信息,包括病例当前状态。(B)标本摘要表格,提供每个标本的概要信息,包括部位、诊断结果和备注。(C)标本信息部分,提供有关标本的附加信息。(D)病例控制面板,用于浏览病例。右侧图示显示前列腺活检部位及人工智能分析结果(红色—癌变,橙色—非典型小腺泡增生(ASAP),黑色—良性)。 请点击此处查看此图的放大版本。

组织学分析,H&E染色组织切片,显微镜图像,标注的研究区域。
图5:图像审查窗口。A)图像库(左侧边栏)按字母顺序列出所有样本,并显示染色类型和状态信息。(B)工具栏(顶部),用于移动、标注和共享图像。(C)病例信息/AI(右侧边栏),用于添加注释、与工作人员沟通以及查看人工智能(AI)反馈/输出结果。本病例为前列腺穿刺活检,人工智能(AI)已对前列腺癌区域进行标注(红色为癌组织,绿色为Gleason 4级)。 请点击此处查看该图的放大版本。

组织学染色,Gleason评分,前列腺癌;带注释的显微镜图像显示组织分析。
图6:人工智能输出结果。A)组织学图像。(B)人工智能反馈,即人工智能对图像的评估结果,包括肿瘤长度、Gleason评分、分级组别等。请点击此处查看该图的高清版本。

使用人工智能进行组织病理学分析;示意图显示组织分类及结果数据表。
图 7:前列腺人工智能模型自动评估前列腺活检图像,并协助生成病理报告。A)在IMS中对图像进行分析后。(B)人工智能将结果输出至病理报告。 请点击此处查看此图的放大版本。

显微镜图像、细胞鉴定示意图突出显示非典型细胞、诊断分析。
图8:尿液细胞学涂片的人工智能评估。 异常的尿路上皮细胞以红色(高级别尿路上皮癌细胞)和粉色(可疑细胞)标出。人工智能分析结果见插图(右上角)。 请点击此处查看该图的放大版本。

准确率精确率灵敏度特异度F1 分数
97%96%98%96%97%

表1:前列腺人工智能模型在前列腺活检中检测腺癌的性能。

讨论

FlexLIS 的成功且准确的应用依赖于流程中的多个关键步骤,这些步骤可分为分析前、分析中和分析后因素1。最重要的分析前因素是图像质量,其受数字扫描仪、玻片标签和染色效果的影响。图像质量差会显著影响图像评估和人工智能的性能。分析中因素包括网络速度、图像显示质量(像素和分辨率)、软件稳定性以及用户的正确操作。分析后因素包括图像的存储与保留、图像备份、系统弹性、数据安全以及符合 HIPAA 规定1。由于该软件由病理学家为病理学家设计,许多在日常实践中可能遇到的分析错误(包括操作失误)均可被软件检测并标记,以确保在进入下一步之前纠正这些错误。例如,如果图像未被审核或诊断未被录入(图4),则该病例无法最终完成。

尽管该软件显著简化了工作流程,但仍可能需要进行 occasional 调整或故障排除。例如,人工智能的评估结果与病理学家的判读之间可能出现差异。这些差异可能源于多种因素,如图像质量、切片染色技术的差异,或初始训练数据集中罕见肿瘤类型和组织病理学模式的代表性不足。为应对这些挑战,采用“人在回路”(human-in-the-loop)的方法,由病理学家向人工智能模型提供反馈。该反馈用于定期更新模型,纳入更新且更多样化的训练数据,从而随时间推移提高其准确性和泛化能力。这确保了系统能够基于真实的临床经验持续演进和优化。

尽管此前已有文献报道过每种LIS9、IMS和AI10系统,但FlexLIS作为一种集成化系统,据我们所知,此前尚未见报道。更重要的是,该集成系统(包括其人工智能模型)已在多家病理科日常使用,并展现出其实用性和可靠性。该系统专为常规病理实验室设计,因此支持处理和报告多种病理标本,包括前列腺、膀胱、乳腺、肺、胃肠道、妇科等。该系统整合了多项基于人工智能的质量控制功能,例如可检测并标记图像中的伪影(如模糊或组织缺失),这些因素可能影响诊断准确性。最后,该系统具有高度灵活性,可根据各个实验室的具体需求进行定制。

该集成化LIS/IMS/AI系统的未来应用前景十分广泛,涵盖临床服务、生物医学研究以及医学生和住院医师的教育。系统提供独立的研究模块,可确保满足包括机构审查委员会(IRB)在内的各项研究高标准要求,例如:1)通过遮盖包含患者ID的原始切片标签对图像进行去标识化处理,并分配新的研究编号;2)根据研究设计的要求对切片和病例进行分类和排序;3)记录并追踪参与者的诊断信息和评注,用于数据分析与总结等。

其在教育中的实用性已通过我们正在进行的住院医师培训项目11得到证实,结果表明,人工智能辅助可提高住院医师识别关键组织病理学特征的准确性。本文所述软件中的多个功能,包括用户友好的图像管理系统(IMS)、系统内大量的图像资源、可控制的人工智能掩膜与注释访问权限、集成的病理学专用ChatGPT功能,以及安全便捷的病例共享能力,使其成为一个适用于自主学习和导师指导培训的实用平台。

目前,该软件与其他基于人工智能的图像管理平台一样,面临着若干局限性和挑战1。在实施过程中,应充分考虑集成方面的挑战,包括与现有电子病历系统(EMR)的对接、大尺寸图像的存储与检索等。人工智能模型在不同医疗机构、扫描仪、染色方案和患者群体间的泛化能力,以及对图像伪影、组织制备差异和罕见组织学模式的敏感性,是病理学人工智能模型存在的一些局限性。最后,由于数据格式、诊断术语和平台特异性工具的碎片化,互操作性也是病理学人工智能系统面临的另一项挑战。

披露

作者参与了FlexLIS的开发。LIS/IMS系统以及人工智能技术由NovinoAI开发,并为NovinoAI的专有技术。

材料

本文使用的材料清单
姓名公司目录编号评论
FlexLISNovino AI

参考文献

  1. Zhang, D. Y., et al. Implementation of digital pathology and artificial intelligence in routine pathology practice. Lab Invest. 104 (9), 102111(2024).
  2. Zhu, M., et al. Artificial intelligence in pathologic diagnosis, prognosis and prediction of prostate cancer. Am J Clin Exp Urol. 12 (4), 200-215 (2024).
  3. Park, S. L., et al. Anatomic pathology laboratory information systems: a review. Adv Anat Pathol. 19 (2), 81-96 (2012).
  4. Epstein, J. I., et al. The 2019 genitourinary pathology society (gups) white paper on contemporary grading of prostate cancer. Arch Pathol Lab Med. 145 (4), 461-493 (2021).
  5. Moses, K. A., et al. NCCN guidelines insights: Prostate cancer early detection, version 1.2023. J Natl Compr Canc Netw. 21 (3), 236-246 (2023).
  6. Bryant, R. J., et al. Local anaesthetic transperineal biopsy versus transrectal prostate biopsy in prostate cancer detection (TRANSLATE): a multicentre, randomised, controlled trial. Lancet Oncol. 21, (2025).
  7. Flaig, T. W., et al. NCCN guidelines insights: Bladder cancer, version 3.2024. J Natl Compr Canc Netw. 22 (4), 216-225 (2024).
  8. Barkan, G. A., et al. The Paris system for reporting urinary cytology: The quest to develop a standardized terminology. J Am Soc Cytopathol. 5 (3), 177-188 (2016).
  9. Sepulveda, J. L., et al. The ideal laboratory information system. Arch Pathol Lab Med. 137 (8), 1129-1140 (2013).
  10. Fu, Q., et al. Design and Implementation of Clinical LIS360 Laboratory Management System Based on AI Technology. Int J Comput Intelligence Syst. 16, 33(2023).
  11. Zhu, M., et al. Artificial Intelligence-Assisted Histopathology As A Training Tool For Residents. Lab Invest. 105 (3), 102736(2025).

重印与许可

标签

数字病理学人工智能病理学病理报告系统图像管理系统AI模型训练前列腺癌检测尿液细胞学筛查计算病理学数字切片扫描