Introduzione di un sistema integrato di gestione delle immagini di patologia, intelligenza artificiale e reportistica

Sommario

La gestione integrata delle immagini, l'intelligenza artificiale (AI) e i sistemi di refertazione hanno rivoluzionato la pratica della patologia diagnostica. In questo articolo, presentiamo FlexLIS, un sistema all'avanguardia che consente all'intelligenza artificiale di assistere i patologi nell'esecuzione di valutazioni di immagini istopatologiche e nella generazione di referti diagnostici.

Abstract

Lo sviluppo di sistemi di refertazione elettronica (LIS), sistemi di gestione delle immagini (IMS) e modelli di intelligenza artificiale ha rivoluzionato le pratiche di patologia. Integrando IMS avanzato e sofisticati algoritmi di intelligenza artificiale, questi sistemi semplificano ulteriormente il processo diagnostico, consentendo diagnosi più precise ed efficienti. FlexLIS è un software di patologia digitale all'avanguardia che incorpora modelli di intelligenza artificiale per l'analisi delle immagini e trascrive i risultati generati dall'intelligenza artificiale in referti patologici completi. Questo sistema integrato nell'intelligenza artificiale può anche supportare il controllo qualità (QC), ordinare coloranti speciali per casi difficili e facilitare le consultazioni. Di conseguenza, ha il potenziale per migliorare l'accuratezza diagnostica e il flusso di lavoro dei patologi. In questo documento, forniamo un protocollo conciso per i patologi su come utilizzare il software per rivedere le immagini dei vetrini e generare rapporti patologici. Discutiamo anche della sua applicazione nella diagnosi del cancro alla prostata utilizzando la biopsia del nucleo dell'ago prostatico e lo screening del cancro della vescica attraverso la citologia delle urine, mostrando la versatilità e l'impatto della piattaforma nelle pratiche cliniche.

Introduzione

La patologia diagnostica è un'importante specialità medica che effettua la diagnosi di malattie mediante l'esame dei tessuti ottenuti dai pazienti. I campioni di tessuto vengono elaborati e sezioni sottili di tessuto vengono posizionate su vetrini, che vengono poi colorati con sostanze chimiche come ematossilina ed eosina (H&E). Tradizionalmente, i patologi esaminano al microscopio il tessuto colorato su vetrini ed emettono rapporti diagnostici tramite software per computer, ovvero sistemi informativi di laboratorio (LIS; Figura 1A). Nell'ultimo decennio, la patologia digitale è stata gradualmente introdotta nella pratica patologica, in cui i vetrini sono stati digitalizzati scansionando il vetrino per produrre un'intera immagine del vetrino (WSI)¹. I patologi devono solo rivedere le immagini dei vetrini utilizzando un sistema di gestione delle immagini (IMS) per fornire diagnosi, il che influisce in modo significativo sul flusso di lavoro della pratica patologica (Figura 1B). Più recentemente, l'intelligenza artificiale (AI) con l'apprendimento automatico approfondito delle immagini istopatologiche digitalizzate offre una potenziale opportunità per migliorare l'accuratezza diagnostica e l'efficienza dei patologi ^1,2.

A causa dell'introduzione e dello sviluppo di LIS, IMS e IA patologica in diversi periodi di tempo, questi sistemi sono forniti da fornitori diversi e funzionano in modo indipendente. Attualmente, i patologi devono lavorare con due sistemi separati, ovvero LIS per la segnalazione delle diagnosi e IMS per la revisione delle immagini¹. Inoltre, gli attuali modelli di intelligenza artificiale sono progettati per funzionare meglio con IMS ma non con LIS³. L'incompatibilità di LIS, IMS e AI ha un impatto significativo sullo sviluppo e l'implementazione di modelli di patologia digitale e AI nella pratica patologica di routine. È ideale e importante disporre di un sistema integrato che combini LIS e IMS in modo che l'intelligenza artificiale possa rivedere le immagini in IMS e generare referti patologici in LIS.

Pertanto, il nostro obiettivo è quello di sviluppare un sistema LIS/IMS/AI integrato basato su cloud che consenta ai patologi di accedere alle immagini e di emettere report sempre e ovunque. Inoltre, i modelli di intelligenza artificiale interagiscono senza soluzione di continuità tra IMS e LIS in modo che i risultati della valutazione AI delle immagini in IMS possano essere trascritti automaticamente nei referti patologici in LIS. I patologi devono solo rivedere l'immagine in IMS e confermare la diagnosi in LIS senza input manuale. In questo articolo, presentiamo il protocollo per i patologi per utilizzare FlexLIS e dimostriamo le applicazioni nel mondo reale dell'analisi delle immagini assistita dall'intelligenza artificiale e della refertazione nella diagnosi del cancro alla prostata e nella citologia delle urine per lo screening del cancro alla vescica.

Protocollo

FlexLIS è stato progettato nel rigoroso rispetto degli standard sulla privacy dei dati e dei quadri normativi, tra cui l'Health Insurance Portability and Accountability Act (HIPAA). Tutti i dati dei pazienti elaborati all'interno del sistema sono crittografati sia a riposo che in transito utilizzando protocolli standard del settore.

1. Configurazione dell'account

1. Apri il browser web. Digitare Continua (Figura 2). All'utente viene inviata un'e-mail.
2. Accedere all'e-mail e fare clic sul collegamento per accedere, che aprirà la finestra Elenco di accesso (Figura 3).

2. Digitalizzazione di vetrini

1. Accendere lo scanner digitale e caricare nello scanner vetrini precedentemente colorati (ad es. ematossilina ed eosina).
2. Premere Avvia per avviare la scansione dei vetrini. Le immagini verranno caricate automaticamente nel sistema tramite interfaccia diretta e disposte in un formato di custodia come i patologi di solito vedono nel vassoio dei vetrini.

3. Analisi dei dati

1. Vedere l'elenco dei casi nella finestra Elenco di accesso (Figura 3 e Figura 4) e le immagini corrispondenti nella finestra Revisione immagine (Figura 5 e Figura 6).
   NOTA: Il software utilizza i seguenti parametri di riferimento per valutare l'usabilità dell'utente: tasso di successo dell'attività, tempo di esecuzione dell'attività, tasso di errore, numero di azioni per attività, scala di usabilità del sistema (SUS) e soddisfazione dell'utente tramite studi e interviste sugli utenti. Utilizziamo Datadog per il monitoraggio degli utenti in tempo reale (RUM) e per monitorare gli errori delle applicazioni.
2. Nella finestra Elenco di accesso, l'utente visualizza l'elenco dei casi assegnati (Figura 3C). Fare clic sul pulsante freccia giù davanti alla custodia (PN24-00004) per vedere le macchie ordinate dal personale e dall'intelligenza artificiale (PIN4 in questo caso). Un punto verde sull'icona del microscopio indica il completamento dell'analisi dell'intelligenza artificiale (Figura 2C). Un punto rosso davanti al numero di accesso indica il cancro rilevato nell'immagine dall'intelligenza artificiale (Figura 2C). Revisionato/Pronto/Totale indica il numero totale di immagini in ciascuna categoria. Le! dopo il numero dell'immagine indica la valutazione AI della qualità dell'immagine (ad esempio, immagini mancanti o sfocate).
3. Fare clic sull'icona Utente davanti al case PN24-00004 , che porta l'utente alla finestra Revisione patologo (Figura 4). Tutti i campioni sono elencati in ordine alfabetico (Figura 4B) nella tabella riassuntiva dei campioni. L'utente vede i risultati dell'analisi AI per ogni campione, tra cui la diagnosi (benigna, HGPIN, ASAP, cancro) e la descrizione (punteggi di Gleason, lunghezza del tumore e gruppo di grado; Figura 4B). Gli utenti vedono anche i risultati dell'intelligenza artificiale in un diagramma (rosso-cancro, arancione-ASAP e nero-benigno; Figura 4B).
4. Fare clic sull'icona Microscopio a sinistra per B (Figura 4B), che apre la finestra Revisione immagine (Figura 5). L'utente vede l'immagine corrispondente in una finestra di revisione delle immagini separata (Figura 5). L'utente vede anche le annotazioni AI, le evidenziazioni rosse indicano il cancro e le evidenziazioni verdi indicano Gleason 4 (Figura 5).
5. Fare clic su C (Figura 5A) per visualizzare l'immagine C, fare clic su D per visualizzare l'immagine D, ecc. Fare clic sull'icona Feedback AI nella Figura 5C per visualizzare i dettagli degli output AI (Figura 6).

Risultati

In questa sezione, vengono presentati due casi d'uso per dimostrare come l'intelligenza artificiale può assistere i patologi nella valutazione delle immagini e nella fornitura di input diagnostici.

Diagnosi del cancro alla prostata (Figura 7): valutazione istopatologica della biopsia prostatica con cancro, inclusa la lunghezza e la percentuale del tumore, i punteggi di Gleason (3, 4 e 5), la percentuale di Gleason 4 e 5, ecc. Queste informazioni vengono quindi utilizzate per classificare i pazienti in gruppi di 4 gradi (da 1 a 4), dove 4 è il cancro alla prostata più aggressivo ^4,5. Queste informazioni devono essere incluse nel referto patologico; pertanto, è un esempio perfetto per illustrare la diagnosi patologica assistita dall'intelligenza artificiale.

In questo esempio, i vetrini con biopsia prostatica sono stati inizialmente colorati con la procedura ematossilina-eosina (H&E). Il vetrino colorato è stato quindi digitalizzato per generare un'intera immagine del vetrino (WSI), che è stata caricata nel sistema tramite un'interfaccia diretta tra il computer dello scanner e il software (Figura 7). Una volta caricato, un modello basato sull'intelligenza artificiale elabora l'etichetta, identifica e tagga ogni entità, inclusa la fonte del campione (ad esempio, la prostata) e il tipo di colorazione (ad esempio, H&E). Questo modello determina se l'immagine è una biopsia prostatica colorata con H&E. In caso affermativo, un altro modello basato sull'intelligenza artificiale analizza l'immagine e genera feedback o output in base all'analisi (Figura 7A). Questo modello basato sull'intelligenza artificiale è anche in grado di preordinare colorazioni immunoistochimiche PIN4 per aiutare i patologi a confermare la presenza di piccole aree tumorali (Figura 3).

Questo modello è stato addestrato su oltre 1700 immagini di vetrini interi della prostata (WSI) che sono state annotate al pixel da un team di patologi esperti. Dopo l'annotazione dei WSI, viene applicato un modello di deep learning per classificare le tessere di tessuto prostatico in quattro categorie: Benign, Gleason3, Gleason4 e Gleason5. Come illustrato nella Figura 5, gli output basati su tessere vengono aggregati per creare una maschera di vetrino intero che evidenzia le regioni cancerose: Cancro (rosso), Gleason4 (verde) e Gleason5 (blu; Figura 6). Oltre a queste maschere, il modello di intelligenza artificiale ha generato un'etichetta finale (Cancro o benigna) per il WSI della prostata. Questa classificazione si basa su caratteristiche morfologiche come le aree di Gleason3, Gleason4 e Gleason5, la certezza delle maschere di Gleason3, Gleason4 e Gleason5 e altri fattori. Le prestazioni del nostro attuale modello prostatico per la rilevazione del cancro alla prostata sono state confermate utilizzando un set indipendente di 1.000 WSI che non sono stati utilizzati durante lo sviluppo o la convalida del modello. Ogni vetrino nel set di convalida è etichettato come benigno o canceroso. Il modello sottoposto a training assegna anche un'etichetta a ogni diapositiva come descritto. Confrontando le etichette di verità sul campo con le previsioni del modello, sono state calcolate metriche di prestazione come accuratezza, sensibilità, specificità e punteggio F1, come presentato nella Tabella 1. I risultati indicano che il modello addestrato si comporta in modo paragonabile ad altri modelli di intelligenza artificiale della prostata⁶.

Oltre ai punteggi di Gleason, il modello di intelligenza artificiale è in grado di determinare la lunghezza e la percentuale del tumore e il gruppo di grado (Figura 7). Inoltre, il modello di intelligenza artificiale è anche in grado di calcolare la patologia basata sul gruppo di rischio NCCN e le informazioni cliniche, se fornite (Figura 7A). In FlexLIS, l'intelligenza artificiale è in grado di trascrivere tutte le informazioni diagnostiche nel referto patologico, in modo che i patologi non debbano inserirle manualmente nel referto (Figura 7B). Sebbene l'intero processo di IA sia completato in background e non sia visibile ai patologi, i risultati dell'analisi dell'IA e la stessa immagine sono visibili ai patologi che possono decidere di mantenere o modificare i risultati dell'IA nel referto patologico (Figura 7B).

Citologia delle urine per lo screening del cancro della vescica: la citologia delle urine è il principale metodo non invasivo per lo screening, la diagnosi e il monitoraggio del cancro della vescica⁷. La citologia delle urine classifica i pazienti in quattro categorie: negativi per carcinoma uroteliale di alto grado, cellule uroteliali atipiche, sospetto per carcinoma uroteliale di alto grado e carcinoma uroteliale di alto grado⁸. La revisione della citologia delle urine richiede esperienza e abilità ed è molto dispendiosa in termini di tempo. Pertanto, lo screening citologico delle urine assistito dall'intelligenza artificiale è molto richiesto. Questo caso presenta una valutazione a singola cellula da parte dell'intelligenza artificiale.

L'esame dei vetrini citologici delle urine può essere un processo laborioso e dispendioso in termini di tempo per i patologi. Richiede una scansione meticolosa di ampi campi e lo zoom avanti e indietro frequentemente per individuare cellule rare e diagnosticamente significative, spesso simili alla ricerca di un ago in un pagliaio. Questo approccio manuale non solo richiede molto tempo e concentrazione, ma contribuisce anche all'affaticamento diagnostico e alla potenziale variabilità nelle interpretazioni. Per semplificare questo processo, è stato sviluppato il modello di citologia delle urine basato sull'intelligenza artificiale integrato in FlexLIS per supportare i patologi rilevando e classificando automaticamente un'ampia gamma di tipi di cellule nei campioni di urina. Il modello è in grado di identificare le seguenti categorie: HGUC (cellule di carcinoma uroteliale di alto grado), sospette (cellule uroteliali con marcate anomalie suggestive di malignità ma non definitivamente diagnostiche), cellule uroteliali atipiche, globuli rossi (globuli rossi), cristalli, linfociti, cellule polimorfe, virus del polioma, cellule tubulari renali, spermatozoi, cellule squamose, cellule uroteliali normali, lieviti e altri. Per migliorare ulteriormente l'usabilità, le categorie diagnosticamente significative - HGUC, cellule uroteliali atipiche e sospette - vengono evidenziate utilizzando colori distinti (Figura 8), consentendo ai patologi di concentrarsi rapidamente sulle aree di interesse senza la necessità di una scansione manuale esaustiva.

Inoltre, il modello di intelligenza artificiale quantifica il numero di celle in ciascuna categoria rilevata e integra perfettamente questi dati nell'output (Figura 8). Questi risultati vengono trascritti automaticamente nel referto patologico, consentendo al patologo di concentrarsi esclusivamente sulla revisione, la verifica e la finalizzazione del caso. Ciò migliora notevolmente l'efficienza diagnostica, riduce il carico di lavoro manuale e promuove la coerenza e l'accuratezza tra i report.

Per addestrare il modello di intelligenza artificiale, 500 regioni sono state selezionate in modo casuale da 150 immagini di vetrini interi di campioni citologici delle urine. Esperti citopatologi hanno annotato manualmente le cellule all'interno di queste regioni in 14 categorie predefinite, come descritto in precedenza, ottenendo oltre 30.000 cellule annotate. L'80% delle diapositive è stato utilizzato per la formazione, mentre il restante 20% è stato riservato alla convalida. Un modello di rilevamento degli oggetti è stato quindi addestrato e valutato per identificare e classificare con precisione le cellule nelle categorie definite.

Oltre ai modelli di citologia della prostata e delle urine, nel software è disponibile anche il modello AI di gastroenterologia. Altri modelli, tra cui il cancro della vescica e il cancro del polmone, sono in fase di sviluppo.

Figura 1: Flusso di lavoro della patologia. (A) Flusso di lavoro patologico tradizionale. (B) Flusso di lavoro di patologia digitale. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Finestra di accesso. Inserisci l'e-mail nella casella e-mail. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Finestra Elenco di accesso. (A) La barra laterale sinistra indica diverse opzioni utente. (B) Filtro di accesso per cercare e ordinare i casi. (C) Elenco di adesione con le informazioni di ciascun caso, incluso il numero di accesso, il nome del paziente, lo stato del caso, il numero e la qualità delle immagini, ecc. In questo caso, all'utente sono stati assegnati 4 casi. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Finestra di revisione del patologo. (A) Informazioni sul caso, incluso lo stato del caso. (B) La tabella riassuntiva dei campioni fornisce un riepilogo di ciascun campione, inclusi sito, diagnosi e commenti. (C) Le informazioni sul campione forniscono ulteriori informazioni sul campione. (D) Pannello di controllo della custodia per la navigazione della custodia. Il diagramma a destra indica i siti della biopsia prostatica e i risultati dell'intelligenza artificiale (rosso-cancro, arancione-ASAP e nero-benigno). Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Finestra Revisione immagine. (A) La libreria di immagini (barra laterale sinistra) elenca tutti i campioni in ordine alfabetico con informazioni sul tipo e sullo stato della macchia. (B) Barra degli strumenti (in alto) per spostare, annotare e condividere le immagini. (C) Informazioni sul caso/AI (barra laterale destra) per formulare commenti, comunicare con il personale e visualizzare feedback/output dell'AI. Questo caso è una biopsia prostatica con cancro alla prostata mascherato dall'IA (rosso-cancro e verde-Gleason 4). Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Output AI. (A) Immagine istologica. (B) Feedback AI, ovvero valutazione AI dell'immagine, inclusa la lunghezza del tumore, il punteggio di Gleason, il gruppo di grado, ecc. Fare clic qui per visualizzare una versione più ampia di questa figura.

Figura 7: Il modello di intelligenza artificiale della prostata valuta automaticamente l'immagine della biopsia prostatica e assiste nella generazione di referti patologici. (A) Dopo l'analisi delle immagini in IMS. (B) L'intelligenza artificiale invia i risultati al referto patologico. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 8: Valutazione AI del vetrino citologico delle urine. Le cellule uroteliali anormali sono state evidenziate in rosso (cellule tumorali uroteliali di alto grado) e rosa (cellule sospette). I risultati dell'intelligenza artificiale vengono visualizzati nell'inserto (angolo in alto a destra). Clicca qui per visualizzare una versione più grande di questa figura.

Accuratezza	Precisione	Sensibilità	Specificità	Punteggio F1
97%	96%	98%	96%	97%

Tabella 1: Prestazioni del modello di intelligenza artificiale della prostata per il rilevamento dell'adenocarcinoma nelle biopsie prostatiche.

Discussione

L'applicazione corretta e accurata di FlexLIS si basa su diverse fasi critiche all'interno del processo, che possono essere definite come fattori pre-analitici, analitici e post-analitici¹. Il fattore preanalitico più importante è la qualità dell'immagine, che è influenzata dagli scanner digitali, dalle etichette dei vetrini e dalle colorazioni. La scarsa qualità delle immagini influisce in modo significativo sulla valutazione delle immagini e sulle prestazioni dell'intelligenza artificiale. I fattori analitici includono la velocità di Internet, la qualità della visualizzazione delle immagini (pixel e risoluzione), la stabilità del software e il corretto funzionamento da parte degli utenti. I fattori post-analitici includono l'archiviazione e la conservazione delle immagini, il backup delle immagini, la resilienza, la sicurezza dei dati e la conformità HIPAA¹. Poiché il software è progettato da patologi per patologi, molti potenziali errori analitici riscontrati nella pratica quotidiana, tra cui operazioni scorrette, possono essere rilevati e segnalati dal software per garantire che questi errori vengano corretti prima di passare alla fase successiva. Ad esempio, se un'immagine non viene esaminata e la diagnosi non viene inserita (Figura 4), il caso non può essere finalizzato.

Sebbene il software semplifichi notevolmente il flusso di lavoro, potrebbero essere necessarie regolazioni o risoluzione dei problemi occasionali. Ad esempio, possono sorgere discrepanze tra le valutazioni dell'IA e le interpretazioni del patologo. Queste differenze possono derivare da fattori quali la qualità dell'immagine, le variazioni nelle tecniche di colorazione dei vetrini o la presenza di rari tipi di tumore e modelli istopatologici che erano sottorappresentati nei set di dati di addestramento iniziali. Per affrontare queste sfide, viene utilizzato un approccio human-in-the-loop, in cui i patologi forniscono un feedback al modello di intelligenza artificiale. Questo feedback viene utilizzato per aggiornare periodicamente il modello con dati di addestramento nuovi e più diversificati, migliorandone l'accuratezza e la generalizzabilità nel tempo. Ciò garantisce che il sistema continui a evolversi e migliorare sulla base dell'esperienza clinica del mondo reale.

Sebbene ogni sistema LIS⁹, IMS e AI¹⁰ sia stato segnalato in precedenza, FlexLIS si distingue come un sistema integrato che, per quanto ne sappiamo, non è stato segnalato in precedenza. Ancora più importante, questo sistema integrato, compresi i suoi modelli di intelligenza artificiale, è stato utilizzato quotidianamente in diverse pratiche di patologia e ha dimostrato la sua utilità e affidabilità. Tale sistema è progettato per essere utilizzato nei laboratori di patologia di routine, quindi supporta la gestione e la segnalazione di una varietà di campioni patologici, tra cui prostata, vescica, seno, polmone, GI, ginecologia, ecc. Questo sistema incorpora diverse funzioni di controllo della qualità basate sull'intelligenza artificiale, tra cui il rilevamento e la segnalazione di artefatti nelle immagini (tessuto sfocato e mancante), che possono influire sull'accuratezza diagnostica. Infine, questo sistema è molto flessibile e può essere adattato alle esigenze specifiche di ogni singolo laboratorio.

Le applicazioni future di questo sistema integrato LIS/IMS/AI sono molto ampie, compresi i servizi clinici, la ricerca biomedica e la formazione di studenti/residenti in medicina. Offre un modulo di ricerca separato che garantisce di soddisfare gli elevati standard di ricerca, compresi quelli richiesti dall'Institutional Review Board, come ad esempio 1) de-identificare le immagini cancellando l'etichetta originale del vetrino che contiene l'ID del paziente e assegnando un nuovo ID di ricerca; 2) ordinare e sistemare diapositive e casi come richiesto dal disegno dello studio; 3) registrare e tenere traccia delle diagnosi e dei commenti dei partecipanti per l'analisi e il riepilogo dei dati, ecc.

La sua utilità nell'istruzione è evidenziata dal nostro progetto di formazione dei residenti¹¹, che indica che l'assistenza dell'IA può aumentare l'accuratezza dei residenti nell'identificare le caratteristiche istopatologiche chiave. Diverse funzionalità all'interno del software qui descritto, tra cui l'IMS di facile utilizzo e un gran numero di immagini nel sistema, l'accesso controllabile di maschere e annotazioni AI, le funzionalità ChatGPT specifiche per la patologia integrate e la capacità di condivisione dei casi sicura e conveniente, lo rendono una piattaforma utile sia per l'apprendimento autodiretto che per la formazione guidata da un mentore.

Attualmente, il software deve affrontare diverse limitazioni e sfide, come qualsiasi altra piattaforma di gestione delle immagini basata sull'intelligenza artificiale¹. Durante l'implementazione è necessario prendere in considerazione le sfide dell'integrazione, tra cui l'interfaccia con l'EMR esistente, l'archiviazione e il recupero di immagini di grandi dimensioni, ecc. La generalizzabilità dei modelli di intelligenza artificiale in diverse istituzioni, scanner, protocolli di colorazione e popolazioni di pazienti, nonché la sensibilità agli artefatti dell'immagine, la variabilità della preparazione dei tessuti e i modelli istologici rari, sono alcune limitazioni associate ai modelli di intelligenza artificiale patologica. Infine, l'interoperabilità è un'altra sfida dei sistemi di intelligenza artificiale patologica a causa della frammentazione dei formati dei dati, della terminologia diagnostica e degli strumenti specifici della piattaforma.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
FlexLIS	Novino AI