Summary
Dimostriamo come implementare un sistema di calcolo e avviso di psicosi in tempo reale basato su CogStack, una piattaforma di recupero ed estrazione di informazioni per le cartelle cliniche elettroniche.
Abstract
Recenti studi hanno dimostrato che un calcolatore di rischio automatizzato, inclusivo, transdiagnostico e clinicamente basato, fornisce un potente sistema per supportare la diagnosi precoce di individui a rischio di psicosi su larga scala, sfruttando le cartelle cliniche elettroniche (EHR). Questo calcolatore di rischi è stato convalidato due volte ed è sottoposto a test di fattibilità per l'implementazione clinica. L'integrazione di questo calcolatore di rischio nella routine clinica dovrebbe essere facilitata da studi di fattibilità prospettici, necessari per affrontare sfide pragmatiche, come i dati mancanti, e l'usabilità di questo calcolatore di rischio in un ambiente clinico reale e di routine. Qui presentiamo un approccio per una prospettiva di un servizio di rilevamento e allerta di psicosi in tempo reale in un sistema EHR nel mondo reale. Questo metodo sfrutta la piattaforma CogStack, che è un sistema di recupero di informazioni e di estrazione di testo open-source, leggero e distribuito. La piattaforma CogStack incorpora una serie di servizi che consentono la ricerca full-text di dati clinici, il calcolo della durata della vita compreso, in tempo reale del rischio di psicosi, l'avviso precoce di rischio per i medici e il monitoraggio visivo dei pazienti nel tempo. Il nostro metodo include: 1) l'inserimento e la sincronizzazione dei dati provenienti da più fonti nella piattaforma CogStack, 2) implementazione di un calcolatore di rischio, il cui algoritmo è stato precedentemente sviluppato e convalidato, per il calcolo tempestivo del rischio di psicosi di un paziente, 3) creazione di visualizzazioni interattive e dashboard per monitorare lo stato di salute dei pazienti nel tempo, e 4) la costruzione di sistemi di allerta automatizzati per garantire che i medici siano informati dei pazienti a rischio, , in modo da poter perseguire le azioni appropriate. Questo è il primo studio in assoluto che ha sviluppato e implementato un sistema di rilevamento e allerta simile nella routine clinica per la diagnosi precoce della psicosi.
Introduction
I disturbi psicotici sono gravi malattie di salute mentale che portano a difficoltà nel distinguere tra l'esperienza interna della mente e la realtà esterna dell'ambiente1, così come un rischio superiore alla media di autolesionismo e suicidio2. Secondo l'assistenza standard, questi disturbi si traducono in un forte impatto sulla salute pubblica con un significativo onere sanitario ed economico per gli individui, le famiglie e le società in tutto il mondo3. Interventi precoci nella psicosi possono migliorare gli esiti di questo disturbo mentale4. In particolare, il rilevamento, la valutazione prognostica e il trattamento preventivo di individui ad alto rischio clinico di sviluppare psicosi (CHR-P)5 forniscono un potenziale unico per alterare il decorso del disturbo, migliorando così la qualità della vita di molte persone e delle loro famiglie3,6. Gli individui CHR-P sono giovani in cerca di aiuto che presentano sintomi attenuati e menomazioni funzionali7: il loro rischio di sviluppare psicosi è del 20% a 2 anni8 ma è più alto in alcuni sottogruppi specifici9,10. Nonostante alcuni progressi sostanziali, l'impatto degli approcci preventivi nella pratica clinica di routine è limitato dalla capacità di rilevare la maggior parte degli individui a rischio11. Gli attuali metodi di rilevamento si basano su comportamenti di ricerca di aiuto e rinvii sul sospetto di rischio di psicosi; questi metodi sono altamente inefficienti nella gestione di un gran numero di campioni11. Pertanto, la scalabilità degli attuali metodi di rilevamento per la stragrande maggioranza della popolazione a rischio è piuttosto limitata12. Infatti, solo il 5% (servizi di rilevamento precoce specializzati autonomi) al 12% (servizi di salute mentale giovanile) di individui a rischio di sviluppare un primo disturbo psicotico può essere rilevato al momento della loro fase di rilevamento a rischio dalle attuali strategie di rilevamento6.
Per estendere i benefici clinici degli approcci preventivi in un maggior numero di individui a rischio, abbiamo sviluppato una durata automatizzata e realistica (cioè, di tutte le età), transdiagnostica (cioè, attraverso diverse diagnosi)13, calcolatore del rischio individualizzato basato clinicamente, in grado di rilevare gli individui a rischio di psicosi nella salute mentale secondaria su larga scala, oltre i criteri CHR-P14. Questa calcolatrice del rischio ha utilizzato un modello di rischio proporzionale Cox per prevedere il rischio di sviluppare un disturbo psicotico nell'arco di sei anni da cinque variabili cliniche regolarmente raccolte, selezionate a priori, in linea con le linee guida metodologiche15: età, sesso, etnia, età per sesso e diagnosi dell'indice primario. Queste variabili cliniche sono state selezionate sulla base di conoscenze a priori ottenute da meta-analisi16,17, come raccomandato dalle linee guida metodologiche all'avanguardia15. Il numero di predittori è limitato per preservare il rapporto Evento per variabile e ridurre al minimo le distorsioni di overfitting; tra cui troppe variabili senza un filtro a priori porta a problemi di overfitting e scarsa precisione prognostica18. Il metodo utilizzato per sviluppare questo modello fornisce una precisione prognostica simile ai metodi automatici di apprendimento automatico18. I parametri del modello Cox sono stati stimati sulla base di una coorte retrospettiva de-identificata del South London e del Maudsley National Health Service Foundation Trust (SLaM)19. SLaM è un National Health Service (NHS) mental health trust che fornisce assistenza sanitaria mentale secondaria a una popolazione di 1,36 milioni di individui nel sud di Londra (distretto di Londra, Southwark, Lewisham e Croydon), e ha uno dei più alti tassi registrati di psicosi nel mondo20. Tutti i dati utilizzati nello sviluppo del modello sono stati estratti dalla piattaforma Clinical Record Interactive Search (CRIS), un sistema di registrazione dei casi digitali, che fornisce ai ricercatori l'accesso retrospettivo e l'analisi di record clinici anonimi19. Le informazioni cliniche in CRIS vengono estratte da un sistema EHR (Electronic Health Record) su misura, presso SLaM, chiamato Electronic Patient Journey System (ePJS). SLaM è privo di carta e ePJS rappresenta la piattaforma di raccolta dati standard per la routine clinica. Pertanto, il calcolatore del rischio transdiagnostico sfrutta gli EHR e ha il potenziale per vagliare automaticamente grandi EDR di pazienti che accedono all'assistenza sanitaria mentale secondaria, per rilevare coloro che possono essere a rischio di psicosi. L'algoritmo di questo calcolatore di rischio transdiagnostico è stato pubblicato in precedenza6,14,21. Il calcolatore del rischio transdiagnostico è stato convalidato esternamente in due NHS Foundation Trusts14,,21 e ottimizzato22,dimostrando le sue adeguate prestazioni prognostiche e generalizzabilità tra diverse popolazioni.
Secondo le linee guida metodologiche sullo sviluppo di un modello di previsione del rischio15,23, il passo successivo dopo lo sviluppo e la convalida del modello consiste nell'implementare il modello di stima nella pratica clinica di routine. Gli studi di implementazione sono di solito preceduti da studi pilota o di fattibilità che affrontano potenziali limitazioni pragmatiche associate all'uso di algoritmi di rischio nella pratica clinica. Ad esempio, i dati richiesti per l'esecuzione di una calcolatrice, come età, sesso ed etnia, potrebbero non essere disponibili alla data della diagnosi o aggiornati in un secondo momento. I metodi efficaci per la gestione dei dati mancanti e la sincronizzazione di aggiornamenti frequenti in flussi di dati in tempo reale devono essere considerati per ottenere i risultati di stima più affidabili in un'implementazione. Inoltre, poiché lo sviluppo iniziale del calcolatore del rischio si basava su dati di coorte retrospettivi, non è noto se possa essere utilizzato in un flusso di dati in tempo reale tipico di un ambiente clinico reale. Un'altra sfida consiste nell'assicurare che i medici interessati ricevano le raccomandazioni generate dal calcolatore del rischio entro un periodo di tempo appropriato e all'interno di un percorso di comunicazione condiviso e accettato.
Per superare questi limiti, abbiamo completato uno studio di implementazione di fattibilità impiegando il calcolatore di rischio transdiagnostico individualizzato. Lo studio ha incluso due fasi: una fase in vitro che è stata condotta utilizzando i dati dell'EHR locale, senza contattare medici o pazienti, e una fase in vivo, che ha comportato il contatto diretto con i medici. La fase in vitro aveva due molteplici obiettivi: (i) affrontare le barriere di attuazione secondo il quadro consolidato per la ricerca di attuazione (CFIR)27 e (ii) integrare il calcolatore del rischio transdiagnostico nella EHR locale. Le barriere di attuazione includevano la comunicazione degli esiti di rischio ai medici. In SLaM, tutti i pazienti sono invitati a registrarsi per il consenso al contatto (C4C), che indica la loro volontà di essere contattati per la ricerca, senza influire sulla qualità delle cure. Questo riduce le questioni etiche relative al contatto con i pazienti. Inoltre, i gruppi di lavoro con medici hanno aiutato la sartoria di come queste informazioni sono state comunicate. Durante la fase in vivo (dal 14 maggio 2018 al 29 aprile 2019), tutti gli individui (i) più vecchi di 14 anni (ii) che accedevano a qualsiasi servizio SLaM (borough di Lambeth, Southwark, Lewisham, Croydon), (iii) ricevendo una prima diagnosi primaria di indice ICD-10 di qualsiasi disturbo mentale non organico e non psicotico (ad eccezione di Disturbo Acuto e Transitico; ATPD), o una designazione CHR-P e (iv) con i dati di contatto esistenti sono stati ritenuti idonei. Durante la fase in vivo, i nuovi pazienti che accedevano a SLaM ogni settimana venivano automaticamente sottoposti a screening per rilevare il rischio di psicosi e sono stati rilevati quelli con un rischio superiore a una certa soglia. Il team di ricerca ha quindi contattato i medici responsabili dei pazienti per discutere ulteriori raccomandazioni e alla fine suggerire un'ulteriore valutazione faccia a faccia6. Se quelli valutati sono stati considerati conformi ai criteri CHR-P, sono stati indirizzati a servizi specializzati CHR-P, come Outreach and Support nel sud di Londra (OASIS)28. Ciò comporterebbe una migliore individuazione degli individui prima dell'insorgenza di un disturbo psicotico e fornirebbe un'opportunità significativa per alterare il decorso del disturbo. Fondamentalmente, questo studio di fattibilità ha coinvolto la piena integrazione della calcolatrice nel sistema Locale EHR, che è l'argomento dell'articolo corrente. Il protocollo completo di questo studio di fattibilità, che include una panoramica del piano di valutazione della ricerca proposta, dettagli sulla gestione della sicurezza dei dati e questioni etiche, è stato presentato nel nostro lavoro precedente6. L'articolo corrente, come parte dello studio di fattibilità6, si concentra selettivamente sulla presentazione dell'implementazione tecnica di un sistema di rilevamento e allerta psicosi in tempo reale basato sui dati EHR locali. Più specificamente, lo scopo di questo studio è quello di studiare la fattibilità tecnica di questo calcolatore di rischio nel rilevamento tempestivo dei pazienti a rischio non appena accedono a un servizio di assistenza sanitaria mentale secondaria. I risultati completi dello studio di fattibilità, in termini di adesione dei medici alle raccomandazioni formulate dal calcolatore del rischio, saranno presentati separatamente. Una valutazione completa dell'efficacia della ricerca proposta, che richiede disegni randomizzati, esula dall'ambito dell'attuale programma di ricerca. A nostra conoscenza, questo è il primo metodo che descrive l'implementazione di un calcolatore di rischi basato su dati EHR in tempo reale per la diagnosi precoce della psicosi.
Il nostro approccio al rilevamento e all'allarme del rischio di psicosi sfrutta la piattaforma CogStack. La piattaforma CogStack è una piattaforma di recupero e estrazione di testo leggera, distribuita e a tolleranza d'errore24. Questa piattaforma è costituita da tre componenti chiave: 1) la pipeline CogStack che utilizza il framework Java Spring Batch per inserire e sincronizzare i dati da un'origine dati predefinita (dati EHR strutturati e non strutturati in più formati come Word, file PDF e immagini) a un sink di dati predefinito in tempo reale; 2) Elasticsearch, un motore di ricerca che consente l'archiviazione e l'esecuzione di query del testo completo dei dati EHR, oltre a fornire varie api (Application Programming Interface) per incorporare analisi avanzate nel motore; e 3) Kibana, un'interfaccia utente interattiva basata sul web che consente agli utenti di interrogare i dati in Elasticsearch, creare dashboard di visualizzazione e impostare avvisi su anomalie o altri modelli di interesse dai dati. Inoltre, CogStack incorpora la capacità di avvisare i medici di potenziali problemi via e-mail e SMS (testo), consentendo ai medici di ricevere notifiche tempestive sui pazienti a rischio segnalati dal calcolatore del rischio.
Vi presentiamo un modello di rilevamento del rischio di psicosi e di allerta basato su ePJS a SLaM, sfruttando la piattaforma CogStack. Rispetto alla piattaforma CRIS che fornisce un meccanismo per l'accesso retrospettivo ai record sanitari de-identificati da ePJS su base settimanale19, la piattaforma CogStack di SLaM consente l'accesso a un EHR identificabile in tempo reale, avvicinando l'avviso al punto di cura e la previsione del rischio in un progetto prospettico, anche se entrambe le piattaforme CRIS e CogStack utilizzano i dati provenienti da ePJS in SLaM. Nella sezione che segue, forniamo i dettagli dei passaggi chiave del nostro approccio, tra cui la preparazione dei dati di origine dall'EHR, l'inserimento dei dati di origine nella piattaforma CogStack per abilitare la ricerca full-text tramite Elasticsearch, l'esecuzione del calcolatore del rischio di psicosi utilizzando un thread di daemon Python e l'impostazione di visualizzazioni interattive e avvisi di rischio in tempo reale tramite l'interfaccia utente di Kibana. Qualsiasi ricercatore che mira a costruire un sistema di rilevamento e allerta dei rischi in tempo reale basato sui dati EHR può seguire l'approccio e la sua implementazione di riferimento. Come vedremo più avanti, il metodo proposto sfrutta tecniche open source e leggere con elevata flessibilità e portabilità. Ciò consente di eseguire il calcolatore del rischio in varie posizioni e mostra un'elevata applicabilità ad altri algoritmi di stima del rischio. Inoltre, il metodo funziona come un approccio diretto per migliorare le funzionalità di rilevamento del rischio e allerta mentodi di un EHR incorporato in un sistema sanitario generale.
Protocol
Questo studio è stato approvato dal comitato etico della ricerca dell'Inghilterra orientale - Cambridgeshire e Hertfordshire (numero di riferimento: 18/EE/0066).
NOTA: Abbiamo sviluppato questo protocollo basato sulla piattaforma CogStack e sul linguaggio di programmazione Python. Questo sistema richiede Docker (più specificamente, Docker Compose https://docs.docker.com/compose/), Anaconda Python (https://www.anaconda.com/distribution/) e Git (https://git-scm.com/downloads) preinstallati in un dispositivo. I comandi forniti in questo protocollo sono basati sull'ambiente Linux.The commands provided in this protocol are based on the Linux environment. Di seguito vengono forniti i dettagli relativi alla preparazione dei dati di origine da un database EHR, all'inserimento dei dati nella piattaforma CogStack e all'impostazione di un sistema di calcolo e avviso dei rischi in tempo reale per la psicosi basata sulla piattaforma CogStack. Inoltre, è stata sviluppata una versione online della calcolatrice del rischio per facilitare il calcolo numerico della probabilità che un individuo sviluppi psicosi nell'assistenza sanitaria mentale secondaria su http://www.psychosis-risk.net.
1. Preparazione dei dati di origine
NOTA: nella maggior parte dei casi, CogStack archivia i dati di origine da una vista di database specificata che può combinare i dati di una o più tabelle del database di origine, dove una vista è un oggetto ricercabile in un database che contiene il set di risultati di una query archiviata sui dati. La configurazione della vista di inserimento è personalizzata in base ai casi di utilizzo specifici e alle impostazioni di distribuzione di un sistema di database delle cartelle cliniche. Questo protocollo è sviluppato sulla base di un calcolatore di rischio di psicosi sviluppato ed convalidato esternamente due volte da Fusar-Poli et al.14,21 e come parte di uno studio pilota di fattibilità di implementazione6. Il protocollo si basa su un database EHR distribuito con Microsoft SQL Server 2014.
- Creare un oggetto vista (chiamato "vwPsychosisBase" in questo protocollo) in un sistema di database EHR esistente per unire le informazioni necessarie dei pazienti per il calcolo e l'avviso di rischio di psicosi. Assicurarsi che questa visione includa tutti i pazienti che ricevono una prima diagnosi primaria di disturbo mentale non organico e non psicotico (registrato dalla Classificazione Statistica Internazionale delle Malattie e problemi di salute correlati, decimo revisione [ICD-10]), come definito nel modello originale14,21.
- Assicurarsi che ogni record nella vista coinvolga tre tipi di informazioni sul paziente: 1) la prima diagnosi primaria di un paziente nel sistema EHR, compreso l'indice di diagnosi iCD-10 (le diagnosi sono state raggruppate nei seguenti dieci cluster: disturbi psicotici acuti e transitori, disturbi d'ansia, disturbi dell'umore bipolari, disturbi dell'infanzia e dell'esordio adolescenziale, disturbi dello sviluppo, disturbi dell'umore non bipolari, ritardo mentale, disturbi della personalità, sindromi fisiologiche, uso di sostanze) e data di diagnosi; 2) dati demografici del paziente, tra cui sesso, etnia e data di nascita; e 3) le più recenti informazioni di contatto del team di assistenza per un paziente, come i dettagli della pratica generale (GP), consulenti e coordinatori di assistenza. I primi due tipi di informazioni sono vitali per la calcolatrice del rischio di psicosi14,21, e il terzo tipo di informazioni è quello di consentire l'avviso tempestivo di rischio.
- Assicurarsi che ogni record nella visualizzazione abbia un identificatore univoco (ad esempio, "patient_id" utilizzato in questo protocollo).
- Selezionare gli ultimi timestamp di aggiornamento di tutte le informazioni di origine relative a un record nella visualizzazione (ad esempio, gli ultimi tempi di aggiornamento delle informazioni demografiche di un paziente e le prime informazioni sulla diagnosi primaria del paziente) e scegliere il timestamp più recente come data e ora dell'ultimo aggiornamento del record nella visualizzazione (indicato come "etl_updated_dttm" in questo protocollo). La data e l'ora dell'ultimo aggiornamento di un record consentono a CogStack di sincronizzare gli aggiornamenti nel database, ad esempio i record nuovi e aggiornati.
2. Inserimento dati
- Scaricare o clonare il repository di codice da Github (https://github.com/cogstack-slam/psychosis) o digitando "git clone https://github.com/cogstack-slam/psychosis.git" in una finestra del terminale. La cartella scaricata contiene il codice per il calcolo del rischio di psicosi e i file di configurazione per la distribuzione di un'istanza DiCogStack.
- Passare alla directory "cogstack_deploy/cogstack/" e modificare "psychosis.properties" per configurare CogStack Pipeline per l'inserimento dei dati. Modificare le impostazioni della sezione "SOURCE: DB CONFIGURATIONS" in base all'impostazione del database EHR, specificando l'indirizzo IP del server di database, il nome del database, il nome del database, il nome utente e la password del database. Modificare il nome della visualizzazione (ad esempio "vwPsychosisBase") e i nomi dei campi (ad esempio, "patient_id" e "etl_updated_dttm") se necessario. In caso di errore nella configurazione di questo file, seguire le istruzioni riportate in https://cogstack.atlassian.net/wiki/spaces/COGDOC/pages/38043684/Quickstart.
- Passare alla directory "cogstack_deploy/common/elasticsearch/config/" e modificare la sezione "xpack.notification.email.account" nel file "elasticsearch.yml" per configurare un indirizzo e-mail per l'invio di avvisi. Un'istruzione dettagliata per la configurazione e-mail può essere trovata su https://www.elastic.co/guide/en/kibana/6.4/watcher-create-threshold-alert.html.
- Passare alla directory "cogstack_deploy/" e digitare "docker-compose up" per eseguire la piattaforma CogStack. Eseguire questo comando con accesso root. Se il processo viene completato correttamente, verranno stampati i registri di stato dei servizi attualmente in esecuzione, tra cui CogStack Pipeline, Elasticsearch e Kibana, nel terminale. Di conseguenza, tutti i dati e gli aggiornamenti nella vista del database di origine verranno ingeriti tempestivamente in un indice Elasticsearch denominato "psychosis_base" nella piattaforma CogStack.
- Aprire un browser web e accedere all'interfaccia utente di Kibana digitando "http://localhost:5601/" (o sostituendo "localhost" con un indirizzo IP specifico del server che esegue la piattaforma CogStack). Per la prima volta che si accede a Kibana, fare clic sulla scheda Gestione e sulla scheda Modelli indice per specificare un indice Elasticsearch a cui si desidera accedere con Kinaba. Digitare "psychosis_base" nel campo "Modello di indice" e fare clic su Passaggio successivo. Selezionare "etl_updated_dttm" per il nome del campo "Time Filter" e fare clic su Crea modello di indice per aggiungere il modello di indice "psychosis_base" per Kinana.
- Una volta che Kibana è collegata all'indice Elasticsearch (cioè , "psychosis_base"), cerca e sfoglia i dati sorgente in modo interattivo attraverso la pagina "Scopri". Kibana consente agli utenti non tecnici di cercare sia metadati strutturati che testo libero. Istruzioni dettagliate sull'utilizzo di "Discover" sono disponibili su https://www.elastic.co/guide/en/kibana/6.4/discover.html.
3. Calcolo del rischio
- Aprire una nuova finestra del terminale e passare alla directory "psicosi/". Installare tutti i pacchetti Python necessari (tra cui "elasticsearch", "elasticsearch_dsl", "pandas" e "numpy") utilizzati nella calcolatrice dei rischi digitando "conda install package-name" o "pip install package-name" nel terminale.
- Digitare "python risk_calculator.py" per eseguire la calcolatrice del rischio di psicosi. Se il processo viene completato correttamente, i registri del calcolo del rischio verranno stampati nel terminale e i risultati del rischio verranno memorizzati in un nuovo indice Elasticsearch chiamato "psychosis_risk" all'interno della piattaforma CogStack.
- Controllare i risultati dei rischi utilizzando l'interfaccia Kibana. Analogamente ai passaggi 2.5 e 2.6, aggiungere un nuovo modello di indice "psychosis_risk" per collegare Kinbana all'indice "psychosis_risk" ed esplorare i risultati del rischio attraverso la pagina "Discover". Per facilitare l'identificazione di nuovi pazienti a rischio, utilizzare "first_primary_diagnosis_date" come campo "Filtro temporale" nella costruzione dell'indice "psychosis_risk". Quando si esplorano i dati nella pagina "Scopri", assicurarsi che sia selezionato il modello di indice "psychosis_risk".
4. Visualizzazione dei dati
- Oltre a cercare e accedere alle informazioni a livello individuale tramite la pagina "Scopri" a Kibana, è possibile creare visualizzazioni e dashboard per ottenere una panoramica delle caratteristiche per l'intera popolazione di pazienti a rischio. Per fare questo, clicca su Visualizza nella navigazione laterale di Kibana. Quindi, fare clic sul pulsante Crea nuova visualizzazione e scegliere un tipo di visualizzazione (ad esempio, grafici a torta e a linee). Selezionare "psychosis_risk" come indice che si desidera visualizzare attraverso Kibana. Per impostazione predefinita, le visualizzazioni includeranno tutti i record/pazienti nell'indice "psychosis_risk". Istruzioni dettagliate per la costruzione di visualizzazioni Kibana sono disponibili su https://www.elastic.co/guide/en/kibana/6.4/visualize.html.
- Per selezionare un sottoinsieme specifico di dati per la visualizzazione, aggiungere un "filtro". Ad esempio, la selezione di un filtro archiviato come "h_2_year", la scelta di un operatore come "non è compresa tra" e l'impostazione di valori da "0.0" a "0,05" includerà solo i pazienti il cui rischio di psicosi in 2 anni è superiore a 0,05.
- Una volta create singole visualizzazioni, fare clic su Dashboard nella barra di spostamento laterale di Kibana per creare una dashboard che visualizza insieme un set di visualizzazioni correlate. Fare clic su Crea nuovo dashboard e sul pulsante Aggiungi per creare un nuovo pannello del dashboard. Fare clic sulle visualizzazioni che si desidera visualizzare all'interno del nuovo pannello del dashboard. Fate clic su Salva e digitate un titolo per salvare il pannello. Le istruzioni per la costruzione di dashboard Kibana sono disponibili presso https://www.elastic.co/guide/en/kibana/6.4/dashboard.html.
5. Allerta sul rischio
- Fare clic su Gestione nella navigazione laterale di Kibana e quindi fare clic su Watcher sotto Elasticsearch per creare avvisi per i medici quando i pazienti erano a rischio di psicosi. Se il pulsante Watcher non è visibile, fare clic su Gestione licenze e quindi su Avvia versione di valutazione o Aggiorna licenza.
- Fai clic su Crea orologio avanzato per configurare un nuovo Osservatore. Digitare "ID" e "Name". Eliminare il contenuto della sezione "Guarda JSON" e copiare il contenuto nel file "watcher.json" nella directory "psychosis" nella sezione "Watch JSON". Questo osservatore invierà un'e-mail di avviso a "clinician@nhs.uk" (che può essere sostituito con l'indirizzo e-mail in cui si desidera inviare avvisi) da "username@nhs.uk" (che è stato impostato nel passaggio 2.3) se ci sono uno o più pazienti il cui rischio di psicosi in 2 anni è superiore a 0,05 (una soglia provvisoria per i test di fattibilità) ogni 24 ore.
- Prima di salvare il Watcher, fare clic su Simula per testare l'esecuzione di Watcher. Se l'Osservatore è impostato correttamente, verrà visualizzato l'output di simulazione stampato. In caso di errore nelle impostazioni, seguire le istruzioni su https://www.elastic.co/guide/en/elastic-stack-overview/6.4/watcher-getting-started.html.
- Per arrestare un Osservatore, eliminarlo definitivamente o disattivarlo temporaneamente dalla pagina "Stato" del Watcher.
Representative Results
In questa sezione, presentiamo risultati di implementazione concentrandoci sulla praticità nella gestione dei flussi di dati clinici in tempo reale elaborati attraverso il calcolatore del rischio e facilitando la consegna tempestiva dei risultati prognostici ai medici. Le valutazioni dell'utilità clinica del sistema, come l'adesione dei medici alle raccomandazioni formulate dal calcolatore del rischio, saranno presentate in un rapporto separato al termine.
Inserimento dei dati di origine
Abbiamo implementato il sistema di calcolo e allerta del rischio di psicosi basato su un database di replica di ePJS in SLaM. Questo database di replica sincronizza i dati attivi da ePJS ogni 10 minuti. In questo database di replica è stata costruita una vista del database che combina le informazioni dei pazienti per il calcolo del rischio di psicosi, in cui ogni record contiene informazioni per un paziente. Tutti i record in questa visualizzazione sono stati inseriti nella piattaforma CogStack in tempo reale (circa 0,6 microsecondi per record in una macchina virtuale con CPU a 8 core e 16 GB di RAM). Fino al 13 luglio 2019, quando questo manoscritto è stato preparato, tutti i documenti di 202.289 pazienti che hanno ricevuto una prima diagnosi di indice di disturbo mentale non organico e non psicotico in SLaM sono stati ingeriti in CogStack per il calcolo del rischio di psicosi, memorizzati nel "psychosis_base" indice elastico. Figura 1 Mostra il numero di record inseriti in CogStack nel tempo, in ordine cronologico basato sulla data dell'ultimo aggiornamento di un record. Confrontando i numeri e il contenuto dei record nel database e l'indice Elasticsearch, non sono stati trovati dati mancanti e discrepanti, il che conferma l'affidabilità della pipeline CogStack nell'inserimento e nella sincronizzazione dei dati.
Convalida dei risultati del rischio
Per convalidare l'implementazione del rilevatore di rischio di psicosi in questo protocollo, abbiamo confrontato i pazienti a rischio rilevati da CogStack (chiamato "versione CogStack") con quelli rilevati dal calcolatore di rischio originale basato su CRIS (chiamato "versione CRIS"). Dal momento che non c'erano soglie sviluppate per vagliare un paziente a rischio6,14,21, abbiamo qui utilizzato una soglia provvisoria del 5% per il rischio di psicosi in due anni. Si noti che questa soglia provvisoria è semplicemente per verificare se il sistema può funzionare pragmaticamente nel NHS ed è suscettibile di cambiamento con la ricerca futura. La soglia effettiva per un rilevamento ottimale di individui a rischio dovrà essere identificata in futuri studi su larga scala. In particolare, abbiamo prima recuperato tutti i pazienti che avevano un rischio di psicosi al di sopra della soglia nella versione CRIS (il numero di pazienti N.169). Tutti questi pazienti hanno ricevuto una prima diagnosi di indice di disturbo mentale non organico e non psicotico in SLaM dal 14 maggio 2018 al 29 aprile 2019. Filtrando i pazienti che sono stati diagnosticati nello stesso periodo di tempo, abbiamo poi recuperato i pazienti n. 170 il cui rischio di psicosi in 2 anni era superiore a 0,05 nella versione CogStack. Infine, abbiamo confrontato la differenza tra i due gruppi di pazienti, dove il numero totale di pazienti unici nei due insiemi è di N-173. Abbiamo scoperto che 161 pazienti (che rappresentano il 93% di 173 pazienti) avevano gli stessi punteggi in entrambe le versioni. L'elevato grado di accordo conferma la validità di questo protocollo basato su CogStack nella generazione di punteggi di rischio.
C'erano 12 pazienti con punteggi di rischio diversi nelle due versioni. Ispezionando gli EDR dei pazienti, abbiamo scoperto che questa differenza era perché i dati per questi pazienti sono stati aggiornati dopo che i punteggi di rischio sono stati calcolati nella versione CRIS. In particolare, anche se i predittori utilizzati nel calcolatore del rischio, come la data di nascita, il sesso e l'etnia auto-assegnata, erano variabili statiche, le cartelle cliniche di alcuni pazienti avevano un valore mancante o predefinito per una variabile (ad esempio, un'etnia sconosciuta) in una fase precedente e queste variabili sono state immesse o aggiornate in una fase successiva. Questo può portare a punteggi di rischio diversi in due fasi diverse. Analogamente, le prime diagnosi dell'indice primario di alcuni pazienti sono state invalidate dopo che è stato calcolato un punteggio di rischio iniziale sulla base di tali diagnosi. In questo caso, il calcolatore del rischio cercherà la successiva diagnosi primaria valida per tale paziente e ricalcola un punteggio di rischio. Il punteggio di rischio aggiornato può anche differire da quello iniziale. Poiché il calcolatore di rischio originale è stato sviluppato sulla base di dati retrospettivi in CRIS per uso di ricerca, le pipeline della calcolatrice originale non sincronizzavano questi aggiornamenti nei dati EHR e aggiornavano i punteggi di rischio in modo tempestivo. Al contrario, il punteggio di rischio di un paziente verrà ricalcolato nella versione CogStack se i dati di origine del paziente vengono aggiornati, il che consente a questo calcolatore basato su CogStack di fornire i punteggi di rischio più affidabili e aggiornati per i pazienti. Questi risultati evidenziano fortemente l'affidabilità dei punteggi di rischio in questo protocollo.
Visualizzazione dei risultati e avvisi sui rischi
Per dimostrare le funzionalità di CogStack nella visualizzazione dei dati, abbiamo creato un dashboard per informazioni sui pazienti a rischio di psicosi. Come usato in precedenza per i test di fattibilità, abbiamo selezionato coloro che hanno un rischio di psicosi in due anni superiore al 5% come pazienti a rischio. La figura 2 mostra le visualizzazioni delle caratteristiche dei pazienti a rischio di psicosi, comprese le etnie, i generi, le età e le categorie di diagnosi dei pazienti. Oltre a visualizzare i risultati dei rischi tramite interfacce Web (ad esempio, Kibana), questo protocollo consente l'invio di avvisi di rischio agli utenti o ai medici tramite altri canali di notifica come Email. Figura 3 Mostra l'interfaccia per l'impostazione di un servizio di avviso di rischio utilizzando il componente Espressioni di controllo in Kibana. Una volta che questo servizio è configurato con successo, gli utenti possono ricevere una notifica e-mail se c'erano uno o più pazienti il cui rischio di psicosi in due anni è superiore al 5%. La figura 4 mostra un esempio di queste notifiche e-mail, che riporta il numero di pazienti a rischio e i distretti di questi pazienti. Poiché è necessario più lavoro per personalizzare il modo in cui vengono comunicati i punteggi di rischio di psicosi previsti, non abbiamo inviato notifiche di rischio direttamente ai medici. Per testare la fattibilità tecnologica, tutte le notifiche in questo studio sono state inviate da un ricercatore tecnico (T.W.) a un ricercatore clinico (D.O.) tramite il sistema di posta elettronica del SLaM all'interno di una rete sicura. Solo una statistica aggregata delle informazioni sui pazienti è stata inclusa in una notifica; nessuna informazione personale è stata inclusa.
Figura 1: dati di origine inseriti in CogStack.Figure 1: Source data ingested into CogStack. Ci sono 202.289 record in totale ingeriti nell'indice "psychosis_base" Elasticsearch fino al 13 luglio 2019, e l'istogramma mostra il numero di record ingeriti nel tempo, ordinati in base all'ultimo tempo di aggiornamento dei dati di un record. È inoltre possibile eseguire query su informazioni strutturate e non strutturate e ottenere risultati di ricerca che corrispondono alla query in questa pagina. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 2: Dashboard delle caratteristiche dei pazienti a rischio di psicosi (cioè il rischio di psicosi in 2 anni superiore a 0,05). (a) Distribuzione delle etnie per i pazienti a rischio, dove le torte esterne sono le sottocategorie di una categoria di etnia nelle torte interne. bb) distribuzione del sesso dei pazienti, (c) distribuzione dell'età dei pazienti alla diagnosi e (d) numero di pazienti per gruppo di diagnosi. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 3: Impostazione e simulazione di Watch per gli avvisi di rischio. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 4: Un esempio di avviso di rischio Email. Il numero di pazienti a rischio di psicosi in ciascun gruppo di commissioni cliniche (CCG) è riportato tra parentesi. Fare clic qui per visualizzare una versione più grande di questa figura.
Discussion
Abbiamo dimostrato la prima implementazione EHR di un sistema di rilevamento e allerta di psicosi in tempo reale basato su CogStack, una piattaforma di estrazione e recupero di informazioni open source. Seguendo questo approccio, è possibile trasformare e inserire un'ampia serie di dati clinici in vari formati, incluse le informazioni strutturate e non strutturate, in un'istanza di CogStack, in modo da consentire la ricerca full-text, l'analisi interattiva e la visualizzazione dei dati, nonché l'avviso in tempo reale ai medici dei pazienti che sono a rischio di psicosi. Anche se il calcolatore originale del rischio di psicosi è stato convalidato in studi pilota su diversi NHS Trusts, anche se utilizzando i record retrospettivi dei pazienti6,14,21, questo progetto sperimentale fornisce la prima base di prova che questo calcolatore di rischio può essere replicato e distribuito per l'uso in tempo reale. Questo approccio consente la consegna automatica dei risultati prognostici ai medici attraverso canali di notifica clinici esistenti, come Email, in tempo reale. Questo dimostra chiaramente la fattibilità tecnica per condurre uno studio di efficacia su larga scala per valutare l'utilità clinica definitiva di questo calcolatore di rischio nel mondo reale.
Questo protocollo è empiricamente innovativo, in quanto non esiste un sistema di rilevamento e allerta del rischio simile per la psicosi. Inoltre, questo protocollo ha un'elevata generalizzabilità nell'uso clinico, in particolare a causa dei punti di forza unici del nostro approccio. Da un punto di vista teorico, abbiamo utilizzato un modello di previsione del rischio sviluppato sulla base di una grande coorte retrospettiva de-identificata da SLaM NHS Trust. SLaM fornisce assistenza sanitaria mentale secondaria a una popolazione di 1,36 milioni di individui nel sud di Londra e ha uno dei più alti tassi di psicosi registrati nel mondo. Questa grande coorte, che ha un'elevata diversità nelle caratteristiche sociodemografiche e diagnostiche, ci permette di sviluppare un modello di previsione del rischio che difficilmente sarà orientato verso una popolazione con caratteristiche specifiche. Ciò è supportato da prove che l'accuratezza prognostica di questo calcolatore di rischio è già stata replicata due volte in due database diversi14,21, incluso uno al di fuori di SLaM. Un'altra forza teorica di questo modello di rischio è che le informazioni di base sulla diagnosi demografica e clinica sono state utilizzate come predittori. Tali informazioni sono onnipresenti nei dati clinici elettronici e in fatti i dati mancanti per questi predittori hanno dimostrato di essere relativamente rari nei nostri studi precedenti14,21. L'elevata disponibilità di informazioni per i predittori di costruzione consente di eseguire il calcolatore del rischio su un gran numero di campioni di pazienti in diversi settori secondari di assistenza sanitaria mentale. Inoltre, il calcolatore del rischio è un algoritmo generale che è adatto a tutti gli individui a rischio di sviluppare psicosi nell'assistenza sanitaria mentale secondaria, indipendentemente dall'età degli individui. Cioè, questa calcolatrice non è adatta solo per la fascia di età 15-35 di rischio di psicosi di picco16, ma anche per quelli al di fuori di questa gamma, mostrando un alto grado di generalizzabilità.
Da un punto di vista pratico, sia il calcolatore del rischio che la piattaforma CogStack sono servizi leggeri e open source che non implicano tecniche ad alto consumo di risorse o infrastrutture costose. Una piattaforma così a basso costo e facile da implementare può ridurre gli ostacoli alla sua adozione in contesti clinici reali. Inoltre, la nostra soluzione supera la principale barriera di implementazione: i sistemi di stima del rischio offrono poco valore a meno che non siano utilizzati dai medici nella pratica quotidiana25. In particolare, il nostro approccio accede ai dati dell'EHR, esegue analisi indipendenti da un sistema elettronico di cartelle cliniche e può inviare i risultati dell'analisi ai medici attraverso i canali di notifica esistenti. Questo metodo non richiede che la logica di business nei sistemi preesistenti venga modificata e possa funzionare come un servizio autonomo per supportare ed estendere i sistemi di supporto alle decisioni cliniche esistenti. Pertanto, il protocollo ha un'elevata compatibilità con i sistemi clinici preesistenti e può essere facilmente integrato nella pratica clinica di routine. Inoltre, il protocollo fornisce interfacce user-friendly per la ricerca, l'analisi e la visualizzazione dei dati clinici, che rendono più facile per i medici interpretare ed esplorare i risultati del rischio.
Questo protocollo ha anche i suoi limiti. In primo luogo, l'efficacia di questo protocollo non è stata valutata nella pratica clinica di routine. Questo studio si è concentrato sui test di fattibilità tecnica dell'implementazione di un sistema di rilevamento e allerta dei rischi di psicosi in tempo reale in un EHR locale. Per valutare ulteriormente l'efficacia di questo sistema nella pratica clinica di routine, sono necessari futuri studi controllati randomizzati su larga scala6. Una seconda limitazione è che le stime dei punteggi di rischio in questo protocollo sono state effettuate in base alle prime diagnosi primarie, ovvero i dati statici raccolti in un singolo snapshot. Tuttavia, i sintomi della CHR-P si evolvono intrinsecamente nel tempo. Una versione dinamica della calcolatrice del rischio di psicosi, in cui i modelli di previsione possono essere aggiornati dinamicamente per riflettere i cambiamenti, è stato sviluppato di recente26. Il lavoro futuro si concentrerà sull'integrazione di questo calcolatore dinamico nel protocollo corrente.
La fase più critica di questo approccio è stata l'identificazione dei dati EHR utilizzati per i predittori di estrazione nel calcolatore dei rischi. Ciò può comportare anche la creazione di mapping di elementi di dati, quando un sistema EHR ha utilizzato un modello di dati diverso da quello utilizzato in questo protocollo, ad esempio sistemi di codifica distinti per i gruppi etnici dei pazienti. Abbiamo open-source tutti i codici e le definizioni di mapping online (https://github.com/cogstack-slam/psychosis). Sulla base di questi materiali, si sarebbe in grado di replicare la distribuzione o regolare la calcolatrice a seconda della propria circostanza. Un altro passaggio critico è stato la creazione di una vista di database per l'inserimento di dati in CogStack.Another critical step was creating a database view for ingestion in CogStack. Poiché le operazioni di join relazionale (ad esempio, la combinazione di colonne da una o più tabelle di database) in Elasticsearch possono portare a costi di calcolo elevati, sono state eseguite queste operazioni di join nel database EHR creando una vista di database. Questa visualizzazione combina tutte le informazioni necessarie per estrarre i predittori nel calcolatore dei rischi e due campi vitali utilizzati dalle pipeline CogStack per il partizionamento dei dati nell'inserimento dei dati. Il primo campo è una chiave primaria univoca per ogni record nella visualizzazione ("patient_id" ha utilizzato questo protocollo) e il secondo è un timestamp quando un record è stato modificato più di recente. Se questi due campi non sono stati impostati correttamente, CogStack potrebbe non sincronizzare tempestivamente gli aggiornamenti dei dati in un database EHR. Istruzioni dettagliate per la risoluzione dei problemi relativi all'inserimento di dati CogStack sono disponibili in https://cogstack.atlassian.net/wiki/spaces/COGDOC/overview e https://github.com/CogStack/CogStack-Pipeline.
Questo protocollo è altamente trasportabile e può essere facilmente distribuito in NHS Trusts che dispongono di una piattaforma CRIS o CogStack. Finora, la piattaforma CRIS, comprese le procedure di consenziente, è stata completamente descritta altrove ed è in fase di espansione in 12 nHS Trustnel Regno Unito, sfruttando oltre 2 milioni di record di pazienti identificati (https://crisnetwork.co/). Allo stesso modo, la piattaforma CogStack è stata distribuita non solo in SLaM, ma anche altri NHS Trusts in tutto il Regno Unito come University College London Hospitals (UCLH), King's College Hospital (KCH), Guy e St Thomas' (GSTT) e Mersey Care NHS Trusts. Tali Trust senza piattaforma possono utilizzare una versione online di calcolatore del rischio (http://psychosis-risk.net),o costruire questo protocollo da zero sulla base di questo manoscritto e dei nostri documenti online. Anche se questo protocollo è sviluppato per il rilevamento del rischio di psicosi, la progettazione architettonica di questo protocollo non è legata a questo caso d'uso specifico. Il protocollo è sufficientemente flessibile da consentire la riconfigurazione e il riutilizzo dei componenti di monitoraggio e allerta in tempo reale per altre aree di misurazione del rischio, come le reazioni avverse ai farmaci, consentendo così ai medici di agire tempestivamente per migliorare la cura, la sicurezza e l'esperienza del paziente.
Disclosures
Gli autori non hanno nulla da rivelare.
Acknowledgments
Questo studio è finanziato da ed è un risultato diretto del King's College London Confidence in Concept award dal Medical Research Council (MRC) (MC_PC_16048) al PFP. RD e AR sono stati sostenuti da: (a) la Maudsley Charity; b) il National Institute for Health Research (NIHR) Biomedical Research Centre a South London e Maudsley NHS Foundation Trust e King's College London; c) Health Data Research UK, finanziato dal Consiglio britannico per la ricerca medica, dal Consiglio per la ricerca sull'ingegneria e sulle scienze fisiche, dal Consiglio per la ricerca economica e sociale, dal Dipartimento della sanità e dell'assistenza sociale (Inghilterra), dall'Ufficio capo della sanità e dell'assistenza sociale del governo scozzese, dalla divisione per la ricerca e lo sviluppo delle cure sanitarie e sociali (governo gallese), dall'Agenzia per la sanità pubblica (Irlanda del Nord), dalla British Heart Foundation e dalla Wellcome Trust; (d) Il Consorzio BigData@Heart, finanziato dall'Impresa congiunta Innovative Medicines Initiative-2 nell'ambito dell'accordo di sovvenzione n. 116074. Questa impresa comune riceve sostegno dal programma di ricerca e innovazione Orizzonte 2020 dell'Unione europea e dall'EFPIA; è presieduta, da DE Grobbee e SD Anker, in collaborazione con 20 partner accademici e industriali e ESC; e (e) il National Institute for Health Research University College London Hospitals Biomedical Research Centre. Questi organismi di finanziamento non hanno avuto alcun ruolo nella progettazione dello studio, della raccolta e delle analisi. Le opinioni espresse sono quelle dell'autore o dei presenti non necessariamente quelli del Servizio Sanitario NHS, della NIHR o del Ministero della Salute.
Materials
| Name | Company | Catalog Number | Comments |
| CogStack-Pipeline | King's College London | Open source software | |
| Elasticsearch | Elastic NV | Open Source Search & Analytics | |
| Kibana | Elastic NV | Open source data visualization plugin for Elasticsearch | |
| Python packages ("elasticsearch", "elasticsearch_dsl", "pandas" and "numpy") | Open source community | Open source packages |
References
- Lieberman, J. A., First, M. B. Psychotic Disorders. New England Journal of Medicine. 379 (3), 270-280 (2018).
- Oh, H., Koyanagi, A., Kelleher, I., DeVylder, J. Psychotic experiences and disability: findings from the collaborative psychiatric epidemiology surveys. Schizophrenia Research. 193, 343-347 (2018).
- Tsiachristas, A., Thomas, T., Leal, J., Lennox, B. R. Economic impact of early intervention in psychosis services: results from a longitudinal retrospective controlled study in England. BMJ Open. 6 (10), e012611 (2016).
- Fusar-Poli, P., McGorry, P. D., Kane, J. M. Improving outcomes of first-episode psychosis: an overview. World Psychiatry. 16 (3), 251-265 (2017).
- Fusar-Poli, P. The clinical high-risk state for psychosis (CHR-P), version II. Schizophrenia Bulletin. 43 (1), 44-47 (2017).
- Fusar-Poli, P., et al. Real-world Implementation of a Transdiagnostic Risk Calculator for the Automatic Detection of Individuals at-risk of Psychosis in Clinical Routine: Study Protocol. Frontiers in Psychiatry. 10, 109 (2019).
- Fusar-Poli, P., et al. Disorder, not just state of risk: meta-analysis of functioning and quality of life in people at high risk of psychosis. British Journal of Psychiatry. 207 (3), 198-206 (2015).
- Fusar-Poli, P., et al. Heterogeneity of psychosis risk within individuals at clinical high risk: a meta-analytical stratification. JAMA Psychiatry. 73 (2), 113-120 (2016).
- Fusar-Poli, P., et al. Diagnostic and prognostic significance of brief limited intermittent psychotic symptoms (BLIPS) in individuals at ultra high risk. Schizophrenia Bulletin. 43 (1), 48-56 (2016).
- Fusar-Poli, P., et al. Prognosis of brief psychotic episodes: a meta-analysis. JAMA Psychiatry. 73 (3), 211-220 (2016).
- Fusar-Poli, P., Sullivan, S., Shah, J., Uhlhaas, P. Improving the detection of individuals at clinical risk for psychosis in the community, primary and secondary care: an integrated evidence-based approach. Frontiers in Psychiatry. 10, 774 (2019).
- Fusar-Poli, P. Extending the benefits of indicated prevention to improve outcomes of first-episode psychosis. JAMA Psychiatry. 74 (7), 667-668 (2017).
- Fusar-Poli, P., et al. Transdiagnostic psychiatry: a systematic review. World Psychiatry. 18 (2), 192-207 (2019).
- Fusar-Poli, P., et al. Development and validation of a clinically based risk calculator for the transdiagnostic prediction of psychosis. JAMA Psychiatry. , (2017).
- Fusar-Poli, P., Hijazi, Z., Stahl, D., Steyerberg, E. W. The science of prognosis in psychiatry: a review. JAMA Psychiatry. 75 (12), 1289-1297 (2018).
- Radua, J., et al. What causes psychosis? An umbrella review of risk and protective factors. World Psychiatry. , (2018).
- Fusar-Poli, P., et al. Deconstructing vulnerability for psychosis: Meta-analysis of environmental risk factors for psychosis in subjects at ultra high-risk. European Psychiatry. 40, 65-75 (2017).
- Fusar-Poli, P., et al. Clinical-learning versus machine-learning for transdiagnostic prediction of psychosis onset in individuals at-risk. Translational Psychiatry. 9 (1), 1-11 (2019).
- Stewart, R., et al. The South London and Maudsley NHS foundation trust biomedical research centre (SLAM BRC) case register: development and descriptive data. BMC Psychiatry. 9 (1), 51 (2009).
- Jongsma, H. E., et al. Treated incidence of psychotic disorders in the multinational EU-GEI study. JAMA Psychiatry. 75 (1), 36-46 (2018).
- Fusar-Poli, P., et al. Transdiagnostic risk calculator for the automatic detection of individuals at-risk and the prediction of psychosis: Second replication in an independent national health service trust. Schizophrenia Bulletin. , (2019).
- Fusar-Poli, P., et al. Transdiagnostic individualized clinically based risk calculator for the detection of individuals at-risk and the prediction of psychosis: Model refinement including nonlinear effects of age. Frontiers in Psychiatry. 10, 313 (2019).
- Colditz, G. A., Wei, E. K. Risk prediction models: applications in cancer prevention. Current Epidemiology Reports. 2 (4), 245-250 (2015).
- Jackson, R., et al. CogStack - Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC Medical Informatics and Decision Making. 18 (47), (2017).
- McGorrian, C., Leong, T., D'Agostino, R., Graham, I. Risk estimation systems in clinical use: SCORE, Heart Score and the Framingham system. Hyperlipidaemia (Oxford Cardiology Library). , Oxford University Press. (2012).
- Studerus, E., Beck, K., Fusar-Poli, P., Riecher-Rössler, A. Development and Validation of a Dynamic Risk Prediction Model to Forecast Psychosis Onset in Patients at Clinical High Risk. Schizophrenia Bulletin. , (2019).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4, 50 (2009).
- Fusar-Poli, P., et al. Outreach and support in south London (OASIS), 2001-2011: ten years of early diagnosis and treatment for young individuals at high clinical risk for psychosis. European Psychiatry. 28 (5), 315-326 (2013).
