Summary
Vi visar hur man distribuerar ett realtid psykos riskberäkning och varningssystem baserat på CogStack, en informationshämtning och extrahering plattform för elektroniska patientjournaler.
Abstract
Nyligen genomförda studier har visat att en automatiserad, livslängd-inclusive, transdiagnostiska, och kliniskt baserade, individualiserade risk kalkylator ger ett kraftfullt system för att stödja tidig upptäckt av individer i riskzonen för psykos i stor skala, genom att utnyttja elektroniska patientjournaler (EHRs). Denna riskkalkylator har validerats externt två gånger och genomgår genomförbarhetstester för klinisk implementering. Integreringen av denna riskkalkylator i klinisk rutin bör underlättas av prospektiva genomförbarhetsstudier, som krävs för att ta itu med pragmatiska utmaningar, såsom saknade data, och användbarheten av denna riskkalkylator i en verklig och rutinmässig klinisk miljö. Här presenterar vi en metod för en framtida implementering av en realtid psykos riskdetektering och varning tjänst i en verklig EHR-system. Den här metoden utnyttjar CogStack-plattformen, som är ett system med öppen källkod, lätt och distribuerad informationshämtning och textextrahering. CogStack-plattformen innehåller en uppsättning tjänster som möjliggör fulltextsökning av kliniska data, lifespan-inclusive, realtidsberäkning av psykosrisk, tidig riskvarning till kliniker och visuell övervakning av patienter över tiden. Vår metod omfattar: 1) intag och synkronisering av data från flera källor till CogStack-plattformen, 2) implementering av en riskkalkylator, vars algoritm tidigare har utvecklats och validerats, för snabb beräkning av en patients risk för psykos, 3) skapande av interaktiva visualiseringar och instrumentpaneler för att övervaka patienternas hälsotillstånd över tid, och 4) bygga automatiserade varningssystem för att säkerställa att kliniker meddelas om patienter i riskzonen , så att lämpliga åtgärder kan vidtas. Detta är den första studien någonsin som har utvecklat och implementerat ett liknande detektions- och varningssystem i klinisk rutin för tidig upptäckt av psykos.
Introduction
Psykotiska störningar är allvarliga psykiska sjukdomar som leder till svårigheter att skilja mellan den interna erfarenheten av sinnet och den yttre verkligheten i miljön1, samt en högre än genomsnittlig risk för självskadebeteende och självmord2. Inom ramen för standardvården leder dessa sjukdomar till stora effekter på folkhälsan med en betydande hälso- och ekonomisk börda för individer, familjer och samhällen över hela världen3. Tidiga ingrepp i psykos kan förbättra resultaten av denna psykiska störning4. I synnerhet ger detektion, prognostisk bedömning och förebyggande behandling av individer som löper klinisk hög risk att utveckla psykos (CHR-P)5 en unik potential att förändra sjukdomsförloppet och därigenom förbättra livskvaliteten för många människor och deras familjer3,,6. CHR-P individer är hjälpsökande ungdomar presenterar med försvagade symtom och funktionsnedsättning7: deras risk att utveckla psykos är 20% vid 2-år8 men det är högre i vissa specifika undergrupper9,10. Trots vissa betydande framsteg, effekterna av förebyggande metoder i rutinmässig klinisk praxis begränsas av förmågan att upptäcka de flesta individer som är i riskzonen11. Aktuella detektionsmetoder bygger på hjälpsökande beteenden och remisser på misstanke om psykosrisk; dessa metoder är mycket ineffektiva i hanteringen av ett stort antal prover11. Således är skalbarheten av nuvarande detektionsmetoder för den stora majoriteten av den utsatta befolkningen ganska begränsad12. Faktum är att endast 5% (fristående specialiserade tjänster för tidig upptäckt) till 12% (ungdom mental hälsovård) av individer i riskzonen för att utveckla en första psykotisk störning kan upptäckas vid tidpunkten för deras riskstadium av den nuvarande upptäckten strategier6.
För att utöka de kliniska fördelarna med förebyggande metoder hos ett större antal riskpersoner utvecklade vi en automatiserad, livslängdskon heldomsorg (dvs. i alla åldrar), transdiagnostik (dvs. över olika diagnoser)13, kliniskt baserad individualiserad riskkalkylator, som kan upptäcka individer i riskzonen för psykos i sekundär mental vård i stor skala, utöver de som uppfyller CHR-P-kriterierna14. Denna riskkalkylator använde en Cox proportionell riskmodell för att förutsäga risken för att utveckla en psykotisk störning under sex år från fem rutinmässigt insamlade kliniska variabler som valts ut på förhand, i linje med metodologiska riktlinjer15: ålder, kön, etnicitet, ålder för kön och primär indexdiagnos. Dessa kliniska variabler valdes ut på grundval av a priori kunskap från metaanalyser16,,17,i enlighet med de state-of-the-art metodologiska riktlinjerna15. Antalet prediktorer är begränsat för att bevara förhållandet Händelse per variabel och minimera övermontering av fördomar. inklusive för många variabler utan a priori-filter leder till övermonteringsproblem och dålig prognostisk noggrannhet18. Den metod som används för att utveckla denna modell ger liknande prognostisk noggrannhet till automatiska maskininlärningsmetoder18. Parametrar för Cox-modellen uppskattades baserat på en retrospektiv avidentifierad kohort från södra London och Maudsley National Health Service Foundation Trust (SLaM)19. SLaM är en National Health Service (NHS) psykisk hälsa förtroende som ger sekundär psykisk hälsovård till en befolkning på 1,36 miljoner individer i södra London (Lambeth, Southwark, Lewisham och Croydon stadsdelar), och har en av de högsta registrerade andelen psykos i världen20. Alla data som används i modellutvecklingen extraherades från plattformen Clinical Record Interactive Search (CRIS), ett digitalt ärenderegistersystem, som ger forskare retroaktiv åtkomst och analys av anonymiserade kliniska register19. Den kliniska informationen i CRIS extraheras från ett skräddarsytt elektroniskt patientjournalsystem (EHR) på SLaM, kallat electronic patient journey system (ePJS). SLaM är pappersfritt och ePJS representerar standardplattformen för datainsamling för klinisk rutin. Således utnyttjar den transdiagnostiska riskkalkylatorn EHRs och har potential att automatiskt screena stora EHRs av patienter som får tillgång till sekundär mental vård, för att upptäcka dem som kan vara i riskzonen för psykos. Algoritmen för denna transdiagnostiska riskkalkylator har publicerats tidigare6,14,21. Den transdiagnostiska riskkalkylatorn har externt validerats i två NHS Foundation Trusts14,,21 och optimerade22, vilket visar dess adekvata prognostiska prestanda och generaliserbarhet mellan olika populationer.
Enligt metodologiska riktlinjer för utveckling av en riskprediktionsmodell15,23, är nästa steg efter modellutveckling och validering att implementera förutsägelsemodellen i rutinmässig klinisk praxis. Genomförandestudier föregås vanligtvis av pilot- eller genomförbarhetsstudier som behandlar potentiella pragmatiska begränsningar i samband med användning av riskalgoritmer i klinisk praxis. Obligatoriska data för att köra en kalkylator, till exempel ålder, kön och etnicitet, kanske inte är tillgängliga vid diagnosdatum eller uppdateras senare. Effektiva metoder för att hantera data som saknas och synkronisera frekventa uppdateringar i dataströmmar i realtid bör övervägas för att få de mest tillförlitliga förutsägelseresultaten i en implementering. Eftersom den inledande utvecklingen av riskkalkylatorn baserades på retrospektiva kohortdata är det inte heller känt om det kan användas i en dataström i realtid som är typisk för en verklig klinisk miljö. En annan utmaning är att se till att berörda kliniker får de rekommendationer som genereras av riskkalkylatorn inom en lämplig tidsram och inom en gemensam och accepterad kommunikationsväg.
För att övervinna dessa begränsningar har vi slutfört en genomförbarhetsstudie med den individualiserade transdiagnostiska riskkalkylatorn. Studien omfattade två faser: en in vitro-fas som genomfördes med hjälp av data från den lokala EHR, utan att kontakta kliniker eller patienter, och en in vivo fas, som innebar direkt kontakt med kliniker. In vitro-fasen hade två olika mål: i) att ta itu med genomförandehinder enligt den konsoliderade ramen för genomförandeforskning (CFIR)27 och ii) att integrera den transdiagnostiska riskkalkylatorn i den lokala EHR. Implementeringshinder inkluderade kommunikation av riskutfall till kliniker. I SLaM uppmanas alla patienter att registrera sig för Samtycke för kontakt (C4C), vilket indikerar att de är villiga att kontaktas för forskning, utan att påverka kvaliteten på vården. Detta minskar de etiska frågor som rör att kontakta patienter. Utöver detta hjälpte arbetsgrupper med kliniker till att skräddarsy hur denna information kommunicerades. Under in vivo-fasen (14 maj 2018 till 29 april 2019) var alla individer (i) äldre än 14 år (ii) som hade tillgång till någon SLaM-tjänst (lambeths stadsdelar, Southwark, Lewisham, Croydon), (iii) får en första ICD-10 index primär diagnos av någon icke-organisk, icke-psykotisk psykisk störning (med undantag för akuta och övergående psykotiska störningar; ATPD) eller en beteckning för chr-p och iv) med befintliga kontaktuppgifter ansågs vara stödberättigande. Under in vivo-fasen kontrollerades automatiskt nya patienter som fick tillgång till SLaM varje vecka för sin psykosrisk, och de som hade en risk som är större än en viss tröskel upptäcktes. Forskargruppen kontaktade sedan patienternas ansvariga kliniker för att diskutera ytterligare rekommendationer och så småningom föreslå en ytterligare ansikte mot ansikte bedömning6. Om de som bedömdes skulle uppfylla chr-p-kriterierna hänvisades de till specialiserade CHR-P-tjänster, såsom Uppsökande verksamhet och stöd i södra London (OASIS)28. Detta skulle resultera i förbättrad upptäckt av individer före uppkomsten av en psykotisk störning och ge en betydande möjlighet att ändra sjukdomsförloppet. Avgörande, denna genomförbarhetsstudie innebar fullständig integration av räknaren i det lokala EHR-systemet, vilket är ämnet för den aktuella artikeln. Det fullständiga protokollet för denna genomförbarhetsstudie, inklusive en översikt över planen för utvärdering av den föreslagna forskningen, detaljer om hantering av datasäkerhet och etiska frågor, har presenterats i vårt tidigare arbete6. Den aktuella artikeln, som en del av genomförbarhetsstudien6, fokuserar selektivt på att presentera det tekniska genomförandet av en realtid psykos riskdetektering och varningssystem baserat på den lokala EHR data. Mer specifikt är syftet med denna studie att undersöka den tekniska genomförbarheten av denna riskkalkylator i tid upptäcka riskpatienter så snart de får tillgång till en sekundär mental vård. De fullständiga resultaten av genomförbarhetsstudien, när det gäller klinikernas efterlevnad av rekommendationerna från riskkalkylatorn, kommer att presenteras separat. En omfattande utvärdering av effektiviteten i den föreslagna forskningen, som kräver randomiserade mönster, ligger utanför ramen för det nuvarande forskningsprogrammet. Så vitt vi vet är detta den första metoden som beskriver genomförandet av en riskkalkylator baserad på levande EHR-data för tidig upptäckt av psykos.
Vår inställning till psykos riskdetektering och varningar utnyttjar CogStack-plattformen. CogStack-plattformen är en lätt, distribuerad och feltolerant informationshämtning och textextraheringsplattform24. Den här plattformen består av tre nyckelkomponenter: 1) CogStack-pipelinen som använder Java Spring Batch-ramverket för att inta och synkronisera data från en fördefinierad datakälla (både strukturerade och ostrukturerade EHR-data i flera format som Word, PDF-filer och bilder) till en fördefinierad datamottagare i realtid. 2) Elasticsearch, en sökmotor som möjliggör lagring och frågor av den fullständiga texten till EHR-data, samt ger olika gränssnitt programprogrammering (API: er) för att bädda in avancerad analys i motorn; och 3) Kibana, ett interaktivt, webbaserat användargränssnitt som tillåter användare att fråga data i Elasticsearch, bygga visualiseringsinstrumentpaneler och ställa in aviseringar om avvikelser eller andra mönster av intresse från data. Dessutom innehåller CogStack möjligheten att varna kliniker för potentiella problem via e-post och SMS (text), vilket gör det möjligt för kliniker att få meddelanden i rätt tid om riskpatienter som rapporterats av riskkalkylatorn.
Vi presenterar en modell av psykos riskdetektering och varningar baserat på ePJS på SLaM, utnyttja CogStack plattformen. Jämfört med CRIS-plattformen som ger en mekanism för retrospektiv tillgång till avidentifierade patientjournaler från ePJS på veckobasis19,möjliggör CogStack-plattformen på SLaM tillgång till en identifierbar EHR i realtid, vilket för att varna närmare vårdpunkten och riskprognosen i en prospektiv design, även om både CRIS- och CogStack-plattformarna använder data som kommer från ePJS i SLaM. I det avsnitt som följer ger vi information om de viktigaste stegen i vår metod, inklusive att förbereda källdata från EHR, inta källdata i CogStack-plattformen för att möjliggöra fulltextsökning via Elasticsearch, köra psykosriskkalkylatorn med hjälp av en Python-demontråd och ställa in interaktiva visualiseringar och riskvarningar i realtid via Kibana-användargränssnittet. Alla forskare som har som mål att bygga ett system för riskdetektering och varning i realtid baserat på EHR-data kan följa metoden och dess referensimplementering. Som vi nedan ska utarbeta utnyttjar den föreslagna metoden lätta tekniker med öppen källkod med hög flexibilitet och bärbarhet. Detta gör det möjligt att köra riskkalkylatorn på olika platser och visar en hög tillämplighet på andra riskuppskattningsalgoritmer. Dessutom fungerar metoden som ett enkelt tillvägagångssätt för att förbättra riskdetekterings- och varningsfunktionerna hos en EHR inbäddad i ett allmänt hälso- och sjukvårdssystem.
Protocol
Denna studie godkändes av East of England - Cambridgeshire och Hertfordshire Research Ethics Committee (Referensnummer: 18/EE/0066).
OBS: Vi har utvecklat detta protokoll baserat på CogStack-plattformen och Programmeringsspråket Python. Detta system kräver Docker (mer specifikt Docker Compose https://docs.docker.com/compose/),Anaconda Python (https://www.anaconda.com/distribution/) och Git (https://git-scm.com/downloads) förinstallerat på en enhet. Kommandona i det här protokollet baseras på Linux-miljön. I det följande tillhandahåller vi information om att förbereda källdata från en EHR-databas, förtära data till CogStack-plattformen och inrätta ett riskberäknings- och varningssystem i realtid för psykos baserat på CogStack-plattformen. Dessutom utvecklades en online-version av riskkalkylatorn för att underlätta numerisk beräkning av sannolikheten för att en individ utvecklar psykos i sekundär mental vård på http://www.psychosis-risk.net.
1. Förberedelse av källdata
I de flesta användningsfall förtärer CogStack källdata från en angiven databasvy som kan kombinera data från en eller flera källdatabastabeller, där en vy är ett sökbart objekt i en databas som innehåller resultatuppsättningen för en lagrad fråga på data. Inställningen för intagsvyn skräddarsys av de specifika användningsfallen och distributionsinställningarna för ett databassystem för hälsojournaler. Detta protokoll är utvecklat baserat på en psykos riskkalkylator som utvecklats och externt valideras två gånger av Fusar-Poli et al.14,,21 och som en del av en pilot genomförande genomförbarhetsstudie6. Protokollet baseras på en EHR-databas som distribueras med Microsoft SQL Server 2014.
- Skapa ett vyobjekt (kallat "vwPsychosisBase" i detta protokoll) i ett befintligt EHR-databassystem för att koppla nödvändig information om patienter för beräkning av psykosrisk och varningar. Se till att denna uppfattning omfattar alla patienter som får en första primär diagnos av icke-organisk och icke-psykotisk psykisk störning (registreras av den internationella statistiska klassificeringen av sjukdomar och relaterade hälsoproblem, tionde revisionen [ICD-10]), enligt definitionen i den ursprungliga modellen14,21.
- Se till att varje post i vyn omfattar tre typer av patientinformation: 1) den första primära diagnosen av en patient i EHR-systemet, inklusive ICD-10 diagnos index (diagnoser var grupperade tillsammans i följande tio kluster: akuta och övergående psykotiska störningar, ångestsyndrom, bipolär humörstörningar, barndom och ungdomar debut störningar, utvecklingsstörningar, icke-biologiska humörstörningar, utvecklingsstörning, utvecklingsstörning, personlighetsstörningar, personlighetsstörningar, fysiologiska syndrom, missbruk störningar) och diagnos datum; 2) en patients demografiska data, inklusive kön, etnicitet och födelsedatum; och 3) den senaste kontaktinformationen om vårdteam för en patient, såsom uppgifter om allmän praxis (GP), konsulter och vårdsamordnare. De två första typerna av information är avgörande för psykosriskkalkylatorn14,21, och den tredje typen av information är att möjliggöra snabb riskvarning.
- Kontrollera att varje post i vyn har en unik identifierare (t.ex." patient_id" som används i det här protokollet).
- Välj de senaste uppdateringstidsstämplarna för all källinformation som är relaterad till en post i vyn (t.ex. de senaste uppdateringstiderna för en patients demografiska information och patientens första primära diagnosinformation) och välj den senaste tidsstämpeln som det senaste uppdateringsdatumet och tiden för posten i vyn (betecknad som "etl_updated_dttm" i det här protokollet). Det senaste uppdateringsdatumet och tidpunkten för en post gör det möjligt för CogStack att synkronisera uppdateringar i databasen, till exempel nya och uppdaterade poster.
2. Intag av uppgifter
- Hämta eller klona kodarkivet från Github (https://github.com/cogstack-slam/psychosis) eller genom att skriva "git klona https://github.com/cogstack-slam/psychosis.git"i ett terminalfönster. Den nedladdade mappen innehåller koden för psykosriskberäkning och konfigurationsfiler för distribution av en CogStack-instans.
- Gå till katalogen "cogstack_deploy/cogstack/" och ändra "psychosis.properties" för att konfigurera CogStack Pipeline för datainmatning. Ändra inställningarna för avsnittet "KÄLLA: DB CONFIGURATIONS" baserat på EHR-databasinställningarna, inklusive att ange DATABASserverns IP-adress, databasnamn, databasanvändarnamn och lösenord. Ändra visningsnamnet (dvs. "vwPsychosisBase") och fältnamn (t.ex. "patient_id" och "etl_updated_dttm") om det behövs. Om det är fel att konfigurera den här filen följer du instruktionerna på https://cogstack.atlassian.net/wiki/spaces/COGDOC/pages/38043684/Quickstart.
- Gå till katalogen "cogstack_deploy/common/elasticsearch/config/" och ändra avsnittet "xpack.notification.email.account" i filen "elasticsearch.yml" för att konfigurera en e-postadress för att skicka aviseringar. En detaljerad instruktion för e-postkonfiguration finns på https://www.elastic.co/guide/en/kibana/6.4/watcher-create-threshold-alert.html.
- Gå till katalogen "cogstack_deploy/" och skriv "docker-compose up" för att köra CogStack-plattformen. Kör det här kommandot med root-åtkomst. Om processen har slutförts kommer statusloggar för de tjänster som körs för närvarande, inklusive CogStack Pipeline, Elasticsearch och Kibana, att finnas i terminalen. Som ett resultat av detta kommer alla data och uppdateringar i källdatabasvyn att i tid förtäras till ett Elasticsearch-index som kallas "psychosis_base" i CogStack-plattformen.
- Öppna en webbläsare och få tillgång till Kibana användargränssnitt genom att skriva "http://localhost:5601/" (eller ersätta "localhost" med en specifik IP-adress för den server som kör CogStack-plattformen). För första gången du öppnar Kibana klickar du på fliken Hantering och fliken Indexmönster för att ange ett Elasticsearch-index som man vill komma åt med Kinaba. Skriv "psychosis_base" i fältet "Indexmönster" och klicka på Nästa steg. Välj "etl_updated_dttm" för fältnamnet "Tidsfilter" och klicka på Skapa indexmönster för att lägga till indexmönstret "psychosis_base" för Kinana.
- När Kibana är ansluten till Elasticsearch-indexet (dvs. "psychosis_base"), sök och bläddra bland källdata interaktivt via sidan "Upptäck". Kibana tillåter icke-tekniska användare att söka efter både strukturerade metadata och fritext. Detaljerade instruktioner för att använda "Upptäck" finns på https://www.elastic.co/guide/en/kibana/6.4/discover.html.
3. Riskberäkning
- Öppna ett nytt terminalfönster och gå till katalogen "psykos/" . Installera alla nödvändiga Python-paket (inklusive "elasticsearch"," elasticsearch_dsl", "pandas" och "numpy") som används i riskkalkylatorn genom att skriva "conda install package-name" eller "pip install package-name" i terminalen.
- Typ "python risk_calculator.py" för att köra psykosriskkalkylatorn. Om processen har slutförts skrivs loggar av riskberäkningen ut i terminalen och riskresultaten lagras i ett nytt Elasticsearch-index kallat "psychosis_risk" inom CogStack-plattformen.
- Kontrollera riskresultaten med hjälp av Kibana-gränssnittet. I likhet med steg 2.5 och 2.6 lägger du till ett nytt indexmönster "psychosis_risk" för att ansluta Kinbana till "psychosis_risk" index och utforska riskresultaten via sidan "Upptäck". För att underlätta identifieringen av nya patienter i riskzonen, använd "first_primary_diagnosis_date" som "Tidsfilter" för att bygga "psychosis_risk" index. När du utforskar data på sidan "Upptäck" kontrollerar du att indexmönstret "psychosis_risk" är markerat.
4. Datavisualisering
- Förutom att söka och komma åt information på individnivå via sidan "Upptäck" i Kibana kan man bygga visualiseringar och instrumentpaneler för att få en översikt över egenskaper för hela populationen av riskpatienter. För att göra detta, klicka på Visualisera i sidonavigeringen av Kibana. Klicka sedan på knappen Skapa ny visualisering och välj en visualiseringstyp (t.ex. cirkel- och linjediagram). Välj "psychosis_risk" som det index som man vill visualisera genom Kibana. Som standard kommer visualiseringar att omfatta alla poster/patienter i "psychosis_risk" index. Detaljerade instruktioner för att bygga Kibana visualiseringar finns på https://www.elastic.co/guide/en/kibana/6.4/visualize.html.
- Om du vill välja en viss delmängd data för visualisering lägger du till ett "filter". Att till exempel välja ett filter som arkiverats som "h_2_year", att välja en operatör som "är inte mellan" och att ange värden från "0,0" till "0,05" inkluderar endast patienter vars risk för psykos om 2 år är högre än 0,05.
- När enskilda visualiseringar har skapats klickar du på Instrumentpanelen i kibanas sidonavigering för att skapa en instrumentpanel som visar en uppsättning relaterade visualiseringar tillsammans. Klicka på Skapa ny instrumentpanel och knappen Lägg till om du vill skapa en ny instrumentpanel. Klicka på visualiseringar som man vill visa på den nya instrumentpanelspanelen. Klicka på Spara och skriv en rubrik för att spara panelen. Instruktioner om hur du bygger Kibanas instrumentpaneler finns på https://www.elastic.co/guide/en/kibana/6.4/dashboard.html.
5. Riskvarning
- Klicka på Ledning i kibanas sidonavigering och klicka sedan på Watcher under Elasticsearch för att skapa varningar för kliniker när patienter riskerade psykos. Om knappen Watcher inte visas klickar du på Licenshantering och klickar på Starta utvärderingsversion eller Uppdateringslicens.
- Klicka på Skapa avancerad klocka om du vill konfigurera en ny watcher. Skriv ett "ID" och "Namn". Ta bort innehållet i avsnittet "Watch JSON" och kopiera innehållet i filen "watcher.json" i katalogen "psykos" till avsnittet "Watch JSON". Denna watcher kommer att skicka varna e-post till "clinician@nhs.uk" (som kan ersättas med e-postadress där man vill skicka varningar) från "username@nhs.uk" (som sattes i steg 2.3) om det finns en eller flera patienter vars risk för psykos i 2 år är högre än 0,05 (en preliminär tröskel för genomförbarhetsprövning) i varje 24 timmar.
- Innan du sparar watcher klickar du på Simulera för att testa bevakningskörningen. Om Watcher har ställts in kommer simuleringsutskriften att skrivas ut. Om det uppstår fel i inställningarna följer du instruktionerna på https://www.elastic.co/guide/en/elastic-stack-overview/6.4/watcher-getting-started.html.
- Om du vill stoppa en watcher tar du bort den permanent eller inaktiverar den tillfälligt från sidan "Status" i Watcher.
Representative Results
I det här avsnittet presenterar vi implementeringsresultat som fokuserar på praktiska aspekter av hantering av levande kliniska dataströmmar som utvecklats genom riskkalkylatorn och underlätta snabb leverans av prognostiska resultat till kliniker. Utvärderingar av systemets kliniska nytta, såsom att klinikerna följer rekommendationerna från riskkalkylatorn, kommer att presenteras i en separat rapport när den är klar.
Intag av källdata
Vi distribuerade psykos riskberäkning och varningssystem baserat på en replikdatabas av ePJS i SLaM. Den här replikdatabasen synkroniserar livedata från ePJS var tionde minut. En databasvy som kombinerar patienternas information för psykosriskberäkning byggdes i denna replikdatabas, där varje post innehåller information för en patient. Alla poster i den här vyn förtärdes i CogStack-plattformen i realtid (cirka 0,6 mikrosekter per post i en virtuell maskin med 8-kärniga PROCESSOR OCH 16 GB RAM). Fram till den 13 juli 2019, då manuskriptet utarbetades, förtärdes alla register över 202 289 patienter som fick en första indexdiagnos av icke-organisk och icke-psykotisk psykisk störning i SLaM i CogStack för beräkning av psykosrisk, lagrad i "psychosis_base" Elasticsearch index. Figur 1 visar antalet poster som förtärs i CogStack över tid, i kronologisk ordning baserat på det senaste uppdateringsdatumet för en post. Genom att jämföra tal och innehåll för poster i databasen och Elasticsearch-indexet hittades inga saknade och avvikande data, vilket bekräftar tillförlitligheten hos CogStack Pipeline vid datainmatning och synkronisering.
Validering av riskresultat
För att validera implementeringen av psykosriskdetektorn i detta protokoll jämförde vi riskpatienter som upptäckts av CogStack (kallad "CogStack version") med dem som detekterades av den ursprungliga riskkalkylatorn baserat på CRIS (kallad CRIS-version). Eftersom det inte fanns några trösklar utvecklats för att skärmen en i riskzonen patient6,14,21, vi här använde en preliminär tröskel på 5% för risken för psykos i två år. Observera att denna preliminära tröskel är bara att testa om systemet kan pragmatiskt fungera i NHS och är mottagliga för förändringar med framtida forskning. Det faktiska tröskelvärdet för optimal upptäckt av riskpersoner måste identifieras i framtida storskaliga studier. Specifikt hämtade vi först alla patienter som hade en risk för psykos över tröskeln i CRIS-versionen (antalet patienter N=169). Alla dessa patienter fick en första indexdiagnos av icke-organisk och icke-psykotisk psykisk störning i SLaM från 14 maj 2018 till 29 april 2019. Genom att filtrera patienter som diagnostiserades under samma tidsperiod hämtade vi sedan N=170 patienter vars risk för psykos i 2 år var högre än 0,05 i CogStack-versionen. Slutligen jämförde vi skillnaden mellan de två uppsättningarna av patienter, där det totala antalet unika patienter i de två uppsättningarna är N=173. Vi fann att 161 patienter (står för 93% av 173 patienter) hade samma poäng i båda versionerna. Den höga graden av överenskommelse bekräftar giltigheten av detta CogStack-baserade protokoll för att generera riskpoäng.
Det fanns 12 patienter som hade olika riskpoäng i de två versionerna. Genom att inspektera patienternas EHRs fann vi att denna skillnad berodde på att data för dessa patienter uppdaterades efter att riskpoängen beräknades i CRIS-versionen. Närmare bestämt, även om prediktorer som används i riskkalkylatorn, såsom födelsedatum, kön och självtilldelade etnicitet, var statiska variabler, hade vissa patienters patientjournaler ett saknat eller standardvärde för en variabel (t.ex. en okänd etnicitet) i ett tidigare skede och dessa variabler angavs eller uppdaterades i ett senare skede. Detta kan leda till olika riskpoäng i två olika steg. På samma sätt ogiltigförklarades de första primära indexdiagnoserna för vissa patienter efter att en inledande riskpoäng beräknats baserat på dessa diagnoser. I det här fallet kommer riskkalkylatorn att leta efter nästa giltiga primära diagnos för en sådan patient och beräkna om en riskpoäng. Den uppdaterade riskpoängen kan också skilja sig från den ursprungliga. Eftersom den ursprungliga riskkalkylatorn utvecklades baserat på retrospektiva data i CRIS för forskningsanvändning, synkroniserade inte de ursprungliga räknarpipelorna dessa uppdateringar i EHR-data och uppdaterade riskpoängen i tid. Däremot kommer en patients riskpoäng att beräknas på nytt i CogStack-versionen om några källdata från patienten uppdateras, vilket gör att denna CogStack-baserade kalkylator ger de mest tillförlitliga och aktuella riskpoängen för patienter. Dessa resultat belyser starkt tillförlitligheten hos riskpoäng i det här protokollet.
Resultatvisualisering och riskvarning
För att demonstrera CogStacks förmåga i datavisualisering byggde vi en instrumentpanel för information om patienter i riskzonen för psykos. Som tidigare använts för genomförbarhetstester valde vi ut dem som har en risk för psykos på två år som är högre än 5% som riskpatienter. Figur 2 visar visualiseringar av egenskaper för patienter i riskzonen för psykos, inklusive patienters etniciteter, kön, åldrar och kategorier av diagnoser. Förutom att visualisera riskresultat via webbgränssnitt (t.ex. Bild 3 visar gränssnittet för att ställa in en riskvarningstjänst med hjälp av watch-komponenten i Kibana. När den här tjänsten har konfigurerats framgångsrikt kan användare få ett e-postmeddelande om det fanns en eller flera patienter vars risk för psykos på två år är högre än 5%. Figur 4 visar ett exempel på dessa e-postmeddelanden, som rapporterar antalet patienter i riskzonen och dessa patienters stadsdelar. Eftersom mer arbete behövs för att skräddarsy hur de förväntade psykosriskpoängen kommuniceras har vi inte skickat riskanmälningar direkt till kliniker. För att testa den tekniska genomförbarheten skickades alla anmälningar i denna studie från en teknisk forskare (T.W.) till en klinisk forskare (D.O.) via SLaM:s e-postsystem inom ett säkert nätverk. Endast en aggregerad statistik över patientinformation ingick i en anmälan. ingen personligt identifierbar information ingick.
Bild 1: Källdata intas i CogStack. Det finns totalt 202 289 poster intas i "psychosis_base" Elasticsearch index fram till den 13 juli 2019, och histogrammet visar antalet poster som intas över tiden, sorterade av den senaste uppdateringsdatatiden för en post. Man kan också fråga både strukturerad och ostrukturerad information och hämta sökträffar som matchar frågan på den här sidan. Klicka här för att se en större version av denna siffra.
Figur 2: Instrumentpanel för patienter som löper risk för psykos (dvs. risken för psykos i 2 år högre än 0,05). a) Fördelning av etniciteter för patienter i riskzonen, där yttre pajer är underkategorier av en etnicitetskategori i inre pajer. b)Fördelning av patienternas kön,( c)fördelning av patienternas ålder vid diagnos och (d)antal patienter per diagnosgrupp. Klicka här för att se en större version av denna siffra.
Bild 3: Ställa in och simulera Titta för riskvarning. Klicka här för att se en större version av denna siffra.
Bild 4: Ett exempel på riskvarning e-post. Antalet patienter som löper risk för psykos i varje kliniska idrifttagningsgrupper (CCG) rapporteras inom parentes. Klicka här för att se en större version av denna siffra.
Discussion
Vi har visat den första EHR genomförandet av en realtid psykos riskdetektering och varningssystem baserat på CogStack, en öppen källkod information hämtning och extraktion plattform. Efter detta tillvägagångssätt kan man omvandla och inta en stor uppsättning kliniska data i olika format, inklusive strukturerad och ostrukturerad information, till en CogStack-instans, för att möjliggöra fulltextsökning, interaktiva analyser och visualisering av data, samt realtidsbelysning till kliniker hos patienter som löper risk för psykos. Även om den ursprungliga psykos riskkalkylatorn har validerats i pilotstudier över flera NHS Trusts, om än med retrospektiva patientjournaler6,14,21, ger denna experimentella design den första evidensbasen att denna riskkalkylator kan replikeras och distribueras för användning i realtid. Detta tillvägagångssätt möjliggör automatisk leverans av prognostiska resultat till kliniker genom befintliga kliniska anmälan kanaler, såsom e-post, i realtid. Detta visar tydligt den tekniska genomförbarheten för att genomföra en storskalig effektivitetsstudie för att utvärdera den slutliga kliniska nyttan av denna riskkalkylator i den verkliga världen.
Detta protokoll är empiriskt innovativt, eftersom det inte finns ett liknande riskdetekterings- och varningssystem för psykos. Dessutom har detta protokoll hög generaliserbarhet i klinisk användning, särskilt på grund av de unika styrkorna i vår strategi. Ur ett teoretiskt perspektiv använde vi en riskprediktionsmodell som utvecklades baserat på en stor retrospektiv avidentifierad kohort från SLaM NHS Trust. SLaM ger sekundär mental vård till en befolkning på 1,36 miljoner individer i södra London och har en av de högsta registrerade andelen psykos i världen. Denna stora kohort, som har hög mångfald i sociodemografiska och diagnostiska egenskaper, gör det möjligt för oss att utveckla en riskprediktionsmodell som sannolikt inte är partisk mot en population med specifika egenskaper. Detta stöds av bevis för att den prognostiska noggrannheten hos denna riskkalkylator redan har replikerats två gånger i två olika databaser14,21, inklusive en utanför SLaM. En annan teoretisk styrka i denna riskmodell är att grundläggande demografisk och klinisk diagnosinformation användes som prediktorer. Sådan information är allestädes närvarande i elektroniska kliniska data och i själva verket saknas data för dessa prediktorer har visat sig vara relativt sällsynta i våra tidigare studier14,21. Den höga tillgången på information för byggnadsprediktorer gör det möjligt att köra riskkalkylatorn över ett stort antal patientprover inom olika sekundära mentalvårdssektorer. Dessutom är riskkalkylatorn en generell algoritm som är lämplig för alla individer som löper risk att utveckla psykos i sekundär mental vård, oavsett individers ålder. Det vill säga, denna kalkylator är inte bara lämplig för 15-35 åldersgrupp av topp psykos risk16, men också för dem utanför detta intervall, visar en hög grad av generaliserbarhet.
Ur ett praktiskt perspektiv är både riskkalkylatorn och CogStack-plattformen lätta och öppen källkod som inte involverar resurstunga tekniker eller kostsam infrastruktur. En sådan låg kostnad och lätt att använda plattform kan minska hindren för dess antagande i verkliga kliniska inställningar. Dessutom övervinner vår lösning huvudimplementeringsbarriären: riskuppskattningssystem ger föga värde om de inte används av kliniker i den dagliga praktiken25. Specifikt, vår strategi får tillgång till data från EHR, utför analyser oberoende av ett elektroniskt journalsystem och kan skicka analysresultat tillbaka till kliniker genom befintliga anmälan kanaler. Den här metoden kräver inte att affärslogiken i befintliga system ändras och kan fungera som en fristående tjänst för att stödja och utöka befintliga kliniska beslutsstödsystem. Således har protokollet hög kompatibilitet med redan existerande kliniska system och kan enkelt integreras i rutinmässig klinisk praxis. Dessutom ger protokollet användarvänliga gränssnitt för sökning, analys och visualisering av kliniska data, vilket gör det enkelt för kliniker att tolka och utforska riskresultaten.
Detta protokoll har också sina begränsningar. För det första har effektiviteten av detta protokoll inte utvärderats i rutinmässig klinisk praxis. Denna studie fokuserade på tekniska genomförbarhetstester för att implementera ett system för riskdetektering och varning i realtid i en lokal EHR. För att ytterligare utvärdera effektiviteten av detta system i rutinmässig klinisk praxis, framtida storskaliga randomiserade kontrollerade studier behövs6. En andra begränsning är att förutsägelserna om riskpoäng i det här protokollet gjordes baserat på de första primära diagnoserna, som är statiska data som samlas in vid en enda ögonblicksbild. Chr-P-symptomen utvecklas dock i sig över tiden. En dynamisk version av psykos riskkalkylator, där förutsägelse modeller kan uppdateras dynamiskt för att återspegla förändringarna, har utvecklats nyligen26. Framtida arbete kommer att inriktas på att integrera denna dynamiska kalkylator i det nuvarande protokollet.
Det mest kritiska steget i den här metoden var att identifiera EHR-data som användes för extrakt prediktorer i riskkalkylatorn. Detta kan också innebära att skapa dataelementmappningar, när ett EHR-system använde en annan datamodell än den som används i det här protokollet, till exempel distinkta kodningssystem för patienternas etniska grupper. Vi har öppen källkod alla kod och kartläggning definitioner på nätet(https://github.com/cogstack-slam/psychosis). Baserat på dessa material skulle man kunna replikera distributionen eller justera räknaren beroende på sin egen omständighet. Ett annat viktigt steg var att skapa en databasvy för datainmatning i CogStack. Eftersom relationskopplingsåtgärder (dvs. kombinera kolumner från en eller flera databastabeller) i Elasticsearch kan leda till höga beräkningskostnader, genomförde vi dessa kopplingsåtgärder i EHR-databasen genom att skapa en databasvy. Den här vyn kombinerade all information som behövdes för att extrahera prediktorer i riskkalkylatorn och två viktiga fält som användes av CogStack-pipelines för datapartitionering i datainmatning. Det första fältet är en unik primärnyckel för varje post i vyn ("patient_id" använde det här protokollet) och det andra är en tidsstämpel när en post senast ändrades. Om dessa två fält inte har angetts korrekt kanske CogStack inte synkroniserar datauppdateringar i en EHR-databas i tid. Detaljerade instruktioner för felsökning av problem med CogStack-datainmatning finns på https://cogstack.atlassian.net/wiki/spaces/COGDOC/overview och https://github.com/CogStack/CogStack-Pipeline.
Detta protokoll är mycket transportabelt och kan enkelt distribueras i NHS Trusts som har en CRIS- eller CogStack-plattform. Hittills cris-plattformen, inklusive förfarandena för samtycke, har beskrivits fullständigt på annat håll och är under expansion över 12 NHS Trusts i Storbritannien, utnyttja över 2 miljoner avidentifierade patientjournaler(https://crisnetwork.co/). På samma sätt har CogStack-plattformen distribuerats inte bara i SLaM, utan även andra NHS Trusts över hela Storbritannien som University College London Hospitals (UCLH), King's College Hospital (KCH), Guy's och St Thomas (GSTT) och Mersey Care NHS Trusts. Dessa truster utan såsom plattform kan använda en online-version av riskkalkylator (http://psychosis-risk.net), eller bygga detta protokoll från grunden baserat på detta manuskript och våra online-dokument. Även om detta protokoll är utvecklat för psykos riskdetektering, är den arkitektoniska utformningen av detta protokoll inte knuten till denna specifika användning fall. Protokollet är tillräckligt flexibelt för att möjliggöra omkonfigurering och återanvändning av realtidsövervaknings- och varningskomponenter för andra riskmätningsområden, såsom biverkningar, vilket gör det möjligt för kliniker att i tid vidta åtgärder för att förbättra patientvården, säkerheten och erfarenheten.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Denna studie finansieras av och är en direkt produktion av King's College London Confidence in Concept award från Medical Research Council (MRC) (MC_PC_16048) till PFP. RD och AR stöddes av: a) Maudsley Charity; b) National Institute for Health Research (NIHR) Biomedical Research Centre i södra London och Maudsley NHS Foundation Trust och King's College London. c) Health Data Research UK, som finansieras av Uk Medical Research Council, Engineering and Physical Sciences Research Council, Economic and Social Research Council, Department of Health and Social Care (England), Chief Scientist Office of the Scottish Government Health and Social Care Directorates, Health and Social Care Research and Development Division (Welsh Government), Public Health Agency (Northern Ireland), British Heart Foundation och Wellcome Trust; d) Det BigData@Heart konsortiet, finansierat av det gemensamma företaget Innovative Medicines-2 enligt bidragsavtal nr 116074. Detta gemensamma företag får stöd från EU:s forsknings- och innovationsprogram Horisont 2020 och EFPIA. Det leds av DE Grobbee och SD Anker, som samarbetar med 20 akademiska partner och industripartner och ESK. och e) National Institute for Health Research University College London Hospitals Biomedical Research Centre. Dessa finansiärer hade ingen roll i utformningen av studien, insamlingen och analyserna. De åsikter som framförs är upphovsmannens och inte nödvändigtvis de som yttrar sig hos NHS, NIHR eller Hälsodepartementet.
Materials
| Name | Company | Catalog Number | Comments |
| CogStack-Pipeline | King's College London | Open source software | |
| Elasticsearch | Elastic NV | Open Source Search & Analytics | |
| Kibana | Elastic NV | Open source data visualization plugin for Elasticsearch | |
| Python packages ("elasticsearch", "elasticsearch_dsl", "pandas" and "numpy") | Open source community | Open source packages |
References
- Lieberman, J. A., First, M. B. Psychotic Disorders. New England Journal of Medicine. 379 (3), 270-280 (2018).
- Oh, H., Koyanagi, A., Kelleher, I., DeVylder, J. Psychotic experiences and disability: findings from the collaborative psychiatric epidemiology surveys. Schizophrenia Research. 193, 343-347 (2018).
- Tsiachristas, A., Thomas, T., Leal, J., Lennox, B. R. Economic impact of early intervention in psychosis services: results from a longitudinal retrospective controlled study in England. BMJ Open. 6 (10), e012611 (2016).
- Fusar-Poli, P., McGorry, P. D., Kane, J. M. Improving outcomes of first-episode psychosis: an overview. World Psychiatry. 16 (3), 251-265 (2017).
- Fusar-Poli, P. The clinical high-risk state for psychosis (CHR-P), version II. Schizophrenia Bulletin. 43 (1), 44-47 (2017).
- Fusar-Poli, P., et al. Real-world Implementation of a Transdiagnostic Risk Calculator for the Automatic Detection of Individuals at-risk of Psychosis in Clinical Routine: Study Protocol. Frontiers in Psychiatry. 10, 109 (2019).
- Fusar-Poli, P., et al. Disorder, not just state of risk: meta-analysis of functioning and quality of life in people at high risk of psychosis. British Journal of Psychiatry. 207 (3), 198-206 (2015).
- Fusar-Poli, P., et al. Heterogeneity of psychosis risk within individuals at clinical high risk: a meta-analytical stratification. JAMA Psychiatry. 73 (2), 113-120 (2016).
- Fusar-Poli, P., et al. Diagnostic and prognostic significance of brief limited intermittent psychotic symptoms (BLIPS) in individuals at ultra high risk. Schizophrenia Bulletin. 43 (1), 48-56 (2016).
- Fusar-Poli, P., et al. Prognosis of brief psychotic episodes: a meta-analysis. JAMA Psychiatry. 73 (3), 211-220 (2016).
- Fusar-Poli, P., Sullivan, S., Shah, J., Uhlhaas, P. Improving the detection of individuals at clinical risk for psychosis in the community, primary and secondary care: an integrated evidence-based approach. Frontiers in Psychiatry. 10, 774 (2019).
- Fusar-Poli, P. Extending the benefits of indicated prevention to improve outcomes of first-episode psychosis. JAMA Psychiatry. 74 (7), 667-668 (2017).
- Fusar-Poli, P., et al. Transdiagnostic psychiatry: a systematic review. World Psychiatry. 18 (2), 192-207 (2019).
- Fusar-Poli, P., et al. Development and validation of a clinically based risk calculator for the transdiagnostic prediction of psychosis. JAMA Psychiatry. , (2017).
- Fusar-Poli, P., Hijazi, Z., Stahl, D., Steyerberg, E. W. The science of prognosis in psychiatry: a review. JAMA Psychiatry. 75 (12), 1289-1297 (2018).
- Radua, J., et al. What causes psychosis? An umbrella review of risk and protective factors. World Psychiatry. , (2018).
- Fusar-Poli, P., et al. Deconstructing vulnerability for psychosis: Meta-analysis of environmental risk factors for psychosis in subjects at ultra high-risk. European Psychiatry. 40, 65-75 (2017).
- Fusar-Poli, P., et al. Clinical-learning versus machine-learning for transdiagnostic prediction of psychosis onset in individuals at-risk. Translational Psychiatry. 9 (1), 1-11 (2019).
- Stewart, R., et al. The South London and Maudsley NHS foundation trust biomedical research centre (SLAM BRC) case register: development and descriptive data. BMC Psychiatry. 9 (1), 51 (2009).
- Jongsma, H. E., et al. Treated incidence of psychotic disorders in the multinational EU-GEI study. JAMA Psychiatry. 75 (1), 36-46 (2018).
- Fusar-Poli, P., et al. Transdiagnostic risk calculator for the automatic detection of individuals at-risk and the prediction of psychosis: Second replication in an independent national health service trust. Schizophrenia Bulletin. , (2019).
- Fusar-Poli, P., et al. Transdiagnostic individualized clinically based risk calculator for the detection of individuals at-risk and the prediction of psychosis: Model refinement including nonlinear effects of age. Frontiers in Psychiatry. 10, 313 (2019).
- Colditz, G. A., Wei, E. K. Risk prediction models: applications in cancer prevention. Current Epidemiology Reports. 2 (4), 245-250 (2015).
- Jackson, R., et al. CogStack - Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC Medical Informatics and Decision Making. 18 (47), (2017).
- McGorrian, C., Leong, T., D'Agostino, R., Graham, I. Risk estimation systems in clinical use: SCORE, Heart Score and the Framingham system. Hyperlipidaemia (Oxford Cardiology Library). , Oxford University Press. (2012).
- Studerus, E., Beck, K., Fusar-Poli, P., Riecher-Rössler, A. Development and Validation of a Dynamic Risk Prediction Model to Forecast Psychosis Onset in Patients at Clinical High Risk. Schizophrenia Bulletin. , (2019).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4, 50 (2009).
- Fusar-Poli, P., et al. Outreach and support in south London (OASIS), 2001-2011: ten years of early diagnosis and treatment for young individuals at high clinical risk for psychosis. European Psychiatry. 28 (5), 315-326 (2013).
