Summary
전자 건강 기록을 위한 정보 검색 및 추출 플랫폼인 CogStack을 기반으로 실시간 정신병 위험 계산 및 경고 시스템을 배포하는 방법을 시연합니다.
Abstract
최근 연구에 따르면 자동화된 수명, 트랜스진단 및 임상기반의 개별화된 위험 계산기는 전자 건강 기록(EhRs)을 활용하여 정신병 위험이 있는 개인의 조기 발견을 대규모로 지원하는 강력한 시스템을 제공합니다. 이 위험 계산기는 외부적으로 두 번 검증되었으며 임상 구현을 위한 타당성 테스트를 진행하고 있습니다. 임상 루틴에서 이 위험 계산기의 통합은 누락된 데이터와 같은 실용적인 과제를 해결하는 데 필요한 미래 타당성 연구와 실제 및 일상적인 임상 환경에서 이 위험 계산기의 유용성에 의해 촉진되어야 합니다. 여기서, 우리는 실제 EHR 시스템에서 실시간 정신병 위험 탐지 및 경고 서비스의 미래 구현을위한 접근 방식을 제시한다. 이 방법은 오픈 소스, 경량 및 분산 정보 검색 및 텍스트 추출 시스템인 CogStack 플랫폼을 활용합니다. CogStack 플랫폼은 임상 데이터의 전체 텍스트 검색, 수명 포함, 정신병 위험의 실시간 계산, 임상의에 대한 조기 위험 경보 및 시간이 지남에 따라 환자의 시각적 모니터링을 허용하는 일련의 서비스를 통합합니다. 우리의 방법은 다음을 포함: 1) 수집 및 CogStack 플랫폼에 여러 소스에서 데이터의 동기화, 2) 위험 계산기의 구현, 그 알고리즘은 이전에 개발 및 검증, 정신병의 환자의 위험을 적시에 계산하기 위해, 3) 시간 동안 환자의 건강 상태를 모니터링하기 위해 대화 형 시각화 및 대시 보드의 생성, 4) 환자가 아닌 환자를 보장하기 위해 자동화 된 경보 시스템을 구축 적절한 조치를 취할 수 있도록 합니다. 이것은 정신병의 조기 발견을 위한 임상 루틴에 있는 유사한 탐지 그리고 경보 시스템을 개발하고 실행한 첫번째 연구 결과입니다.
Introduction
정신병 장애는 마음의 내부 경험과 환경의 외부 현실을 구별하는 데 어려움을 초래하는 심각한 정신 건강 질환입니다1,뿐만 아니라 자해와 자살의 평균 위험보다 높은2. 표준 배려의 밑에, 이 무질서는 전 세계 개인, 가족 및 사회에 중요한 건강 및 경제적 부담을 가진 중요한 공중 위생 충격 귀착됩니다3. 정신병에 있는 초기 내정간섭은 이 정신 장애의 결과를 향상할 수 있습니다4. 특히, 정신병(CHR-P)5를 개발하기 위한 임상적 고위험고위험에 처한 개인의 검출, 예후 평가 및 예방치료는 장애의 진행을 변화시킬 수 있는 독특한 잠재력을 제공하여, 많은 사람들과 그 가족들의 삶의 질을 향상시켜3,,6. CHR-P 개인은 약식 증상 및 기능 장애로 제시 하는 젊은 이들을 찾는 도움이7: 정신병 발병 위험은 2-년8에서 20 %이지만 일부 특정 하위 그룹에서 더 높다9,10. 몇몇 중요한 전진에도 불구하고, 일상적인 임상 사례에 있는 예방 접근의 충격은 위험에 처한 대부분의 개별을 검출하는 기능에 의해 제한됩니다11. 현재 탐지 방법은 정신병 위험의 의심에 도움 추구 행동 및 추천에 근거를 두고 있습니다; 이러한 방법은 많은 수의샘플(11)을처리하는 데 매우 비효율적입니다. 따라서, 현재 검출 방법의 확장성은 위험도가 가장 큰 인구의 대다수에12로매우 제한된다. 실제로, 제1 정신병 장애가 발생할 위험이 있는 개인의 5%(독립형 전문 조기 발견 서비스)에서 12%(청소년 정신 건강 서비스)만이 현재 검출 전략에 의해 위험 단계의 시점에서 검출될 수 있다6.
더 많은 수의 위험에 처한 개인의 예방 접근법의 임상 적 이점을 확장하기 위해, 우리는 자동화 된 수명 포함 (즉, 모든 연령대에 걸쳐), 트랜스 진단 (즉, 다른 진단에 걸쳐) 13, 임상 기반의 개별위험 계산기, 이러한 CHR-P기준을넘어, 규모에서 이차 정신 건강 관리에서 정신병의 위험에 개인을 감지 할 수있는13. 이 위험 계산기는 Cox 비례 위험 모델을 사용하여 연령, 성별, 민족, 성별 및 1 차 지수 진단의 방법론 지침15에따라 선별된 5개의 일상적으로 수집된 임상 변수로부터 6년 이상 정신병 장애를 일으킬 위험을 예측했습니다. 이들 임상 변수는 최첨단 방법론 가이드라인15에의해 권장되는 메타 분석16,,17으로부터얻어진 선행 지식에 기초하여 선택되었다. 예측 변수 수는 이벤트 변수 비율을 보존하고 과적합 편향을 최소화하도록 제한됩니다. 사전 필터없이 너무 많은 변수를 포함하면 과적합 문제와 가난한 예후 정확도18로이어집니다. 이 모델을 개발하는 데 사용되는 방법은 자동 기계 학습 방법18과유사한 예후 정확도를 제공합니다. Cox 모델의 매개 변수는 사우스 런던과 Maudsley 국립 보건 서비스 재단 신탁 (SLaM)19에서회고적 비 식별 코호트에 기초하여 추정되었다. SLaM은 사우스 런던 (램버스, 사우스 워크, 루이삼 및 크로이던 자치구)에있는 136 만 명의 인구에게 이차 정신 건강 치료를 제공하는 국립 보건 서비스 (NHS) 정신 건강 신탁이며, 세계20에서 정신병의 가장 높은 기록 비율 중 하나를 가지고 있습니다. 모델 개발에 사용된 모든 데이터는 연구자에게 익명화된 임상 기록19의회고적 액세스 및 분석을 제공하는 디지털 사례 등록 시스템인 임상 기록 대화형 검색(CRIS) 플랫폼에서 추출되었습니다. CRIS의 임상 정보는 전자 환자 여행 시스템(ePJS)이라고 불리는 SLaM의 맞춤형 전자 건강 기록(EHR) 시스템에서 추출됩니다. SLaM은 종이가 없으며 ePJS는 임상 루틴을 위한 표준 데이터 수집 플랫폼을 나타냅니다. 따라서, transdiagnostic 위험 계산기는 EhRs를 활용하고 정신병의 위험한 상태에 있을 지도 모르다 사람들을 검출하기 위하여 이차 정신 헬스케어에 접근하는 환자의 큰 EHRs를 자동으로 가리기 위하여 잠재력을 가지고 있습니다. 이 transdiagnostic 위험 계산기의 알고리즘은 이전에 게시되었습니다6,,14,21. transdiagnostic 위험 계산기는 외부적으로 두 개의 NHS 재단신탁에서검증되었습니다14,21 및 최적화 된22,다른 인구에 걸쳐 적절한 예후 성능과 일반화를 보여주는.
위험 예측 모델15,,23의개발에 대한 방법론적 지침에 따르면, 모델 개발 및 검증 후 다음 단계는 일상적인 임상 실습에서 예측 모델을 구현하는 것이다. 구현 연구는 일반적으로 임상 사례에서 위험 알고리즘의 사용과 관련된 잠재적 인 실용적인 한계를 해결하는 파일럿 또는 타당성 연구선행됩니다. 예를 들어, 나이, 성별 및 인종과 같은 계산기를 실행하기 위한 필수 데이터는 진단 날짜에 제공되지 않거나 나중에 업데이트되지 않을 수 있습니다. 구현에서 가장 신뢰할 수 있는 예측 결과를 얻으려면 누락된 데이터를 처리하고 실시간 데이터 스트림에서 빈번한 업데이트를 동기화하는 효과적인 방법을 고려해야 합니다. 더욱이, 위험 계산기의 초기 개발은 소급 코호트 데이터를 기반으로 했기 때문에, 실제 임상 설정의 전형적인 실시간 데이터 스트림에서 사용될 수 있는지 여부는 알려져 있지 않다. 또 다른 과제는 관련 임상의가 적절한 시간 내에 공유되고 허용된 의사 소통 경로 내에서 위험 계산기에 의해 생성된 권장 사항을 받을 수 있도록 하는 것입니다.
이러한 한계를 극복하기 위해 개별화된 트랜스진단 위험 계산기를 활용한 타당성 구현 연구를 완료했습니다. 연구 결과는 임상의 또는 환자를 접촉하지 않고 현지 EHR에서 데이터를 사용하여 실행된 시험관 내 단계 및 임상의와 직접 적인 접촉을 관련시킨 생체 내 단계의 2개의 단계를 포함했습니다. 체외 단계는 두 가지 매니폴드 목표를 가지고 있었다: (i) 구현 연구를위한 통합 프레임 워크에 따라 구현 장벽을 해결하기 위해 (CFIR)27 및 (ii) 로컬 EHR에 transdiagnostic 위험 계산기를 통합. 구현 장벽에는 임상의에게 위험 결과의 통신이 포함되었습니다. SLaM에서, 모든 환자는 치료의 질에 영향을 미치지 않고, 연구를 위해 연락할 그들의 의지를 나타내는 접촉 (C4C)에 대한 동의를 위해 등록하도록 초대됩니다. 이것은 환자에게 연락하는 것에 관련있는 윤리적인 문제를 감소시킵니다. 또한 임상의와 함께 일하는 그룹은이 정보가 전달되는 방법에 대한 조정을 도왔습니다. 생체 내 단계(2018년 5월 14일 ~ 2019년 4월 29일) SLaM 서비스(램버스, 사우스워크, 루이삼, 크로이던 자치구)에 액세스한 모든 개인(i)은 (iii) 비유기적, 비정신적 정신 질환(정신 질환 및 정신 장애의 경우) 첫 번째 ICD-10 지수 1차 진단을 받은 사람(ii; ATPD) 또는 CHR-P 지정 및 (iv) 기존 연락처 정보가 있는 경우 자격이 있는 것으로 간주되었습니다. 생체 내 단계에서 매주 SLaM에 액세스하는 새로운 환자가 정신병 위험을 위해 자동으로 선별되었으며 특정 임계값보다 큰 위험이있는 환자가 발견되었습니다. 연구팀은 그 때 추가 권고를 토론하고 결국 평가를 직면하는 추가 얼굴을 건의하기 위하여 환자의 책임 있는 임상의에게연락했습니다 6. 평가된 사람들이 CHR-P 기준을 충족하는 것으로 간주되는 경우, 그들은 사우스 런던 (OASIS)28의아웃리치 및 지원과 같은 전문 CHR-P 서비스로 언급되었습니다. 이것은 정신병 무질서의 개시의 앞에 개별의 향상한 탐지 귀착될 것이고 무질서의 과정을 바꾸기를 위한 중요한 기회를 제공할 것입니다. 결정적으로, 이 타당성 조사는 현재 기사의 주제인 로컬 EHR 시스템에 계산기의 완전한 통합을 포함시켰습니다. 제안된 연구 평가 계획의 개요, 데이터 보안 및 윤리적 문제 관리에 대한 세부 사항을 포함하여 이 타당성 조사의 전체 프로토콜이 이전 작업6에제시되었습니다. 타당성 조사6의일환으로 현재 문서는 로컬 EHR 데이터를 기반으로 실시간 정신병 위험 탐지 및 경보 시스템의 기술적 구현을 제시하는 데 중점을 둡니다. 보다 구체적으로, 이 연구의 목적은 이차 정신 건강 관리 서비스에 액세스하는 즉시 위험에 처한 환자를 적시에 감지하여 이 위험 계산기의 기술적 타당성을 조사하는 것입니다. 타당성 조사의 전체 결과는 임상의가 위험 계산기에 의해 만들어진 권고사항을 준수하는 측면에서 별도로 발표될 것입니다. 무작위 설계가 필요한 제안된 연구의 효과에 대한 포괄적인 평가는 현재 연구 프로그램의 범위를 벗어납니다. 우리의 최선의 지식에, 이것은 정신병의 조기 발견을 위한 살아있는 EHR 데이터를 기반으로 위험 계산기의 구현을 기술하는 첫번째 방법입니다.
정신병 위험 탐지 및 경보에 대한 당사의 접근 방식은 CogStack 플랫폼을 활용합니다. CogStack 플랫폼은 가볍고 분산되어 있으며 내결함성 정보 검색 및 텍스트 추출 플랫폼24입니다. 이 플랫폼은 세 가지 주요 구성 요소로 구성됩니다: 1) Java Spring Batch 프레임워크를 사용하여 미리 정의된 데이터 소스(워드, PDF 파일 및 이미지와 같은 여러 형식의 구조화 및 비정형 EHR 데이터 모두)에서 실시간으로 미리 정의된 데이터 싱크에 데이터를 수집하고 동기화하는 CogStack 파이프라인; 2) Elasticsearch, EHR 데이터의 전체 텍스트의 저장 및 쿼리를 허용하는 검색 엔진뿐만 아니라 엔진에 고급 분석을 포함하기 위해 다양한 응용 프로그램 프로그래밍 인터페이스 (API)를 제공; 및 3) Kibana는 사용자가 Elasticsearch에서 데이터를 쿼리하고 시각화 대시보드를 빌드하고 데이터의 이상 징후 또는 기타 관심 패턴에 대한 경고를 설정할 수 있는 대화형 웹 기반 사용자 인터페이스입니다. 또한 CogStack은 임상의에게 이메일 및 SMS(텍스트)로 잠재적인 문제를 경고하는 기능을 통합하여 임상의가 위험 계산기에 의해 보고된 위험에 처한 환자에 대한 적시에 알림을 받을 수 있도록 합니다.
우리는 CogStack 플랫폼을 활용하여 SLaM에서 ePJS를 기반으로 정신병 위험 탐지 및 경고 모델을 제시합니다. 주간기준으로ePJS에서 식별되지 않은 건강 기록에 대한 소급 액세스를 제공하는 CRIS 플랫폼과 비교하여 SLaM의 CogStack 플랫폼은 실시간으로 식별 가능한 EHR에 액세스할 수 있으므로 CRIS 및 CogStack 플랫폼은 SPS에서 데이터 소스를 모두 사용하지만, 관심 지점 및 위험 예측에 더 가깝게 경고를 제공합니다. 다음 섹션에서는 EHR의 소스 데이터 준비, Elasticsearch를 통해 전체 텍스트 검색을 활성화하기 위해 CogStack 플랫폼으로 소스 데이터를 수집, 파이썬 데몬 스레드를 사용하여 정신병 위험 계산기를 실행하고, Kibana 사용자 인터페이스를 통해 대화형 시각화 및 실시간 위험 경고를 설정하는 등 접근 방식의 주요 단계에 대한 세부 정보를 제공합니다. EHR 데이터를 기반으로 실시간 위험 탐지 및 경고 시스템을 구축하는 것을 목표로 하는 모든 연구원은 접근 방식과 참조 구현을 따를 수 있습니다. 우리가 아래에 정교해야한다, 제안 된 방법은 높은 유연성과 휴대성 오픈 소스, 경량 기술을 활용. 이를 통해 위험 계산기를 다양한 위치에서 실행할 수 있으며 다른 위험 추정 알고리즘에 대한 높은 적용 가능성을 보여줍니다. 또한 이 방법은 일반 의료 시스템에 내장된 EHR의 위험 감지 및 경고 기능을 향상시키기 위한 간단한 접근 방식으로 작동합니다.
Protocol
이 연구는 영국 동부 - 케임브리지셔 및 허트포드셔 연구 윤리위원회 (참조 번호: 18/EE/0066)에 의해 승인되었습니다.
참고 : 우리는 CogStack 플랫폼과 파이썬 프로그래밍 언어를 기반으로이 프로토콜을 개발했습니다. 이 시스템은 도커 (더 구체적으로, 도커 구성 https://docs.docker.com/compose/),아나콘다 파이썬(https://www.anaconda.com/distribution/)및 Git(https://git-scm.com/downloads)장치에 미리 설치해야합니다. 이 프로토콜에 제공된 명령은 Linux 환경을 기반으로 합니다. 다음에서는 EHR 데이터베이스에서 소스 데이터를 준비하고, 데이터를 CogStack 플랫폼으로 수집하고, CogStack 플랫폼을 기반으로 정신병에 대한 실시간 위험 계산 및 경고 시스템을 설정하는 세부 정보를 제공합니다. 더욱이, 위험 계산기의 온라인 버전은 http://www.psychosis-risk.net이차 정신 건강 관리에 있는 개별 개발 정신병의 확률의 숫자 계산을 촉진하기 위하여 개발되었습니다.
1. 소스 데이터 준비
참고: 대부분의 사용 사례에서 CogStack은 하나 이상의 원본 데이터베이스 테이블의 데이터를 결합할 수 있는 지정된 데이터베이스 보기에서 원본 데이터를 수집합니다. 인제스트 뷰의 설정은 상태 레코드 데이터베이스 시스템의 특정 사용 사례 및 배포 설정에 따라 조정됩니다. 이 프로토콜은 Fusar-Poli 등14,,21 및 파일럿 구현 타당성 조사의 일환으로 두 번 개발되고 외부적으로 검증된 정신병 위험 계산기를 기반으로개발됩니다. 이 프로토콜은 Microsoft SQL Server 2014와 함께 배포된 EHR 데이터베이스를 기반으로 합니다.
- 기존 EHR 데이터베이스 시스템에서"vwPsychosisBase"라고불리는 뷰 오브젝트를 만들어 정신병 위험 계산 및 경고를 위해 환자의 필요한 정보를 조인합니다. 이 견해는 원래 모델14,,21에정의된 바와 같이 비유기 및 비정신병 정신 장애(국제 질병 및 관련 건강 문제의 국제 통계 분류에 의해 기록된, 10번째 개정 [ICD-10])의 첫번째 1차 진단을 수신하는 모든 환자를 포함하는지 확인한다.
- 보기의 각 기록은 세 가지 유형의 환자 정보를 포함하도록 보장: 1) ICD-10 진단 지수를 포함한 EHR 시스템에서 환자의 첫 번째 기본 진단 (진단은 다음 10 개의 클러스터로 함께 클러스터되었다: 급성 및 일시적 정신병 장애, 불안 장애, 양극성 기분 장애, 어린 시절과 청소년 발병 장애, 발달 장애, 비양극성 기분 장애, 정신 지체, 정신 지체; 성병 장애; 2) 성별, 인종 및 생년월일을 포함한 환자의 인구 통계 학적 데이터; 3) 일반 진료(GP), 컨설턴트 및 진료 코디네이터와 같은 환자를 위한 진료 팀의 최신 연락처 정보. 정보의 처음 두 가지 유형은 정신병 위험 계산기 에 매우 중요하다14,,21,정보의 세 번째 유형은 적시에 위험 경고를 가능하게하는 것입니다.
- 뷰의 각 레코드에 고유한 식별자(예:"patient_id"가이 프로토콜에 사용되는지 확인합니다.)
- 뷰의 레코드와 관련된 모든 소스 정보의 마지막 업데이트 타임스탬프(예: 환자의 인구 통계 학적 정보 및 환자의 첫 번째 기본 진단 정보의 마지막 업데이트 시간)를 선택하고 뷰의 레코드에 대한 마지막 업데이트 날짜 및 시간으로 최신 타임스탬프를 선택합니다(이 프로토콜에서"etl_updated_dttm"로표시됨). 레코드의 마지막 업데이트 날짜와 시간을 통해 CogStack은 새 레코드와 업데이트된 레코드와 같은 데이터베이스의 업데이트를 동기화할 수 있습니다.
2. 데이터 수집
- Github(https://github.com/cogstack-slam/psychosis)에서또는 터미널 창에서 "git 클론 https://github.com/cogstack-slam/psychosis.git"를입력하여 코드 리포지토리를 다운로드하거나 복제하십시오. 다운로드한 폴더에는 CogStack 인스턴스를 배포하기 위한 정신병 위험 계산 및 구성 파일에 대한 코드가 포함되어 있습니다.
- "cogstack_deploy/cogstack/"디렉토리로 이동하여"psychosis.properties"를 수정하여 데이터 수집을 위해 CogStack 파이프라인을 구성합니다. 데이터베이스 서버의 IP 주소, 데이터베이스 이름, 데이터베이스 사용자 이름 및 암호를 지정하는 것을 포함하여 EHR 데이터베이스 설정을 기반으로 섹션"소스: DB CONFIGURATIONS"설정을 수정합니다. 필요한 경우 뷰 이름(예:vwPsychosisBase")및 필드 이름(예:"patient_id"및"etl_updated_dttm")을수정합니다. 이 파일을 구성하는 데 오류가 있는 경우 https://cogstack.atlassian.net/wiki/spaces/COGDOC/pages/38043684/Quickstart의 지침을 따릅니다.
- "cogstack_deploy/일반/elasticsearch/config/"디렉토리로 이동하여"xpack.notification.email.account"섹션을 수정하여"elasticsearch.yml"파일에서 알림을 보내기 위한 이메일 주소를 구성합니다. 이메일 구성에 대한 자세한 지침은 https://www.elastic.co/guide/en/kibana/6.4/watcher-create-threshold-alert.html.
- CogStack 플랫폼을 실행하려면"cogstack_deploy/" 디렉토리 및 유형"도커 구성" 로 이동합니다. 루트 액세스 권한을 가진 이 명령을 실행합니다. 프로세스가 성공적으로 완료되면 터미널에 CogStack 파이프라인, Elasticsearch 및 Kibana를 포함하여 현재 실행 중인 서비스의 상태 로그가 인쇄됩니다. 따라서 원본 데이터베이스 보기의 모든 데이터와 업데이트는 CogStack 플랫폼에서"psychosis_base"이라는Elasticsearch 인덱스로 적시에 수집됩니다.
- 웹 브라우저를 열고 "http://localhost:5601/"(또는"localhost"를 CogStack 플랫폼을 실행하는 서버의 특정 IP 주소로 대체)하여 Kibana 사용자 인터페이스에 액세스합니다. 키바나에 처음 액세스하려면 관리 탭 및 색인 패턴 탭을 클릭하여 Kinaba로 액세스하려는 Elasticsearch 인덱스를 지정합니다. "인덱스패턴"필드에"psychosis_base" 를 입력하고 다음 단계를 클릭합니다. "시간필터"필드 이름에 대해"etl_updated_dttm"etl_updated_dttm 선택하고 인덱스 패턴 만들기를 클릭하여 Kinana의"psychosis_base"인덱스 패턴을 추가합니다.
- Kibana가 Elasticsearch 인덱스(예:"psychosis_base")에연결되면 "Discover" 페이지를 통해 소스 데이터를 대화식으로 검색하고 탐색합니다. Kibana는 기술적이지 않은 사용자가 구조화 된 메타데이터와 무료 텍스트를 모두 검색 할 수 있습니다. "Discover"사용에 대한 자세한 지침은 https://www.elastic.co/guide/en/kibana/6.4/discover.html.
3. 위험 계산
- 새 터미널 창을 열고 "정신병/ " 디렉토리로이동합니다. 모든 필요한 파이썬 패키지를 설치 (포함 "elasticsearch", " " "elasticsearch_dsl" " " " " 및 ""numpy") 입력 하여 위험 계산기에 사용 "conda 설치 패키지 이름" 또는 " pip 설치 패키지이름" 터미널에.pandas
- 입력 "파이썬 risk_calculator.py" 정신병 위험 계산기를 실행합니다. 프로세스가 성공적으로 완료되면 위험 계산 로그가 터미널에 인쇄되고 위험 결과는 CogStack 플랫폼 내의"psychosis_risk"라는 새로운 Elasticsearch 인덱스에 저장됩니다.
- Kibana 인터페이스를 사용하여 위험 결과를 확인합니다. 단계 2.5 및 2.6과 마찬가지로 새로운 인덱스 패턴"psychosis_risk"를 추가하여 Kinbana를"psychosis_risk" 인덱스와 연결하고"Discover" 페이지를 통해 위험 결과를 탐색합니다. 위험에 처한 새로운 환자를 쉽게 식별할 수 있도록 "first_primary_diagnosis_date"을 "시간 필터" 필드로 사용하여"psychosis_risk"인덱스를 작성합니다. "Discover " 페이지에서Discover데이터를 탐색할 때 인덱스 패턴"psychosis_risk"가 선택되어 있는지 확인합니다.
4. 데이터 시각화
- Kibana의"Discover"페이지를 통해 개별 수준의 정보를 검색하고 액세스하는 것 외에도 시각화 및 대시보드를 구축하여 위험에 처한 환자의 전체 인구에 대한 특성에 대한 개요를 얻을 수 있습니다. 이렇게 하려면 Kibana의 측면 탐색에서 시각화를 클릭합니다. 그런 다음 새 시각화 만들기 단추를 클릭하고 시각화 유형(예: 원형 및 꺾은줄 차트)을 선택합니다. 키바나를 통해 시각화하려는 인덱스로"psychosis_risk"을선택합니다. 기본적으로 시각화에는"psychosis_risk"인덱스에 모든 레코드/환자가 포함됩니다. Kibana 시각화 구축에 대한 자세한 지침은 https://www.elastic.co/guide/en/kibana/6.4/visualize.html.
- 시각화를 위해 데이터의 특정 하위 집합을 선택하려면"필터"를추가합니다. 예를 들어,"h_2_year"로제출된 필터를 선택하면 ""로 연산자를 선택하는 것은"0.0"에서"0.0" 에서 "0.05"로값을 설정하는 것이아니라2년 동안 정신병의 위험이 0.05보다 높은 환자만 포함됩니다.
- 개별 시각화가 빌드되면 Kibana의 측면 탐색에서 대시보드를 클릭하여 관련 시각화 집합을 함께 표시하는 대시보드를 만듭니다. 새 대시보드 만들기 및 추가 단추를 클릭하여 새 대시보드 패널을 만듭니다. 새 대시보드 패널에 표시하려는 시각화를 클릭합니다. 저장을 클릭하고 제목을 입력하여 패널을 저장합니다. Kibana 대시보드 구축에 대한 지침은 https://www.elastic.co/guide/en/kibana/6.4/dashboard.html.
5. 위험 경고
- Kibana의 측면 탐색에서 관리를 클릭한 다음 Elasticsearch 에서 감시기를 클릭하여 환자가 정신병의 위험에 처했을 때 임상의에 대한 경고를 만듭니다. 감시자 버튼이 표시되지 않으면 라이센스 관리를 클릭하고 평가판 시작 또는 라이센스 업데이트를 클릭합니다.
- 고급 시계 만들기를 클릭하여 새 감시기를 설정합니다. "ID" 및 "이름"을 입력합니다. "시계JSON" 섹션의 내용을 삭제하고"watcher.json"파일의 내용을 "정신병" 디렉토리에 복사하여"JSON 보기"섹션에 복사합니다. 이 감시자는 24시간마다 정신병 위험이 0.05(타당성 테스트를 위한 잠정 임계값)보다 높은 환자가 한 명 이상 있는 경우 "username@nhs.uk"(2.3단계에서 설정된) "username@nhs.uk"에서 "clinician@nhs.uk"(경고를 보내고 자하는 이메일 주소로 대체될 수 있음)으로 경고 이메일을 보냅니다.
- 감시자를 저장하기 전에 시뮬레이션을 클릭하여 감시자 실행을 테스트합니다. 감시자가 성공적으로 설정되면 시뮬레이션 출력이 인쇄된 것을 볼 수 있습니다. 설정에 오류가 있는 경우 https://www.elastic.co/guide/en/elastic-stack-overview/6.4/watcher-getting-started.html에 대한 지침을 따르십시오.
- 감시자가 중지하려면 감시자의"상태"페이지에서 영구적으로 삭제하거나 일시적으로 비활성화합니다.
Representative Results
이 섹션에서는 위험 계산기를 통해 정교하게 처리되고 임상의에게 예후 결과를 적시에 전달하는 데 실용성에 중점을 둔 구현 결과를 제시합니다. 위험 계산기에 의해 만들어진 권고에 임상의의 준수와 같은 시스템의 임상 적 유용성의 평가는 완료될 때 별도의 보고서에 제시될 것입니다.
원본 데이터 수집
우리는 SLaM에서 ePJS의 복제 데이터베이스를 기반으로 정신병 위험 계산 및 경고 시스템을 배포했습니다. 이 복제데이터베이스는 10분마다 ePJS의 라이브 데이터를 동기화합니다. 정신병 위험 계산을 위한 환자의 정보를 결합하는 데이터베이스 보기는 각 기록이 환자를 위한 정보를 포함하는 이 복제데이터베이스에 내장되었습니다. 이 보기의 모든 레코드는 실시간으로 CogStack 플랫폼에 통합되었습니다(8코어 CPU와 16GB RAM이 있는 가상 머신의 레코드당 약 0.6마이크로초). 이 원고가 준비된 2019년 7월 13일까지, SLaM에서 비유기 및 비정신병 정신 장애의 첫 번째 색인 진단을 받은 202,289명의 모든 기록은"psychosis_base"에저장된 정신병 위험 계산을 위해 CogStack에 섭취되었다. 그림 1은 레코드의 마지막 업데이트 날짜를 기준으로 시간 순으로 시간에 따라 CogStack에 통합된 레코드 수를 보여 주며, 시간순으로 표시됩니다. 데이터베이스의 레코드 수와 내용을 비교하여 Elasticsearch 인덱스를 통해 누락된 데이터와 불일치 데이터가 발견되지 않았으며, 이는 데이터 수집 및 동기화에서 CogStack 파이프라인의 안정성을 확인합니다.
위험 결과 검증
이 프로토콜에서 정신병 위험 검출기의 구현을 검증하기 위해 CogStack ("CogStack 버전"이라고 함)에 의해 감지 된 위험에 처한 환자와 CRIS ("CRIS 버전"이라고 함)를 기반으로 원래 위험 계산기에 의해 감지 된 환자를 비교했습니다. 위험에 처한 환자를 선별하기 위해 개발 된 임계 값이 없었기 때문에6,14,,21,우리는 여기에서 2 년 동안 정신병의 위험에 대해 5 %의 잠정 적 임계 값을 사용했습니다. 이 임시 임계값은 시스템이 NHS에서 실용적으로 작동할 수 있는지 여부를 테스트하기 위한 것이며 향후 연구와 함께 변경되기 쉽습니다. 위험에 처한 개인의 최적 검출을 위한 실제 임계값은 향후 대규모 연구에서 확인되어야 합니다. 특히, 우리는 먼저 CRIS 버전 (환자의 수 N = 169)에서 임계 값 이상의 정신병에 대한 위험이 있었다 모든 환자를 검색. 이 모든 환자는 2018년 5월 14일부터 2019년 4월 29일까지 SLaM에서 비유기 및 비정신병 정신 질환의 첫 번째 색인 진단을 받았습니다. 같은 기간에 진단 된 환자를 필터링하여, 우리는 그 2 년 정신병에 대한 위험이 CogStack 버전에서 0.05보다 높은 N = 170 환자를 검색했습니다. 마지막으로, 우리는 두 세트에 있는 유일한 환자의 총 수가 N=173인 환자의 2세트 사이 다름을 비교했습니다. 우리는 161명의 환자 (173명의 환자의 93%를 차지)가 두 버전에서 동일 점수가 있었다는 것을 것을을 발견했습니다. 높은 수준의 계약은 위험 점수를 생성하는 이 CogStack 기반 프로토콜의 유효성을 확인합니다.
2개의 버전에 있는 다른 리스크 점수를 가진 12명의 환자가 있었습니다. 환자의 EhRs를 검사해서, 우리는 이 다름이 이 환자를 위한 데이터가 CRIS 버전에서 계산된 후에 업데이트되었기 때문이었다는 것을 것을을 발견했습니다. 특히 생년월일, 성별 및 자가 할당 된 민족성과 같은 위험 계산기에 사용되는 예측 변수는 정적 변수였지만 일부 환자의 건강 기록에는 이전 단계에서 변수 (예 : 알 수없는 민족성)에 대한 누락 또는 기본 값이 있었으며 이러한 변수는 이후 단계에서 입력되거나 업데이트되었습니다. 이것은 2개의 다른 단계에서 다른 리스크 점수로 이끌어 낼 수 있습니다. 유사하게, 몇몇 환자의 첫번째 1 차적인 색인 진단은 이 진단에 근거를 둔 초기 위험 점수가 계산된 후에 무효화되었습니다. 이 경우 위험 계산기는 이러한 환자에 대한 다음 유효한 1 차 진단을 찾고 위험 점수를 다시 계산합니다. 업데이트된 위험 점수도 초기 위험 점수와 다를 수 있습니다. 원래 위험 계산기는 연구 용 CRIS의 회고 적 데이터를 기반으로 개발되었기 때문에 원래 계산기 파이프 라인은 EHR 데이터에서 이러한 업데이트를 동기화하고 위험 점수를 적시에 새로 고치지 않았습니다. 대조적으로, 환자의 근원 데이터가 업데이트되는 경우에 환자의 위험 점수는 CogStack 버전에서 다시 계산될 것입니다, 이는 환자를 위한 가장 믿을 수 있고 최신 위험 점수를 제공하기 위하여 이 CogStack 기지를 둔 계산기를 허용합니다. 이러한 결과는 이 프로토콜의 위험 점수의 신뢰성을 강력하게 강조합니다.
결과 시각화 및 위험 경고
데이터 시각화에서 CogStack의 기능을 입증하기 위해 정신병 위험이 있는 환자에 대한 정보를 위한 대시보드를 구축했습니다. 타당성 시험을 위해 전에 사용된 것과 같이, 우리는 위험에 처한 환자로 5% 보다는 더 높은 2 년에서 정신병의 리스크가 있는 사람들을 선택했습니다. 그림 2는 환자의 민족성, 성별, 연령 및 진단 범주를 포함하여 정신병의 위험이 있는 환자에 대한 특성의 시각화를 보여줍니다. 이 프로토콜은 웹 인터페이스(예: Kibana)를 통해 위험 결과를 시각화하는 것 외에도 이메일과 같은 다른 알림 채널을 통해 사용자 또는 임상의에게 위험 경고를 보낼 수 있도록 합니다. 그림 3은 Kibana의 Watch 구성 요소를 사용하여 위험 경고 서비스를 설정하기 위한 인터페이스를 보여 줍니다. 이 서비스가 성공적으로 구성되면 2년 동안 정신병 위험이 5%보다 높은 환자가 한 명 이상인 경우 이메일 알림을 받을 수 있습니다. 그림 4는 위험에 처한 환자의 수와 이러한 환자의 자치구를 보고하는 이러한 이메일 알림의 예를 보여줍니다. 예측된 정신병 위험 점수가 어떻게 전달되는지 를 맞추기 위해 더 많은 작업이 필요하기 때문에, 우리는 임상의에게 직접 위험 알림을 보내지 않았습니다. 기술적 타당성을 테스트하기 위해 이 연구의 모든 알림은 기술 연구원(T.W.)에서 보안 네트워크 내의 SLaM 의 이메일 시스템을 통해 임상 연구원(D.O.)으로 전송되었습니다. 환자 정보의 집계 된 통계만 통지에 포함되었습니다. 개인 식별 정보는 포함되지 않았습니다.
그림 1: CogStack에 수집된 소스 데이터입니다. 2019년 7월 13일까지"psychosis_base"[psychosis_base]에 수집된 레코드는 총 202,289개이며, 히스토그램은 레코드의 마지막 업데이트 데이터 시간순으로 시간 동안 수집된 레코드 수를 표시합니다. 또한 구조화 된 정보와 구조화 되지 않은 정보를 쿼리 하 고이 페이지의 쿼리와 일치 하는 검색 조회를 얻을 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2 : 정신병의 위험이있는 환자의 특성의 대시 보드 (즉, 0.05보다 2 년 동안 정신병의 위험). (a)외부 파이가 내부 파이의 인종 범주의 하위 범주인 위험에 처한 환자에 대한 민족의 분포. (b)환자의 성별 분포,(c)진단에서 환자의 연령 분포 및(d)진단 그룹당 환자 수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 위험 경고를 위한 감시 설정 및 시뮬레이션. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 위험 경고 이메일의 예입니다. 각 임상 위임 그룹 (CCG)에 있는 정신병의 위험한 상태에 환자의 수는 괄호에서 보고됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Discussion
우리는 CogStack, 오픈 소스 정보 검색 및 추출 플랫폼을 기반으로 실시간 정신병 위험 탐지 및 경고 시스템의 첫 번째 EHR 구현을 입증했다. 이 접근법에 따라, 하나는 전체 텍스트 검색, 대화 형 분석 및 데이터의 시각화뿐만 아니라 정신병의 위험이있는 환자의 임상의에게 실시간 경고를 가능하게하기 위해, CogStack 인스턴스로, 구조화 및 비정형 정보를 포함한 다양한 형식으로 임상 데이터의 큰 세트를 변환하고 섭취 할 수 있습니다. 원래 정신병 위험 계산기는 여러 NHS 신탁에 걸쳐 파일럿 연구에서 검증되었지만, 회고적 환자 기록을 사용하더라도6,,14,,21,이 실험 설계는이 위험 계산기가 복제되고 실시간으로 사용하기 위해 배포 될 수있는 첫 번째 증거 기반을 제공합니다. 이 접근법은 이메일과 같은 기존 임상 통지 채널을 통해 임상의에게 예후 결과를 실시간으로 실시간으로 전달할 수 있게 합니다. 이것은 명확하게 실제 세계에서이 위험 계산기의 궁극적 인 임상 유틸리티를 평가하기 위해 대규모 효과 시험을 수행하기위한 기술적 타당성을 보여줍니다.
이 프로토콜은 경험적으로 혁신적입니다, 정신병에 대한 유사한 위험 탐지 및 경고 시스템이 존재하지 않기 때문에. 더욱이, 이 프로토콜은 임상 사용에 있는 높은 일반화성이, 특히 우리의 접근의 유일한 강점 때문에 있습니다. 이론적 관점에서, 우리는 SLaM NHS 트러스트의 대규모 회고 적규 코호트를 기반으로 개발 된 위험 예측 모델을 사용했습니다. SLaM은 런던 남부에 있는 136만 명의 인구에게 이차 정신 건강 관리를 제공하며 세계에서 가장 높은 기록된 정신병 비율 중 하나입니다. 사회 인구 통계학적 특성과 진단 특성에 높은 다양성을 가진 이 큰 코호트는 특정 특성을 가진 인구로 편향될 가능성이 낮은 위험 예측 모델을 개발할 수 있게 해줍니다. 이는 이 위험 계산기의 예후 정확도가 이미 SLaM 외부의 데이터베이스를 포함하여 두 개의 서로 다른 데이터베이스14,,21에서두 번 복제되었다는 증거에 의해 뒷받침됩니다. 이 위험 모형의 또 다른 이론적인 강점은 기본적인 인구 통계학 및 임상 진단 정보가 예측자로 이용되었다는 것입니다. 이러한 정보는 전자 임상 데이터에서 유비쿼터스이며 실제로 이러한 예측 변수에 대한 누락 된 데이터는 이전 연구14,,21에서상대적으로 드문 것으로 나타났습니다. 건물 예측 변수에 대한 정보의 높은 가용성은 가능한 다른 이차 정신 건강 관리 부문에 걸쳐 환자 샘플의 큰 숫자에 걸쳐 위험 계산기를 실행할 수 있습니다. 또한, 위험 계산기는 개인의 나이에 관계없이 이차 정신 건강 관리에 정신병을 개발의 위험에 모든 개인에 적합한 일반적인 알고리즘입니다. 즉,이 계산기는 피크 정신병 위험16의15-35 연령 범위에 적합 할뿐만 아니라이 범위를 벗어난 사람들에게도 적합할 뿐만 아니라 높은 수준의 일반화성을 보여 주기도합니다.
실용적인 관점에서 위험 계산기와 CogStack 플랫폼은 리소스가 많은 기술이나 비용이 많이 드는 인프라를 포함하지 않는 경량 및 오픈 소스 서비스입니다. 이러한 저비용 및 배포가 용이한 플랫폼은 실제 임상 환경에서 채택하는 장벽을 줄일 수 있습니다. 또한, 우리의 솔루션은 주요 구현 장벽을 극복 : 위험 추정 시스템은 일상적인 연습25에서임상의에 의해 사용되지 않는 한 작은 가치를 제공합니다. 특히, 당사의 접근 방식은 EHR의 데이터에 액세스하고, 전자 의료 기록 시스템과 독립적으로 분석을 수행하며, 기존 알림 채널을 통해 임상의에게 분석 결과를 다시 보낼 수 있습니다. 이 방법은 기존 시스템의 비즈니스 논리를 수정할 필요가 없으며 기존 임상 의사 결정 지원 시스템을 지원하고 확장하기 위한 독립 실행형 서비스로 작동할 수 있습니다. 따라서, 프로토콜은 기존의 임상 시스템과 높은 호환성을 가지고 있으며 일상적인 임상 사례에 쉽게 통합 될 수 있습니다. 또한 이 프로토콜은 임상 데이터의 검색, 분석 및 시각화를 위한 사용자 친화적인 인터페이스를 제공하므로 임상의가 위험 결과를 쉽게 해석하고 탐색할 수 있습니다.
이 프로토콜에는 한계도 있습니다. 첫째, 이 프로토콜의 효과는 일상적인 임상 실습에서 평가되지 않았습니다. 이 연구는 현지 EHR에서 실시간 정신병 위험 탐지 및 경고 시스템을 구현하는 기술적 타당성 테스트에 중점을 두어 연구했습니다. 일상적인 임상 실습에서이 시스템의 효과를 더 평가하기 위해 미래의 대규모 무작위 통제 시험이 필요합니다6. 두 번째 제한은 이 프로토콜의 위험 점수 예측이 단일 스냅숏에서 수집된 정적 데이터인 첫 번째 기본 진단을 기반으로 이루어졌다는 것입니다. 그러나, CHR-P 현상은 본질적으로 시간이 지남에 따라 진화하고 있습니다. 예측 모델이 변화를 반영하도록 동적으로 업데이트 할 수있는 정신병 위험 계산기의 동적 버전은 최근26개발되었습니다. 향후 작업은 현재 프로토콜에서 이 동적 계산기를 통합하는 데 중점을 둡니다.
이 접근 방식에서 가장 중요한 단계는 위험 계산기에서 추출 예측 변수에 사용된 EHR 데이터를 식별하는 것이었습니다. 이것은 또한 EHR 시스템이 환자의 인종 그룹을 위한 별개의 코딩 시스템과 같은 이 프로토콜에 사용된 것과 다른 데이터 모델을 사용하는 경우 데이터 요소 매핑을 만드는 것을 포함할 수 있습니다. 우리는 오픈 소스 모든 코드와 매핑 정의 온라인(https://github.com/cogstack-slam/psychosis). 이러한 자료에 따라 배포를 복제하거나 자신의 상황에 따라 계산기를 조정할 수 있습니다. 또 다른 중요한 단계는 CogStack에서 데이터 수집을 위한 데이터베이스 보기를 만드는 것이었습니다. Elasticsearch에서 관계형 조인 작업(예: 하나 이상의 데이터베이스 테이블의 열을 결합)하면 높은 계산 비용이 발생할 수 있으므로 데이터베이스 보기를 만들어 EHR 데이터베이스에서 이러한 조인 작업을 수행했습니다. 이 보기는 위험 계산기에서 예측 변수를 추출하는 데 필요한 모든 정보와 데이터 수집에서 데이터 분할을 위해 CogStack 파이프라인에서 사용된 두 가지 중요한 필드를 결합했습니다. 첫 번째 필드는 뷰의 각 레코드에 대한patient_id고유한 기본 키("patient_id 이 프로토콜사용)이며 두 번째 필드는 레코드가 가장 최근에 수정된 타임스탬프입니다. 이러한 두 필드가 제대로 설정되지 않은 경우 CogStack은 EHR 데이터베이스의 데이터 업데이트를 적시에 동기화하지 못할 수 있습니다. CogStack 데이터 수집에 대한 문제 해결에 대한 자세한 지침은 https://cogstack.atlassian.net/wiki/spaces/COGDOC/overview 및 https://github.com/CogStack/CogStack-Pipeline.
이 프로토콜은 전송이 용이하며 CRIS 또는 CogStack 플랫폼이 있는 NHS 트러스트에 쉽게 배포할 수 있습니다. 지금까지 동의 절차를 포함하는 CRIS 플랫폼은 다른 곳에서 완전히 설명되었으며 영국의 12 개 NHS 트러스트에서 확장중이며 2 백만 명 이상의 식별 되지 않은 환자 기록(https://crisnetwork.co/)을활용합니다. 마찬가지로 CogStack 플랫폼은 SLaM뿐만 아니라 대학 대학 런던 병원 (UCLH), 킹스 칼리지 병원 (KCH), 가이 및 세인트 토마스 (GSTT), 머지 케어 NHS 트러스트와 같은 영국 전역의 다른 NHS 트러스트에도 배포되었습니다. 플랫폼과 같은 트러스트는 온라인 버전의 위험계산기(http://psychosis-risk.net)를사용하거나 이 원고와 온라인 문서를 기반으로 처음부터 이 프로토콜을 빌드할 수 있습니다. 이 프로토콜은 정신병 위험 탐지를 위해 개발되었지만 이 프로토콜의 아키텍처 설계는 이 특정 사용 사례와 관련이 없습니다. 이 프로토콜은 불리한 약물 반응과 같은 다른 위험 측정 영역에 대한 실시간 모니터링 및 경고 구성 요소를 재구성하고 재구성할 수 있을 만큼 충분히 유연하여 임상의가 환자 치료, 안전 및 경험을 개선하기 위한 조치를 적시에 취할 수 있도록 합니다.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
이 연구 결과는 의학 연구 위원회 (MRC)에서 개념상에 있는 왕의 대학 런던 신뢰의 직접적인 출력입니다 (MC_PC_16048) PFP에. RD와 AR은 :에 의해 지원되었다 : (a) Maudsley 자선; (b) 국립 보건 연구소 (NIHR) 사우스 런던과 Maudsley NHS 재단 신탁 및 킹스 칼리지 런던에서 생물 의학 연구 센터; (c) 영국 의학 연구 위원회, 공학 및 물리 과학 연구 위원회, 경제 및 사회 연구 위원회, 보건 및 사회 복지부 (영국), 스코틀랜드 정부 보건 및 사회 복지 이사회의 수석 과학자 사무실, 건강 및 사회 복지 연구 및 개발 부서 (웨일스 정부), 공중 보건 기관 (북아일랜드), 영국 심장 재단 및 웰컴 트러스트에 의해 투자되는 건강 데이터 연구 영국; (d) 혁신 의약품 이니셔티브-2 공동 사업에 의해 투자 된 BigData@Heart 컨소시엄은 보조금 계약 제 116074 호. 이 공동 사업은 유럽 연합의 호라이즌 2020 연구 및 혁신 프로그램 및 EFPIA의 지원을 받습니다. DE Grobbee 및 SD Anker가 20개의 학술 및 산업 파트너 및 ESC와 파트너십을 맺고 의장이 임명됩니다. (e) 국립 보건 연구 대학 대학 런던 병원 생물 의학 연구 센터. 이 자금 조달 기관은 연구, 수집 및 분석의 설계에 아무런 역할이 없었다. 표현된 견해는 저자의 견해이며 반드시 NHS, NIHR 또는 보건부의 견해는 아닙니다.
Materials
| Name | Company | Catalog Number | Comments |
| CogStack-Pipeline | King's College London | Open source software | |
| Elasticsearch | Elastic NV | Open Source Search & Analytics | |
| Kibana | Elastic NV | Open source data visualization plugin for Elasticsearch | |
| Python packages ("elasticsearch", "elasticsearch_dsl", "pandas" and "numpy") | Open source community | Open source packages |
References
- Lieberman, J. A., First, M. B. Psychotic Disorders. New England Journal of Medicine. 379 (3), 270-280 (2018).
- Oh, H., Koyanagi, A., Kelleher, I., DeVylder, J. Psychotic experiences and disability: findings from the collaborative psychiatric epidemiology surveys. Schizophrenia Research. 193, 343-347 (2018).
- Tsiachristas, A., Thomas, T., Leal, J., Lennox, B. R. Economic impact of early intervention in psychosis services: results from a longitudinal retrospective controlled study in England. BMJ Open. 6 (10), e012611 (2016).
- Fusar-Poli, P., McGorry, P. D., Kane, J. M. Improving outcomes of first-episode psychosis: an overview. World Psychiatry. 16 (3), 251-265 (2017).
- Fusar-Poli, P. The clinical high-risk state for psychosis (CHR-P), version II. Schizophrenia Bulletin. 43 (1), 44-47 (2017).
- Fusar-Poli, P., et al. Real-world Implementation of a Transdiagnostic Risk Calculator for the Automatic Detection of Individuals at-risk of Psychosis in Clinical Routine: Study Protocol. Frontiers in Psychiatry. 10, 109 (2019).
- Fusar-Poli, P., et al. Disorder, not just state of risk: meta-analysis of functioning and quality of life in people at high risk of psychosis. British Journal of Psychiatry. 207 (3), 198-206 (2015).
- Fusar-Poli, P., et al. Heterogeneity of psychosis risk within individuals at clinical high risk: a meta-analytical stratification. JAMA Psychiatry. 73 (2), 113-120 (2016).
- Fusar-Poli, P., et al. Diagnostic and prognostic significance of brief limited intermittent psychotic symptoms (BLIPS) in individuals at ultra high risk. Schizophrenia Bulletin. 43 (1), 48-56 (2016).
- Fusar-Poli, P., et al. Prognosis of brief psychotic episodes: a meta-analysis. JAMA Psychiatry. 73 (3), 211-220 (2016).
- Fusar-Poli, P., Sullivan, S., Shah, J., Uhlhaas, P. Improving the detection of individuals at clinical risk for psychosis in the community, primary and secondary care: an integrated evidence-based approach. Frontiers in Psychiatry. 10, 774 (2019).
- Fusar-Poli, P. Extending the benefits of indicated prevention to improve outcomes of first-episode psychosis. JAMA Psychiatry. 74 (7), 667-668 (2017).
- Fusar-Poli, P., et al. Transdiagnostic psychiatry: a systematic review. World Psychiatry. 18 (2), 192-207 (2019).
- Fusar-Poli, P., et al. Development and validation of a clinically based risk calculator for the transdiagnostic prediction of psychosis. JAMA Psychiatry. , (2017).
- Fusar-Poli, P., Hijazi, Z., Stahl, D., Steyerberg, E. W. The science of prognosis in psychiatry: a review. JAMA Psychiatry. 75 (12), 1289-1297 (2018).
- Radua, J., et al. What causes psychosis? An umbrella review of risk and protective factors. World Psychiatry. , (2018).
- Fusar-Poli, P., et al. Deconstructing vulnerability for psychosis: Meta-analysis of environmental risk factors for psychosis in subjects at ultra high-risk. European Psychiatry. 40, 65-75 (2017).
- Fusar-Poli, P., et al. Clinical-learning versus machine-learning for transdiagnostic prediction of psychosis onset in individuals at-risk. Translational Psychiatry. 9 (1), 1-11 (2019).
- Stewart, R., et al. The South London and Maudsley NHS foundation trust biomedical research centre (SLAM BRC) case register: development and descriptive data. BMC Psychiatry. 9 (1), 51 (2009).
- Jongsma, H. E., et al. Treated incidence of psychotic disorders in the multinational EU-GEI study. JAMA Psychiatry. 75 (1), 36-46 (2018).
- Fusar-Poli, P., et al. Transdiagnostic risk calculator for the automatic detection of individuals at-risk and the prediction of psychosis: Second replication in an independent national health service trust. Schizophrenia Bulletin. , (2019).
- Fusar-Poli, P., et al. Transdiagnostic individualized clinically based risk calculator for the detection of individuals at-risk and the prediction of psychosis: Model refinement including nonlinear effects of age. Frontiers in Psychiatry. 10, 313 (2019).
- Colditz, G. A., Wei, E. K. Risk prediction models: applications in cancer prevention. Current Epidemiology Reports. 2 (4), 245-250 (2015).
- Jackson, R., et al. CogStack - Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC Medical Informatics and Decision Making. 18 (47), (2017).
- McGorrian, C., Leong, T., D'Agostino, R., Graham, I. Risk estimation systems in clinical use: SCORE, Heart Score and the Framingham system. Hyperlipidaemia (Oxford Cardiology Library). , Oxford University Press. (2012).
- Studerus, E., Beck, K., Fusar-Poli, P., Riecher-Rössler, A. Development and Validation of a Dynamic Risk Prediction Model to Forecast Psychosis Onset in Patients at Clinical High Risk. Schizophrenia Bulletin. , (2019).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4, 50 (2009).
- Fusar-Poli, P., et al. Outreach and support in south London (OASIS), 2001-2011: ten years of early diagnosis and treatment for young individuals at high clinical risk for psychosis. European Psychiatry. 28 (5), 315-326 (2013).
