Summary
Nous démontrons comment déployer un système de calcul et d’alerte en temps réel des risques de psychose basé sur CogStack, une plateforme de récupération d’informations et d’extraction pour les dossiers de santé électroniques.
Abstract
Des études récentes ont montré qu’une calculatrice de risque automatisée, inclusive, transdiagnostique et cliniquement basée fournit un système puissant pour soutenir la détection précoce des personnes à risque de psychose à grande échelle, en tirant parti des dossiers de santé électroniques (DSE). Cette calculatrice de risque a été validée à l’externe deux fois et fait l’objet d’essais de faisabilité pour la mise en œuvre clinique. L’intégration de cette calculatrice de risque dans la routine clinique devrait être facilitée par des études de faisabilité prospectives, qui sont nécessaires pour relever des défis pragmatiques, tels que les données manquantes, et la facilité d’utilisation de cette calculatrice de risque dans un contexte clinique réel et de routine. Ici, nous présentons une approche pour une mise en œuvre éventuelle d’un service de détection et d’alerte en temps réel des risques de psychose dans un système de DSE dans le monde réel. Cette méthode tire parti de la plate-forme CogStack, qui est un système de récupération d’informations et de récupération d’informations open-source, léger et distribué. La plate-forme CogStack intègre un ensemble de services qui permettent une recherche en texte intégral des données cliniques, un calcul en temps réel de la durée de vie et du risque de psychose, une alerte précoce au risque aux cliniciens et la surveillance visuelle des patients au fil du temps. Notre méthode comprend : 1) l’ingestion et la synchronisation des données provenant de sources multiples dans la plate-forme CogStack, 2) la mise en œuvre d’une calculatrice de risque, dont l’algorithme a déjà été développé et validé, pour le calcul en temps opportun du risque de psychose d’un patient, 3) la création de visualisations interactives et de tableaux de bord pour surveiller l’état de santé des patients au fil du temps, et 4) la construction de systèmes d’alerte automatisés pour s’assurer que les cliniciens sont avisés des patients à risque , afin que des actions appropriées puissent être poursuivies. Il s’agit de la toute première étude qui a mis au point et mis en œuvre un système de détection et d’alerte similaire dans la routine clinique pour la détection précoce de la psychose.
Introduction
Les troubles psychotiques sont de graves maladies mentales qui conduisent à des difficultés à distinguer entre l’expérience interne de l’esprit et la réalité externe de l’environnement1, ainsi qu’un risque plus élevé que la moyenne d’automutilation et de suicide2. Dans le cadre des soins standard, ces troubles ont un impact majeur sur la santé publique, avec un fardeau important pour la santé et l’économie pour les individus, les familles et les sociétés du monde entier3. Les interventions précoces en psychose peuvent améliorer les résultats de ce trouble mental4. En particulier, la détection, l’évaluation pronostique et le traitement préventif des personnes qui sont à risque clinique élevé de développer une psychose (CHR-P)5 offre un potentiel unique pour modifier le cours du trouble, améliorant ainsi la qualité de vie de nombreuses personnes et de leurs familles3,6. Les personnes de CHR-P sont des jeunes à la recherche d’aide présentant des symptômes atténués et une déficience fonctionnelle7: leur risque de développer une psychose est de 20 % à 2 ans8, mais il est plus élevé dans certains sous-groupes spécifiques9,10. Malgré quelques progrès substantiels, l’impact des approches préventives dans la pratique clinique de routine est limité par la capacité de détecter la plupart des personnes qui sont à risque11. Les méthodes de détection actuelles sont basées sur des comportements et des références à la recherche d’aide sur des soupçons de risque de psychose; ces méthodes sont très inefficaces dans la manipulation d’un grand nombre d’échantillons11. Ainsi, l’évolutivité des méthodes de détection actuelles pour la grande majorité de la population à risque est assez limitée12. En fait, seulement 5 % (services spécialisés autonomes de détection précoce) à 12 % (services de santé mentale pour les jeunes) des personnes à risque de développer un premier trouble psychotique peuvent être détectés au moment de leur stade à risque par les stratégies de détection actuelles6.
Afin d’étendre les avantages cliniques des approches préventives chez un plus grand nombre de personnes à risque, nous avons mis au point une calculatrice de risque individualisée automatisée, inclusive sur la durée de vie (c.-à-d. à tous les âges), transdiagnostique (c.-à-d. à travers différents diagnostics)13, calculatrice de risque individualisée clinique, qui peut détecter les personnes à risque de psychose dans les soins de santé mentale secondaires à l’échelle, au-delà de celles qui répondent aux critères CHR-P14. Cette calculatrice de risque a utilisé un modèle de risque proportionnel Cox pour prédire le risque de développer un trouble psychotique sur six ans à partir de cinq variables cliniques régulièrement recueillies sélectionnées a priori, conformément aux lignes directrices méthodologiques15: âge, sexe, ethnie, âge par sexe et diagnostic principal de l’indice. Ces variables cliniques ont été sélectionnées sur la base d’une connaissance a priori obtenue à partir de méta-analyses16,17, comme le recommandent les lignes directrices méthodologiques de pointe15. Le nombre de prédicteurs est limité pour préserver le rapport Event Per Variable et minimiser les biais de suralimentation; y compris trop de variables sans filtre a priori conduit à des problèmes de surévabilité et une faible précision pronostique18. La méthode utilisée pour développer ce modèle fournit une précision pronostique similaire aux méthodes d’apprentissage automatique de la machine18. Les paramètres du modèle Cox ont été estimés sur la base d’une cohorte rétroécidentaire du South London et du Maudsley National Health Service Foundation Trust (SLaM)19. SLaM est une fiducie de santé mentale du National Health Service (NHS) qui fournit des soins de santé mentale secondaires à une population de 1,36 million de personnes dans le sud de Londres (Lambeth, Southwark, Lewisham et Croydon arrondissements), et a l’un des taux les plus élevés enregistrés de psychose dans le monde20. Toutes les données utilisées dans le développement du modèle ont été extraites de la plate-forme Clinical Record Interactive Search (CRIS), un système numérique de registre de cas, qui fournit aux chercheurs un accès et une analyse rétrospectifs des dossiers cliniques anonymes19. L’information clinique dans CRIS est extraite d’un système de dossier de santé électronique sur mesure (DSE), à SLaM, appelé système électronique de voyage des patients (ePJS). SLaM est sans papier et ePJS représente la plate-forme standard de collecte de données pour la routine clinique. Ainsi, la calculatrice de risque transdiagnostique tire parti des DSE et a le potentiel de dépister automatiquement les grands DSE des patients qui ont accès à des soins de santé mentale secondaires, afin de détecter ceux qui peuvent être à risque de psychose. L’algorithme de cette calculatrice de risque transdiagnostique a été publié précédemment6,14,21. La calculatrice de risque transdiagnostique a été validée à l’externe dans deux NHS Foundation Trusts14,21 etoptimisée 22, démontrant sa performance pronostique adéquate et sa généralisation entre différentes populations.
Selon les lignes directrices méthodologiques sur l’élaboration d’un modèle de prévision des risques15,23, la prochaine étape après le développement et la validation du modèle est de mettre en œuvre le modèle de prédiction dans la pratique clinique de routine. Les études de mise en œuvre sont généralement précédées d’études pilotes ou de faisabilité qui traitent des limitations pragmatiques potentielles associées à l’utilisation d’algorithmes de risque dans la pratique clinique. Par exemple, les données requises pour l’exécution d’une calculatrice, comme l’âge, le sexe et l’origine ethnique, peuvent ne pas être disponibles à la date du diagnostic ou mises à jour ultérieurement. Des méthodes efficaces pour traiter les données manquantes et synchroniser les mises à jour fréquentes dans les flux de données en temps réel devraient être envisagées pour obtenir les résultats de prédiction les plus fiables dans une implémentation. De plus, puisque le développement initial de la calculatrice de risque était fondé sur des données rétrospectives de cohorte, on ne sait pas s’il peut être utilisé dans un flux de données en temps réel qui est typique d’un environnement clinique réel. Un autre défi consiste à s’assurer que les cliniciens concernés reçoivent les recommandations générées par la calculatrice de risque dans un délai approprié et dans une voie de communication partagée et acceptée.
Pour surmonter ces limitations, nous avons terminé une étude de mise en œuvre de faisabilité utilisant la calculatrice de risque transdiagnostique individualisée. L’étude comprenait deux phases : une phase in vitro qui a été menée à l’aide des données du DSE local, sans communiquer avec des cliniciens ou des patients, et une phase in vivo, qui impliquait un contact direct avec les cliniciens. La phase in vitro avait deux objectifs multiples : (i) pour éliminer les obstacles à la mise en œuvre conformément au Cadre consolidé de recherche sur la mise en œuvre (CFIR)27 et (ii) pour intégrer la calculatrice de risque transdiagnostique dans le DSE local. Les obstacles à la mise en œuvre comprenaient la communication des résultats des risques aux cliniciens. Dans le SLaM, tous les patients sont invités à s’inscrire au consentement au contact (C4C), ce qui indique leur volonté d’être contacté pour la recherche, sans affecter la qualité des soins. Cela réduit les questions éthiques liées à la communication avec les patients. De plus, des groupes de travail avec des cliniciens ont aidé à adapter la façon dont cette information a été communiquée. Pendant la phase in vivo (14 mai 2018 au 29 avril 2019), toutes les personnes (i) âgées de plus de 14 ans (ii) qui accédaient à tout service SLaM (arrondissements de Lambeth, Southwark, Lewisham, Croydon), (iii) recevant un premier diagnostic primaire de l’indice ICD-10 de tout trouble mental non organique et non psychotique (à l’exception des troubles psychotiques aigus et transients; L’ATPD), ou une désignation CHR-P et (iv) avec les coordonnées existantes ont été jugés admissibles. Pendant la phase in vivo, de nouveaux patients accédant à SLaM chaque semaine ont été automatiquement examinés pour leur risque de psychose, et ceux avec un risque supérieur à un certain seuil ont été détectés. L’équipe de recherche a ensuite communiqué avec les cliniciens responsables des patients pour discuter d’autres recommandations et éventuellement suggérer une autre évaluation face à face6. Si les personnes évaluées étaient considérées comme répondant aux critères du CHR-P, elles étaient dirigées vers des services spécialisés CHR-P, tels que Outreach and Support in South London (OASIS)28. Ceci aurait comme conséquence la détection améliorée des individus avant l’apparition d’un désordre psychotique et fournirait une occasion significative pour modifier le cours du désordre. Essentiellement, cette étude de faisabilité a impliqué l’intégration complète de la calculatrice dans le système local de DSE, qui fait l’objet de l’article actuel. Le protocole complet de cette étude de faisabilité, y compris un aperçu du plan d’évaluation de la recherche proposée, des détails sur la gestion de la sécurité des données et des questions éthiques, a été présenté dans nos travaux précédents6. L’article actuel, dans le cadre de l’étude de faisabilité6, se concentre sélectivement sur la présentation de la mise en œuvre technique d’un système de détection et d’alerte en temps réel des risques de psychose basé sur les données locales du DSE. Plus précisément, l’objectif de cette étude est d’étudier la faisabilité technique de cette calculatrice de risque en temps opportun pour détecter les patients à risque dès qu’ils ont accès à un service secondaire de soins de santé mentale. Les résultats complets de l’étude de faisabilité, en ce qui concerne le respect par les cliniciens des recommandations formulées par la calculatrice de risque, seront présentés séparément. Une évaluation complète de l’efficacité de la recherche proposée, qui nécessite des conceptions randomisées, ne relève pas du programme de recherche actuel. À notre meilleure connaissance, il s’agit de la première méthode décrivant la mise en œuvre d’une calculatrice de risque basée sur des données live de DSE pour la détection précoce de la psychose.
Notre approche de la détection et de l’alerte des risques de psychose tire parti de la plate-forme CogStack. La plate-forme CogStack est une plate-forme de récupération d’informations légère, distribuée et tolérante aux défauts et à l’extraction de texte24. Cette plate-forme se compose de trois composants clés : 1) le pipeline CogStack qui utilise le cadre Java Spring Batch pour ingérer et synchroniser les données à partir d’une source de données prédéfinie (données DESE structurées et non structurées dans plusieurs formats tels que Word, fichiers PDF et images) à un puits de données prédéfinis en temps réel; 2) Elasticsearch, un moteur de recherche permettant le stockage et la requête du texte intégral des données de DSE, ainsi que la fourniture de diverses interfaces de programmation d’applications (API) pour intégrer des analyses avancées dans le moteur; et 3) Kibana, une interface utilisateur interactive basée sur le Web qui permet aux utilisateurs d’interroger des données dans Elasticsearch, de créer des tableaux de bord de visualisation et de mettre en alerte sur les anomalies ou autres modèles d’intérêt des données. De plus, CogStack intègre la capacité d’alerter les cliniciens sur les problèmes potentiels par courriel et SMS (texte), ce qui permet aux cliniciens de recevoir des notifications en temps opportun au sujet des patients à risque signalés par la calculatrice de risque.
Nous présentons un modèle de détection et d’alerte des risques de psychose basé sur ePJS chez SLaM, en tirant parti de la plate-forme CogStack. Comparée à la plate-forme CRIS qui fournit un mécanisme d’accès rétroactif aux dossiers de santé dé-identifiés à partir d’ePJS sur une base hebdomadaire19, la plate-forme CogStack chez SLaM permet l’accès à un DSE identifiable en temps réel, ce qui rapproche l’alerte du point de service et la prévision des risques dans une conception prospective, bien que les plates-formes CRIS et CogStack utilisent les données provenant de l’ePJS dans SLaM. Dans la section qui suit, nous fournissons des détails sur les étapes clés de notre approche, y compris la préparation des données sources du DSE, l’ingestion des données sources dans la plate-forme CogStack pour permettre une recherche en texte intégral via Elasticsearch, l’exécution de la calculatrice de risque de psychose à l’aide d’un fil De daemon Python, et la définition de visualisations interactives et d’alerte de risque en temps réel via l’interface Kibana. Tout chercheur qui vise à construire un système de détection et d’alerte des risques en temps réel basé sur les données du DSE peut suivre l’approche et sa mise en œuvre de référence. Comme nous l’allons le dire ci-dessous, la méthode proposée exploite des techniques open-source et légères avec une grande flexibilité et une portabilité. Cela permet d’exécuter la calculatrice de risque à divers endroits et montre une forte applicabilité à d’autres algorithmes d’estimation des risques. En outre, la méthode fonctionne comme une approche simple pour améliorer les fonctionnalités de détection des risques et d’alerte d’un DSE intégré dans un système de santé général.
Protocol
Cette étude a été approuvée par East of England - Cambridgeshire et Hertfordshire Research Ethics Committee (numéro de référence: 18/EE/0066).
REMARQUE : Nous avons développé ce protocole basé sur la plate-forme CogStack et le langage de programmation Python. Ce système nécessite Docker (plus précisément, Docker Compose https://docs.docker.com/compose/), Anaconda Python (https://www.anaconda.com/distribution/) et Git (https://git-scm.com/downloads) préinstallés sur un appareil. Les commandes fournies dans ce protocole sont basées sur l’environnement Linux. Dans ce qui suit, nous fournissons les détails de la préparation des données sources à partir d’une base de données DE DSE, l’ingestion des données à la plate-forme CogStack, et la mise en place d’un système de calcul des risques en temps réel et d’alerte pour la psychose basée sur la plate-forme CogStack. De plus, une version en ligne de la calculatrice de risque a été élaborée pour faciliter le calcul numérique de la probabilité qu’une personne développe une psychose dans les soins de santé mentale secondaires sur http://www.psychosis-risk.net.
1. Préparation des données de source
REMARQUE : Dans la plupart des cas d’utilisation, CogStack ingère les données source d’une vue de base de données spécifiée qui peut combiner des données à partir d’une ou plusieurs tables de base de données sources, lorsqu’une vue est un objet consultable dans une base de données qui contient l’ensemble de résultat d’une requête stockée sur les données. La configuration de la vue d’ingestion est adaptée par les cas d’utilisation spécifiques et les paramètres de déploiement d’un système de base de données de dossiers de santé. Ce protocole est développé sur la base d’une calculatrice de risque de psychose développée et validée à l’externe deux fois par Fusar-Poli et al.14,21 et dans le cadre d’une étude de faisabilité de mise en œuvre pilote6. Le protocole est basé sur une base de données DSE déployée avec Microsoft SQL Server 2014.
- Créez un objet de vue (appelé «vwPsychosisBase» dans ce protocole) dans un système de base de données de DSE existant pour joindre les informations nécessaires des patients pour le calcul et l’alerte des risques de psychose. Assurez-vous que ce point de vue inclut tous les patients recevant un premier diagnostic primaire de troubles mentaux non organiques et non psychotiques (enregistrés par la Classification statistique internationale des maladies et des problèmes de santé connexes, dixième révision [CIM-10]), tel que défini dans le modèle original14,21.
- Veiller à ce que chaque dossier de l’avis comporte trois types d’information sur les patients : 1) le premier diagnostic primaire d’un patient dans le système de DSE, y compris l’indice de diagnostic de la CIM-10 (les diagnostics ont été regroupés en dix groupes suivants : troubles psychotiques aigus et transitoires, troubles anxieux, troubles de l’humeur bipolaires, troubles de l’enfance et de début chez les adolescents, troubles du développement, troubles de l’humeur nonbipolaires, retard mental, troubles de la personnalité, troubles physiologiques, toxicomanies) et date de diagnostic; 2) les données démographiques d’un patient, y compris le sexe, l’origine ethnique et la date de naissance; et 3) les coordonnées les plus récentes de l’équipe de soins d’un patient, telles que les détails de la pratique générale (GP), les consultants et les coordonnateurs de soins. Les deux premiers types d’information sont essentiels pour la calculatrice de risque de psychose14,21, et le troisième type d’information est de permettre l’alerte aux risques en temps opportun.
- Assurez-vous que chaque enregistrement dans la vue a un identifiant unique (par exemple, "patient_id" utilisé dans ce protocole).
- Sélectionnez les derniers timetamps de mise à jour de toutes les informations sources relatives à un enregistrement dans la vue (p. ex., les derniers temps de mise à jour des informations démographiques d’un patient et les premières informations de diagnostic primaire du patient), et choisissez le dernier timetamp comme la dernière date de mise à jour et l’heure de l’enregistrement dans la vue (indiqué comme «etl_updated_dttm» dans ce protocole). La dernière date de mise à jour et l’heure d’un enregistrement permettent à CogStack de synchroniser les mises à jour de la base de données, telles que les enregistrements nouveaux et mis à jour.
2. Ingestion de données
- Téléchargez ou clonez le référentiel de code de Github (https://github.com/cogstack-slam/psychosis) ou en tapant « clone git https://github.com/cogstack-slam/psychosis.git» dans une fenêtre terminale. Le dossier téléchargé contient le code pour le calcul des risques de psychose et les fichiers de configuration pour le déploiement d’une instance CogStack.
- Rendez-vous sur le «cogstack_deploy/cogstack/« directory and modify »psychosis.properties" pour configurer CogStack Pipeline pour l’ingestion de données. Modifier les paramètres de la section "SOURCE: DB CONFIGURATIONS" en fonction de la configuration de la base de données de DSE, y compris la spécit de l’adresse IP du serveur de base de données, du nom de base de données, du nom d’utilisateur de la base de données et du mot de passe. Modifier le nom de vue (c.-à-d. "vwPsychosisBase") et les noms de terrain (p. ex., "patient_id" et "etl_updated_dttm") si nécessaire. En cas d’erreur dans la configuration de ce fichier, suivez les instructions à https://cogstack.atlassian.net/wiki/spaces/COGDOC/pages/38043684/Quickstart.
- Rendez-vous sur le "cogstack_deploy/common/elasticsearch/config/" directory and modify the section "xpack.notification.email.account" in the "elasticsearch.yml" file to configure an Email address for sending alerts. Une instruction détaillée pour la configuration de l’email peut être trouvée sur https://www.elastic.co/guide/en/kibana/6.4/watcher-create-threshold-alert.html.
- Allez à la "cogstack_deploy/" répertoire et tapez "docker-compose up" pour exécuter la plate-forme CogStack. Exécutez cette commande avec accès root. Si le processus est terminé avec succès, il y aura des journaux imprimés des services actuellement en cours d’exécution, y compris CogStack Pipeline, Elasticsearch et Kibana, dans le terminal. Par conséquent, toutes les données et mises à jour de la vue de la base de données source seront ingérées en temps opportun à un indice Elasticsearch appelé «psychosis_base» dans la plate-forme CogStack.
- Ouvrez un navigateur web et accédez à l’interface utilisateur de Kibana en tapant « http://localhost:5601/ » (ou en remplaçant «localhost» par une adresse IP spécifique du serveur exécutant la plate-forme CogStack). Pour la première fois accéder à Kibana, cliquez sur l’onglet Gestion et l’onglet Index Patterns pour spécifier un index Elasticsearch que l’on veut accéder avec Kinaba. Type "psychosis_base" dans le "Index pattern" champ et cliquez sur Prochaine étape. Sélectionnez "etl_updated_dttm" pour le nom de champ "Time Filter" et cliquez sur Créer le modèle d’index pour ajouter le modèle d’index "psychosis_base" pour Kinana.
- Une fois que Kibana est connecté à l’index Elasticsearch (c’est-à-dire «psychosis_base»), recherchez et parcourez les données de la source de manière interactive à travers la page «Découvrir». Kibana permet aux utilisateurs non techniques de rechercher à la fois des métadonnées structurées et du texte gratuit. Des instructions détaillées d’utilisation de "Discover" sont disponibles sur https://www.elastic.co/guide/en/kibana/6.4/discover.html.
3. Calcul des risques
- Ouvrez une nouvelle fenêtre terminale et allez à la «psychose /» répertoire. Installer tous les paquets Python requis (y compris "elasticsearch", "elasticsearch_dsl", "pandas" et "numpy") utilisés dans la calculatrice de risque en tapant "conda installer le nom de paquet" ou " pip installer le nom depaquet" dans le terminal.
- Type "python risk_calculator.py" pour exécuter la calculatrice de risque de psychose. Si le processus est terminé avec succès, les journaux du calcul du risque seront imprimés dans le terminal et les résultats de risque seront stockés dans un nouvel index Elasticsearch appelé «psychosis_risk» dans la plate-forme CogStack.
- Vérifiez les résultats du risque en utilisant l’interface Kibana. Semblable aux étapes 2.5 et 2.6, ajoutez un nouveau modèle d’index "psychosis_risk" pour relier Kinbana à l’indice "psychosis_risk", et explorez les résultats de risque à travers la page "Découvrir". Pour faciliter l’identification de nouveaux patients à risque, utilisez le « first_primary_diagnosis_date » comme champ « Filtre à temps » dans la construction de l’indice «psychosis_risk». Lors de l’exploration des données dans la page «Découvrir», assurez-vous que le modèle d’index «psychosis_risk» est sélectionné.
4. Visualisation des données
- En plus de rechercher et d’accéder à des informations individuelles via la page «Découvrir» à Kibana, on peut construire des visualisations et des tableaux de bord pour obtenir un aperçu des caractéristiques de l’ensemble de la population de patients à risque. Pour ce faire, cliquez sur Visualize dans la navigation latérale de Kibana. Ensuite, cliquez sur le bouton Créer un nouveau bouton de visualisation et choisir un type de visualisation (p. ex., graphiques à tarte et en ligne). Sélectionnez "psychosis_risk" comme l’index que l’on veut visualiser à travers Kibana. Par défaut, les visualisations incluront tous les dossiers/patients dans l’indice «psychosis_risk». Des instructions détaillées de la construction de visualisations Kibana sont disponibles sur https://www.elastic.co/guide/en/kibana/6.4/visualize.html.
- Pour sélectionner un sous-ensemble spécifique de données pour la visualisation, ajoutez un «filtre». Par exemple, la sélection d’un filtre classé comme "h_2_year", choisir un opérateur comme "n’est pas entre" et fixer des valeurs de "0.0" à "0.05" n’inclura que les patients dont le risque de psychose en 2 ans est supérieur à 0,05.
- Une fois les visualisations individuelles construites, cliquez sur Dashboard dans la navigation latérale de Kibana pour créer un tableau de bord qui affiche un ensemble de visualisations connexes ensemble. Cliquez sur Créer un nouveau tableau de bord et le bouton Ajouter pour créer un nouveau panneau de tableau de bord. Cliquez sur les visualisations que l’on veut afficher dans le nouveau tableau de bord. Cliquez sur Enregistrer et taper un titre pour enregistrer le panneau. Les instructions sur la construction de tableaux de bord Kibana sont disponibles à https://www.elastic.co/guide/en/kibana/6.4/dashboard.html.
5. Alerte aux risques
- Cliquez sur la direction dans la navigation latérale de Kibana, puis cliquez sur Watcher sous Elasticsearch pour créer une alerte pour les cliniciens lorsque les patients étaient à risque de psychose. Si le bouton Watcher n’est pas visible, cliquez sur La gestion des licences et cliquez sur Démarrer l’essai ou mettre à jour la licence.
- Cliquez sur Créer une montre avancée pour configurer un nouvel observateur. Tapez un "ID" et un "Nom". Supprimer le contenu de la section "Regarder JSON" et copier le contenu dans le fichier "watcher.json" dans l’annuaire " psychose " à la section "Regarder JSON". Ce observateur enverra un courriel d’alerte à «clinician@nhs.uk» (qui peut être remplacé par l’adresse e-mail où l’on veut envoyer des alertes) de «username@nhs.uk» (qui a été fixé dans l’étape 2.3) s’il ya un ou plusieurs patients dont le risque de psychose en 2 ans sont plus élevés que 0,05 (un seuil provisoire pour les tests de faisabilité) dans toutes les 24 heures.
- Avant d’enregistrer le Watcher, cliquez sur Simulate pour tester l’exécution Watcher. Si le Watcher est réglé avec succès, on verra la sortie de simulation imprimée. En cas d’erreur dans les paramètres, suivez les instructions sur https://www.elastic.co/guide/en/elastic-stack-overview/6.4/watcher-getting-started.html.
- Pour arrêter un observateur, supprimez-le en permanence ou désactivez-le temporairement de la page «Statut» de l’Observateur.
Representative Results
Dans cette section, nous présentons les résultats de la mise en œuvre en mettant l’accent sur la pratique dans le traitement des flux de données cliniques en direct élaborés par l’entremise de la calculatrice de risque et en facilitant la livraison en temps opportun des résultats pronostiques aux cliniciens. Les évaluations de l’utilité clinique du système, comme l’adhésion des cliniciens aux recommandations formulées par la calculatrice de risque, seront présentées dans un rapport distinct une fois terminé.
Ingestion de données sources
Nous avons déployé le système de calcul et d’alerte des risques de psychose basé sur une base de données de répliques d’ePJS dans SLaM. Cette base de données de réplique synchronise les données en direct de l’ePJS toutes les 10 minutes. Une vue de base de données combinant les informations des patients pour le calcul du risque de psychose a été construite dans cette base de données de réplique, où chaque enregistrement contient des informations pour un patient. Tous les enregistrements de cette vue ont été ingérés dans la plate-forme CogStack en temps réel (environ 0,6 microseconde par enregistrement dans une machine virtuelle avec processeur à 8 cœurs et 16 Go de RAM). Jusqu’au 13 juillet 2019, date à laquelle ce manuscrit a été préparé, tous les dossiers de 202 289 patients ayant reçu un premier diagnostic d’index de troubles mentaux non organiques et non psychotiques dans le SLaM ont été ingérés dans CogStack pour le calcul du risque de psychose, stockés dans l’indice «psychosis_base» Elasticsearch. La figure 1 montre le nombre d’enregistrements ingérés dans CogStack au fil du temps, dans l’ordre chronologique, selon la dernière date de mise à jour d’un dossier. En comparant les nombres et le contenu des enregistrements de la base de données et de l’indice Elasticsearch, aucune donnée manquante et discrepante n’a été trouvée, ce qui confirme la fiabilité du pipeline CogStack dans l’ingestion et la synchronisation des données.
Validation des résultats du risque
Pour valider la mise en œuvre du détecteur de risque de psychose dans ce protocole, nous avons comparé les patients à risque détectés par CogStack (appelé « version CogStack ») avec ceux détectés par la calculatrice de risque originale basée sur CRIS (appelée « version CRIS »). Puisqu’il n’y avait aucun seuil développé pour dépister un patient à risque6,14,21, nous avons ici employé un seuil provisoire de 5% pour le risque de psychose en deux ans. Notez que ce seuil provisoire consiste simplement à vérifier si le système peut fonctionner de façon pragmatique dans le NHS et qu’il est susceptible de changer avec les recherches futures. Le seuil réel pour une détection optimale des personnes à risque devra être identifié dans les futures études à grande échelle. Plus précisément, nous avons d’abord récupéré tous les patients qui avaient un risque de psychose au-dessus du seuil dans la version CRIS (le nombre de patients N-169). Tous ces patients ont reçu un premier diagnostic d’indice de troubles mentaux non organiques et non psychotiques dans SLaM du 14 mai 2018 au 29 avril 2019. En filtrant les patients qui ont été diagnostiqués dans la même période, nous avons ensuite récupéré des patients N -170 dont le risque de psychose en 2 ans était supérieur à 0,05 dans la version CogStack. Enfin, nous avons comparé la différence entre les deux ensembles de patients, où le nombre total de patients uniques dans les deux ensembles sont N -173. Nous avons constaté que 161 patients (représentant 93% de 173 patients) avaient les mêmes scores dans les deux versions. Le degré élevé d’entente confirme la validité de ce protocole basé sur CogStack pour générer des cotes de risque.
Il y avait 12 patients ayant des scores de risque différents dans les deux versions. En inspectant les DSE des patients, nous avons constaté que cette différence était parce que les données pour ces patients ont été mises à jour après que les scores de risque aient été calculés dans la version CRIS. Plus précisément, bien que les prédicteurs utilisés dans la calculatrice de risque, comme la date de naissance, le sexe et l’origine ethnique auto-assignée, étaient des variables statiques, les dossiers de santé de certains patients avaient une valeur manquante ou par défaut pour une variable (p. ex., une ethnie inconnue) à un stade plus précoce et ces variables ont été saisies ou mises à jour à un stade ultérieur. Cela peut conduire à des scores de risque différents à deux étapes différentes. De même, les premiers diagnostics d’index primaire de quelques patients ont été invalidés après qu’un score initial de risque ait été calculé basé sur ces diagnostics. Dans ce cas, la calculatrice de risque cherchera le prochain diagnostic primaire valide pour un tel patient et re-calculera un score de risque. Le score de risque mis à jour peut également différer de celui de la première. Comme la calculatrice de risque originale a été élaborée à partir de données rétrospectives dans CRIS pour l’utilisation de la recherche, les pipelines de calculatrice d’origine n’ont pas synchronisé ces mises à jour dans les données du DSE et n’ont pas actualisé les scores de risque en temps opportun. En revanche, le score de risque d’un patient sera recalculé dans la version CogStack si des données sources du patient sont mises à jour, ce qui permet à cette calculatrice basée à CogStack de fournir les scores de risque les plus fiables et les plus à jour pour les patients. Ces résultats mettent fortement en évidence la fiabilité des scores de risque dans ce protocole.
Visualisation des résultats et alerte au risque
Pour démontrer les capacités de CogStack dans la visualisation des données, nous avons établi un tableau de bord pour obtenir des informations sur les patients à risque de psychose. Comme nous l’avons utilisé auparavant pour les tests de faisabilité, nous avons sélectionné ceux qui ont un risque de psychose en deux ans plus de 5% comme patients à risque. La figure 2 montre les visualisations des caractéristiques pour les patients à risque de psychose, y compris les ethnies, les sexes, les âges et les catégories de diagnostics des patients. Outre la visualisation des résultats de risque via des interfaces Web (p. ex., Kibana), ce protocole permet d’envoyer des alertes de risque aux utilisateurs ou aux cliniciens par d’autres canaux de notification tels que Email. La figure 3 montre l’interface pour définir un service d’alerte aux risques en utilisant le composant Watch à Kibana. Une fois ce service configuré avec succès, les utilisateurs peuvent recevoir une notification par e-mail s’il y avait un ou plusieurs patients dont le risque de psychose en deux ans est supérieur à 5%. La figure 4 montre un exemple de ces notifications par courriel, qui signalent le nombre de patients à risque et les arrondissements de ces patients. Étant donné que d’autres travaux sont nécessaires pour adapter la façon dont les scores de risque de psychose prévus sont communiqués, nous n’avons pas envoyé de notifications de risque directement aux cliniciens. Pour tester la faisabilité technologique, toutes les notifications de cette étude ont été envoyées d’un chercheur technique (T.W.) à un chercheur clinique (D.O.) via le système de messagerie du SLaM au sein d’un réseau sécurisé. Seule une statistique agrégée de l’information sur les patients a été incluse dans une notification; aucune information personnellement identifiable n’a été incluse.
Figure 1 : Données de source ingérées dans CogStack. Il y a 202 289 enregistrements au total ingérés dans l’indice «psychosis_base» Elasticsearch jusqu’au 13 juillet 2019, et l’histogramme montre le nombre d’enregistrements ingérés au fil du temps, commandés par le dernier temps de données de mise à jour d’un record. On peut également interroger les informations structurées et non structurées, et obtenir des hits de recherche qui correspondent à la requête dans cette page. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.
Figure 2 : Tableau de bord des caractéristiques des patients à risque de psychose (c.-à-d. le risque de psychose en deux ans supérieur à 0,05). aa) Répartition des ethnies pour les patients à risque, où les tartes extérieures sont les sous-catégories d’ethnie dans les tartes intérieures. b) distribution du sexe des patients,c) répartition de l’âge des patients au diagnostic etd) du nombre de patients par groupe de diagnostic. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.
Figure 3 : Réglage et simulation De montre pour l’alerte au risque. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.
Figure 4 : Un exemple de risque d’alerte par courriel. Le nombre de patients à risque de psychose dans chaque groupe de mise en service clinique (GCC) est rapporté entre parenthèses. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.
Discussion
Nous avons démontré la première mise en œuvre par DSE d’un système de détection et d’alerte des risques de psychose en temps réel basé sur CogStack, une plate-forme de récupération et d’extraction d’informations open source. En suivant cette approche, on peut transformer et ingérer un grand ensemble de données cliniques dans divers formats, y compris des informations structurées et non structurées, en une instance CogStack, afin de permettre la recherche en texte intégral, les analyses interactives et la visualisation des données, ainsi que l’alerte en temps réel aux cliniciens des patients qui sont à risque de psychose. Bien que la calculatrice de risque de psychose originale ait été validée dans des études pilotes dans plusieurs fiducies du NHS, bien qu’en utilisant des dossiers rétrospectifs pour les patients6,,14,21, cette conception expérimentale fournit la première base de preuves que cette calculatrice de risque peut être reproduite et déployée pour une utilisation en temps réel. Cette approche permet la livraison automatique de résultats pronostiques aux cliniciens par le biais de canaux de notification clinique existants, tels que l’email, en temps réel. Cela démontre clairement la faisabilité technique de la réalisation d’un essai d’efficacité à grande échelle pour évaluer l’utilité clinique ultime de cette calculatrice de risque dans le monde réel.
Ce protocole est empiriquement innovant, car il n’existe pas de système similaire de détection et d’alerte des risques pour la psychose. En outre, ce protocole a une grande généralisation dans l’utilisation clinique, en particulier en raison des forces uniques de notre approche. D’un point de vue théorique, nous avons utilisé un modèle de prévision des risques qui a été élaboré sur la base d’une importante cohorte rétroactive désidentitaire du SLaM NHS Trust. SLaM fournit des soins de santé mentale secondaires à une population de 1,36 million de personnes dans le sud de Londres et a l’un des taux les plus élevés enregistrés de psychose dans le monde. Cette grande cohorte, qui a une grande diversité dans les caractéristiques sociodémographiques et diagnostiques, nous permet de développer un modèle de prédiction des risques qui est peu susceptible d’être biaisé vers une population avec des caractéristiques spécifiques. Ceci est étayé par la preuve que l’exactitude pronostique de cette calculatrice de risque a déjà été reproduite deux fois dans deux bases de données différentes14,21, dont une en dehors de SLaM. Une autre force théorique de ce modèle de risque est que l’information de diagnostic démographique et clinique de base a été employée comme prédicteur. Ces informations sont omniprésentes dans les données cliniques électroniques et en fait les données manquantes pour ces prédicteurs se sont avérées relativement rares dans nos études précédentes14,21. La grande disponibilité de l’information pour les prédicteurs de construction permet de faire fonctionner la calculatrice de risque sur un grand nombre d’échantillons de patients dans différents secteurs secondaires de soins de santé mentale. En outre, la calculatrice de risque est un algorithme général qui convient à toutes les personnes à risque de développer une psychose dans les soins de santé mentale secondaires, quel que soit l’âge des individus. Autrement dit, cette calculatrice est non seulement adapté à la tranche d’âge 15-35 de pic de risque de psychose16, mais aussi pour ceux qui sont en dehors de cette gamme, montrant un degré élevé de généralisation.
D’un point de vue pratique, la calculatrice de risque et la plate-forme CogStack sont des services légers et open-source qui n’impliquent pas de techniques lourdes en ressources ou d’infrastructures coûteuses. Une telle plate-forme peu coûteuse et facile à déployer peut réduire les obstacles à son adoption dans des contextes cliniques réels. En outre, notre solution surmonte le principal obstacle à la mise en œuvre : les systèmes d’estimation des risques offrent peu de valeur à moins qu’ils ne soient utilisés par les cliniciens dans la pratique quotidienne25. Plus précisément, notre approche accède aux données du DSE, effectue des analyses indépendantes d’un système électronique de dossier médical et peut renvoyer les résultats d’analyse aux cliniciens par l’intermédiaire des canaux de notification existants. Cette méthode n’exige pas que la logique commerciale des systèmes préexistants soit modifiée et puisse fonctionner comme un service autonome pour soutenir et étendre les systèmes de soutien aux décisions cliniques existants. Ainsi, le protocole a une compatibilité élevée avec les systèmes cliniques préexistants et peut être facilement intégré dans la pratique clinique de routine. En outre, le protocole fournit des interfaces conviviales pour la recherche, l’analyse et la visualisation de données cliniques, ce qui permet aux cliniciens d’interpréter et d’explorer facilement les résultats du risque.
Ce protocole a également ses limites. Premièrement, l’efficacité de ce protocole n’a pas été évaluée dans la pratique clinique courante. Cette étude s’est concentrée sur les tests de faisabilité technique de la mise en œuvre d’un système de détection et d’alerte des risques de psychose en temps réel dans un DSE local. Pour évaluer davantage l’efficacité de ce système dans la pratique clinique de routine, de futurs essais contrôlés randomisés à grande échelle sont nécessaires6. Une deuxième limitation est que les prédictions des scores de risque dans ce protocole ont été faites sur la base des premiers diagnostics primaires, qui sont des données statiques recueillies à un seul instantané. Cependant, les symptômes du CHR-P évoluent intrinsèquement au fil du temps. Une version dynamique de calculatrice de risque de psychose, dans laquelle les modèles de prédiction peuvent être mis à jour dynamiquement pour refléter les changements, a été développé récemment26. Les travaux futurs seront axés sur l’intégration de cette calculatrice dynamique dans le protocole actuel.
L’étape la plus critique de cette approche a été l’identification des données de DSE qui ont été utilisées pour les prédicteurs d’extraits dans la calculatrice de risque. Il peut s’agir également de créer des cartographies des éléments de données, lorsqu’un système de DSE a utilisé un modèle de données différent de celui utilisé dans ce protocole, comme des systèmes de codage distincts pour les groupes ethniques des patients. Nous avons ouvert toutes les définitions de code et de cartographie en ligne(https://github.com/cogstack-slam/psychosis). Sur la base de ces matériaux, on serait en mesure de reproduire le déploiement ou d’ajuster la calculatrice en fonction de sa propre circonstance. Une autre étape critique a été la création d’une vue de base de données pour l’ingestion de données dans CogStack. Étant donné que les opérations de jointure relationnelle (c.-à-d. la combinaison de colonnes à partir d’une ou plusieurs tables de base de données) dans Elasticsearch peuvent entraîner des coûts de calcul élevés, nous avons effectué ces opérations de jointure dans la base de données du DSE en créant une vue de base de données. Ce point de vue combine toutes les informations nécessaires pour extraire les prédicteurs dans la calculatrice de risque, et deux champs vitaux qui ont été utilisés par les pipelines CogStack pour le partage des données dans l’ingestion de données. Le premier champ est une clé primaire unique pour chaque enregistrement dans la vue ("patient_id" utilisé ce protocole) et le second est un timestamp quand un enregistrement a été modifié plus récemment. Si ces deux champs n’étaient pas définis correctement, CogStack pourrait ne pas synchroniser les mises à jour des données dans une base de données de DSE en temps opportun. Des instructions détaillées pour les problèmes de dépannage sur l’ingestion de données CogStack sont disponibles sur https://cogstack.atlassian.net/wiki/spaces/COGDOC/overview et https://github.com/CogStack/CogStack-Pipeline.
Ce protocole est très transportable et peut être facilement déployé dans NHS Trusts qui ont une plate-forme CRIS ou CogStack. Jusqu’à présent, la plate-forme CRIS - y compris les procédures consentantes - a été entièrement décrite ailleurs et est en cours d’expansion à travers 12 NHS Trusts au Royaume-Uni, exploitant plus de 2 millions de dossiers de patients identifiés (https://crisnetwork.co/). De même, la plate-forme CogStack a été déployée non seulement dans SLaM, mais aussi d’autres NHS Trusts à travers le Royaume-Uni tels que University College London Hospitals (UCLH), King’s College Hospital (KCH), Guy’s et St Thomas' (GSTT), et Mersey Care NHS Trusts. Ces fiducies sans plate-forme peuvent utiliser une version en ligne de calculatrice de risque (http://psychosis-risk.net), ou construire ce protocole à partir de zéro basé sur ce manuscrit et nos documents en ligne. Bien que ce protocole soit développé pour la détection des risques de psychose, la conception architecturale de ce protocole n’est pas liée à ce cas d’utilisation spécifique. Le protocole est suffisamment souple pour permettre la reconfiguration et la réutilisation des composantes de surveillance et d’alerte en temps réel pour d’autres domaines de mesure des risques, tels que les réactions indésirables aux médicaments, permettant ainsi aux cliniciens de prendre des mesures en temps opportun pour améliorer les soins, la sécurité et l’expérience des patients.
Disclosures
Les auteurs n’ont rien à divulguer.
Acknowledgments
Cette étude est financée par et est une production directe du King’s College London Confidence in Concept award du Conseil de recherches médicales (MRC) (MC_PC_16048) à PFP. RD et AR ont été soutenus par : a) la Maudsley Charity; b) le National Institute for Health Research (NIHR) Biomedical Research Centre at South London and Maudsley NHS Foundation Trust et King’s College London; c Health Data Research UK, qui est financé par le Conseil britannique de recherche médicale, Engineering and Physical Sciences Research Council, Economic and Social Research Council, Department of Health and Social Care (England), Chief Scientist Office of the Scottish Government Health and Social Care Directorates, Health and Social Care Research and Development Division (Welsh Government), Public Health Agency (Northern Ireland), British Heart Foundation et Wellcome Trust; d Le Consortium BigData@Heart, financé par l’Initiative pour les médicaments novateurs-2 Engagement conjoint en vertu de l’accord de subvention no 116074. Cette entreprise conjointe bénéficie du soutien du programme de recherche et d’innovation Horizon 2020 de l’Union européenne et de l’EFPIA; il est présidé, par DE Grobbee et SD Anker, en partenariat avec 20 partenaires universitaires et industriels et ESC; e) The National Institute for Health Research University College London Hospitals Biomedical Research Centre. Ces organismes de financement n’ont joué aucun rôle dans la conception de l’étude, de la collecte et des analyses. Les opinions exprimées sont celles de l’auteur et pas nécessairement celles du NHS, du NIHR ou du ministère de la Santé.
Materials
| Name | Company | Catalog Number | Comments |
| CogStack-Pipeline | King's College London | Open source software | |
| Elasticsearch | Elastic NV | Open Source Search & Analytics | |
| Kibana | Elastic NV | Open source data visualization plugin for Elasticsearch | |
| Python packages ("elasticsearch", "elasticsearch_dsl", "pandas" and "numpy") | Open source community | Open source packages |
References
- Lieberman, J. A., First, M. B. Psychotic Disorders. New England Journal of Medicine. 379 (3), 270-280 (2018).
- Oh, H., Koyanagi, A., Kelleher, I., DeVylder, J. Psychotic experiences and disability: findings from the collaborative psychiatric epidemiology surveys. Schizophrenia Research. 193, 343-347 (2018).
- Tsiachristas, A., Thomas, T., Leal, J., Lennox, B. R. Economic impact of early intervention in psychosis services: results from a longitudinal retrospective controlled study in England. BMJ Open. 6 (10), e012611 (2016).
- Fusar-Poli, P., McGorry, P. D., Kane, J. M. Improving outcomes of first-episode psychosis: an overview. World Psychiatry. 16 (3), 251-265 (2017).
- Fusar-Poli, P. The clinical high-risk state for psychosis (CHR-P), version II. Schizophrenia Bulletin. 43 (1), 44-47 (2017).
- Fusar-Poli, P., et al. Real-world Implementation of a Transdiagnostic Risk Calculator for the Automatic Detection of Individuals at-risk of Psychosis in Clinical Routine: Study Protocol. Frontiers in Psychiatry. 10, 109 (2019).
- Fusar-Poli, P., et al. Disorder, not just state of risk: meta-analysis of functioning and quality of life in people at high risk of psychosis. British Journal of Psychiatry. 207 (3), 198-206 (2015).
- Fusar-Poli, P., et al. Heterogeneity of psychosis risk within individuals at clinical high risk: a meta-analytical stratification. JAMA Psychiatry. 73 (2), 113-120 (2016).
- Fusar-Poli, P., et al. Diagnostic and prognostic significance of brief limited intermittent psychotic symptoms (BLIPS) in individuals at ultra high risk. Schizophrenia Bulletin. 43 (1), 48-56 (2016).
- Fusar-Poli, P., et al. Prognosis of brief psychotic episodes: a meta-analysis. JAMA Psychiatry. 73 (3), 211-220 (2016).
- Fusar-Poli, P., Sullivan, S., Shah, J., Uhlhaas, P. Improving the detection of individuals at clinical risk for psychosis in the community, primary and secondary care: an integrated evidence-based approach. Frontiers in Psychiatry. 10, 774 (2019).
- Fusar-Poli, P. Extending the benefits of indicated prevention to improve outcomes of first-episode psychosis. JAMA Psychiatry. 74 (7), 667-668 (2017).
- Fusar-Poli, P., et al. Transdiagnostic psychiatry: a systematic review. World Psychiatry. 18 (2), 192-207 (2019).
- Fusar-Poli, P., et al. Development and validation of a clinically based risk calculator for the transdiagnostic prediction of psychosis. JAMA Psychiatry. , (2017).
- Fusar-Poli, P., Hijazi, Z., Stahl, D., Steyerberg, E. W. The science of prognosis in psychiatry: a review. JAMA Psychiatry. 75 (12), 1289-1297 (2018).
- Radua, J., et al. What causes psychosis? An umbrella review of risk and protective factors. World Psychiatry. , (2018).
- Fusar-Poli, P., et al. Deconstructing vulnerability for psychosis: Meta-analysis of environmental risk factors for psychosis in subjects at ultra high-risk. European Psychiatry. 40, 65-75 (2017).
- Fusar-Poli, P., et al. Clinical-learning versus machine-learning for transdiagnostic prediction of psychosis onset in individuals at-risk. Translational Psychiatry. 9 (1), 1-11 (2019).
- Stewart, R., et al. The South London and Maudsley NHS foundation trust biomedical research centre (SLAM BRC) case register: development and descriptive data. BMC Psychiatry. 9 (1), 51 (2009).
- Jongsma, H. E., et al. Treated incidence of psychotic disorders in the multinational EU-GEI study. JAMA Psychiatry. 75 (1), 36-46 (2018).
- Fusar-Poli, P., et al. Transdiagnostic risk calculator for the automatic detection of individuals at-risk and the prediction of psychosis: Second replication in an independent national health service trust. Schizophrenia Bulletin. , (2019).
- Fusar-Poli, P., et al. Transdiagnostic individualized clinically based risk calculator for the detection of individuals at-risk and the prediction of psychosis: Model refinement including nonlinear effects of age. Frontiers in Psychiatry. 10, 313 (2019).
- Colditz, G. A., Wei, E. K. Risk prediction models: applications in cancer prevention. Current Epidemiology Reports. 2 (4), 245-250 (2015).
- Jackson, R., et al. CogStack - Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC Medical Informatics and Decision Making. 18 (47), (2017).
- McGorrian, C., Leong, T., D'Agostino, R., Graham, I. Risk estimation systems in clinical use: SCORE, Heart Score and the Framingham system. Hyperlipidaemia (Oxford Cardiology Library). , Oxford University Press. (2012).
- Studerus, E., Beck, K., Fusar-Poli, P., Riecher-Rössler, A. Development and Validation of a Dynamic Risk Prediction Model to Forecast Psychosis Onset in Patients at Clinical High Risk. Schizophrenia Bulletin. , (2019).
- Damschroder, L. J., et al. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implementation Science. 4, 50 (2009).
- Fusar-Poli, P., et al. Outreach and support in south London (OASIS), 2001-2011: ten years of early diagnosis and treatment for young individuals at high clinical risk for psychosis. European Psychiatry. 28 (5), 315-326 (2013).
