$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Diese Studie wurde gemäß der Erklärung von Helsinki durchgeführt und vom Ethikausschuss des Sir Run Run Shaw Krankenhauses, Zhejiang University School of Medicine, genehmigt (Genehmigungsnummer: 0480, genehmigt am 10. August 2025). Alle Teilnehmer gaben vor der Teilnahme eine schriftliche informierte Einwilligung ab.
Studiendesign und Setting
Eine prospektive Beobachtungsstudie mit clusterbasierter Fachbereichszuweisung wurde von Januar 2024 bis Februar 2025 im Sir Run Shaw Hospital, Zhejiang University School of Medicine, Hangzhou, China, durchgeführt. Die abteilungsbasierte Allokationsstrategie führt quasi-experimentelle Elemente in dieses Design ein; Dementsprechend sollten kausale Schlussfolgerungen mit entsprechender Vorsicht interpretiert werden.16. Die Studie verwendete einen parallelen Gruppenvergleich mit der Zuteilung basierend auf abteilungsbezogener Zuweisung, um den austauschbaren Informationsaustausch über Gruppen hinweg zu verhindern. Eine geschichtete Einschreibung wurde eingeführt, um vergleichbare Basismerkmale sicherzustellen. Das Krankenhaus unterhielt ein eigenes Simulationslabor mit standardisierten Operationssaalumgebungen, chirurgischen Instrumenten, Überwachungsgeräten und Videoaufzeichnungsmöglichkeiten.
Stichprobenauswahl und Teilnehmer
Gesundheitsfachkräfte wurden durch geschichtete, zufällige Stichprobe aus allen berechtigten perioperativen Mitarbeitern (n = 342) im Sir Run Run Shaw Hospital zwischen November 2023 und Januar 2024 rekrutiert. Zu den Schichtungsvariablen gehörten die berufliche Rolle (Krankenschwestern, chirurgische Technologen und Anästhesietechniker), Erfahrungsstand (<5, 5–10, 10–15 und >15 Jahre), Bildungsniveau (Associate-, Bachelor- und Masterabschlüsse) sowie klinische Abteilung (Allgemeinchirurgie, Orthopädie, Herz-Kreislauf-Chirurgie und andere Fachrichtungen). Computergenerierte Zufallszahlen (R-Software, set.seed = 12345 für Reproduzierbarkeit) wurden innerhalb jeder Schicht mit der Stichprobenfunktion angewendet, um repräsentative Stichproben in allen demografischen und beruflichen Kategorien sicherzustellen. Die Stichprobengröße wurde mit G*Power 3.1.9.7 Software berechnet, basierend auf vorläufigen Pilotdaten (n = 30), mit einer erwarteten Effektgröße von Cohens d = 0,60, dem zweiseitigen Signifikanzniveau α = 0,05 und der gewünschten statistischen Stärke (1 − β) = 0,80, was eine Mindestanforderung von 90 Teilnehmern (45 pro Gruppe) anzeigt. Um die erwartete Abbruchquote (Fluktuation) von 15 % basierend auf institutionellen historischen Daten zu berücksichtigen, wurde das Ziel der Einschreibung auf 104 Teilnehmer gesetzt. Die tatsächliche Teilnehmerzahl erreichte 120 Teilnehmer, was 87 % Kraft nach Berücksichtigung der letzten 11 % Fluktuation ermöglichte.
Erforderliche Einschlusskriterien
(1) aktuelle Beschäftigung im Sir Run Shaw Hospital in perioperativen Funktionen; (2) mindestens 6 Monate Operationserfahrung; (3) Verfügbarkeit während der gesamten 13-monatigen Studiendauer; (4) Bereitschaft, an allen Bewertungsaktivitäten teilzunehmen; und (5) grundlegende Computerkompetenz, definiert als die Fähigkeit, Webbrowser zu navigieren und Tastatur-/Mauseingaben unabhängig zu nutzen.
Eingeschlossene Ausschlusskriterien
Geplanter längerer Urlaub während des Studienzeitraums, Teilnahme an anderen Ausbildungsprogrammen für chirurgische Instrumente in den letzten 6 Monaten, Sehbeeinträchtigung, die nicht auf 20/40 oder besser korrigierbar ist, sowie aktuelle Einschreibung in formale Studiengänge für chirurgische Technologie. Insgesamt wurden zunächst 120 Teilnehmer rekrutiert, von denen 107 das vollständige Studienprotokoll abschlossen (89,2 % Abschlussquote). Die Gründe für den Rücktritt waren Jobwechsel (n = 7), persönliche Umstände (n = 4) und technologiebedingte Schwierigkeiten (n = 2). Die Abwanderungsanalyse mittels logistischer Regression zeigte keinen signifikanten Zusammenhang zwischen Rücktritt und Ausgangsmerkmalen wie Alter (OR = 1,03, p = 0,52), Geschlecht (OR = 0,87, p = 0,85), berufliche Rolle (p = 0,73) oder Basis-PIPS-Scores (OR = 1,01, p = 0,67), was auf ein zufällig fehlendes Muster hinweist, das durch Littles MCAR-Test bestätigt wurde (χ2 = 43,2, df = 38, p = 0,26).
Gruppenzuweisung
Um die Kontaminationseffekte bei Bildungsinterventionen zu minimieren, wurden die Teilnehmer je nach Abteilungszugehörigkeit Interventions- oder Kontrollgruppen zugeteilt. Die Abteilungen (n = 8) wurden basierend auf dem Operationsfallvolumen und der Personalgröße paarweise zugeteilt und dann zufällig APLS- oder Kontrollerkrankungen mittels computergenerierter Zufallszustimmung zugeordnet (R-Software, Seed = 54321). Dieser clusterbasierte Ansatz wurde gewählt, weil individuelle Randomisierung innerhalb der Abteilungen das Risiko einer erheblichen Kreuzkontamination mit sich bringen würde, wenn Kollegen Wissen und Schulungserfahrungen austauschen. Es wird anerkannt, dass Abteilungskultur, Führungsqualität, Basisbildungspraktiken und Fallzusammensetzung unabhängig voneinander die Ergebnisse beeinflussen können und potenzielle Quellen von Reststörungen darstellen, die in einem nicht-individualisierten randomisierten Design nicht vollständig adressiert werden können16. Stratifizierte Stichproben stellten vergleichbare Ausgangswerte sicher. Ergebnisbewerter, die PIPS-Bewertungen durchführten, waren durch codierte Teilnehmeridentifikatoren für Gruppenzuweisungen blind. Statistische Analysten erhielten deidentifizierte Datensätze mit maskierten Gruppenlabels, bis die Primäranalysen abgeschlossen waren.
APLS-Systemarchitektur und technische Implementierung
Das APLS besteht aus vier integrierten Rechenkomponenten, die auf einer cloudbasierten Plattform (Materialtabelle) arbeiten. Das System wurde mit Open-Source-Deep-Learning-Frameworks und einem webbasierten Frontend (siehe Table of Materials) mit RESTful API-Protokollen entwickelt (Representational State Transfer Application Programming Interface, das standardisierte HTTP-basierte Kommunikation zwischen dem Frontend-Client und serverseitigen Machine-Learning-Modulen ermöglicht), JSON Web Token (JWT)-basierte Authentifizierung (wobei sichergestellt wird, dass nur autorisierte Benutzer und Systemkomponenten auf Lerndaten und Modellendpunkte zugreifen können). und TLS 1.3 Transportschicht-Verschlüsselung (Sicherung aller Daten im Transit zwischen Client-Geräten, dem Anwendungsserver und der cloudbasierten modellbasierten Infrastruktur) zur Datensicherheit. Eine vollständige Beschreibung der Softwareumgebung, einschließlich Abhängigkeitsspezifikationen (requirements.txt), Konfigurationsdateistruktur und Befehlen für die Initialisierung der Datenpipeline, ist in Supplementary File 1 bereitgestellt.
Hardware-Aufbau und Kalibrierung
Vor jeder Trainingssitzung wurde die folgende Hardware-Kalibrierungssequenz durchgeführt. Ein Augenverfolgungsgerät (siehe Materialtabelle) wurde 60–70 cm von den Augen des Teilnehmers auf einer höhenverstellbaren Montierung positioniert, und die Kalibrierung erfolgte nach dem Standard-9-Punkte-Protokoll des Herstellers mit einer Genauigkeit von ≤0,5° Sehwinkel. Ein Achtkamera-Array (siehe Materialtabelle) war in einer kreisförmigen Anordnung mit einem Radius von 2,5 m vom Trainingsstationzentrum angeordnet, in Höhen zwischen 1,8 m und 2,4 m positioniert und mit dem Hersteller-Zauberstab-Verfahren mit einer Restfehlerschwelle von ≤0,3 mm kalibriert. Reflektierende Markierungen (n = 16, Durchmesser = 12,7 mm) wurden gemäß dem in Supplementary File 2 beschriebenen Marker-Protokoll an standardisierten anatomischen Orientierungspunkten an Händen und Handgelenken angebracht. Physiologische Überwachungsgeräte wurden gemäß den Anweisungen des Herstellers angebracht und vor Beginn der Sitzung auf die Signalqualität überprüft.
Komponente 1: Phänotyp-Klassifikationssystem für Lernende
Das Klassifikationssystem verwendet einen zweistufigen hybriden Ansatz, der unbeaufsichtigtes und überwachtes Lernen kombiniert. In Stufe 1 wird k-means-Clustering auf Basisbewertungsdaten verwendet, um natürliche Lerngruppenbildungen zu erkennen. Zu den Eingabemerkmalen (n = 37) gehören Basis-PIPS-Domänenwerte (4 Features), VARK-Lernstil-Inventarwerte (4 Features), kognitive Verarbeitungsgeschwindigkeit aus computergesteuerten Reaktionszeitaufgaben (3 Features), Technology Comfort Scores (1 Feature), demografische Variablen (3 Features), Arbeitsgedächtniskapazität aus Zifferenspan-Tests (2 Features), räumliches Denken aus mentalen Rotationsaufgaben (1 Feature), Feinmotorik-Baseline-Werte (3 Features), Big-Five-Persönlichkeitsmerkmale (5 Merkmale) und frühere Leistungskennzahlen aus institutionellen Unterlagen (3 Merkmale). Detaillierte Vorverarbeitungsspezifikationen, Hyperparameter-Optimierungsverfahren und Ranglisten der Merkmalswichtigkeit sind in Supplementary File 1 (Abschnitt S2) bereitgestellt. Die drei daraus resultierenden Cluster wurden als schnell (30,9 %), durchschnittlich (49,1 %) und langsame Lerner (20,0 %) charakterisiert. In Stufe 2 wird die überwachte Klassifikation mit Support-Vektormaschinen durchgeführt, die auf Cluster-Labels trainiert sind, um eine Echtzeitklassifizierung neuer Lernender zu ermöglichen. Der vollständige Hyperparameter-Suchraum, die Kreuzvalidierungsergebnisse und die Klassifikationsmetriken pro Klasse werden in Supplementary File 1 (Abschnitt S2.3) angegeben.
Komponente 2: Multimodale Datenintegration und Sensorfusionssystem
Die Plattform integriert fünf heterogene Datenströme: Eye-Tracking-Daten, Motion-Capture-Daten, physiologische Überwachung (Herzfrequenzvariabilität, galvanische Hautreaktion und Speichelcortisol), Leistungsanalysen mittels automatisierter Videoanalyse und Interaktionsprotokolle. Detaillierte Sensorspezifikationen, Vorverarbeitungspipelines, Feature-Extraktionsverfahren und die konvolutionelle neuronale Netzwerkarchitektur zur Schätzung des kognitiven Zustands sind in Supplementary File 1 (Abschnitt S3) beschrieben. Das Fusionssystem erzeugt kognitive Zustandsrepräsentationen, die alle 1 aktualisiert werden und integrierte Aufmerksamkeit, motorische Ausführung, kognitive Belastung und Aufgabenleistung kodieren.
Komponente 3: Prädiktive Analyse-Engine
Das Ensemble-Vorhersagesystem kombiniert drei komplementäre Algorithmen: Random Forest, Gradient Boosting Machine (XGBoost) und ein tiefes neuronales Netzwerk mit Long Short-Term Memory (LSTM)-Schichten, die kognitive Zustandseinbettungen als Zeitreihen verarbeiten. Die Ensemble-Aggregation verwendet gewichtete weiche Abstimmung mit Gewichtungen, die mit Validierungsdaten optimiert sind. Die vollständigen algorithmischen Spezifikationen, Hyperparameterwerte, Trainingsverfahren und Konvergenzdiagnostiken sind in Supplementary File 1 (Abschnitt S4) bereitgestellt. Trainings-, Validierungs-, Bereitstellungs- und Evaluierungsdatensätze waren strikt getrennt; Die Modellentwicklung nutzte ausschließlich Daten aus einer früheren Pilotstudie mit 150 Teilnehmern (80 % Ausbildung, 20 % Validierung), und die aktuellen Studienteilnehmer stellten einen vollständig zurückgehaltenen Deployment-Datensatz dar. Das rollierende Nachtraining während des Einsatzes verwendete nur die vorherigen 7-Tage-Interaktionsdaten und beinhaltete keine Ergebnisbewertungsdaten, wodurch ein Auslaufen aus Evaluationsergebnissen in Vorhersagemodelle verhindert wurde.
Komponente 4: Adaptives Rückkopplungssystem auf Basis von Verstärkungslernen
Das adaptive Rückkopplungssystem verwendet Q-Lernen und formuliert die Rückmeldungsauswahl als Markov-Entscheidungsprozess. Der Zustandsraum (25-dimensional) kodiert den aktuellen kognitiven Zustand, den zeitlichen Kontext, die Aufgabenparameter und die Eigenschaften des Lernenden. Der Aktionsraum besteht aus 25 diskreten Aktionen, die Kombinationen von Rückkopplungsmodalität, Timing und Spezifität repräsentieren. Die Belohnungsfunktion umfasst Leistungsverbesserung, Vermeidung kognitiver Überlastung, Engagement-Erhaltung und Korrekturlatenz. Die mathematische Formulierung des Zustandsraums, des Aktionsraums, der Belohnungsfunktion, der Q-Learning-Aktualisierungsparameter und der Konvergenzkriterien ist in Supplementary File 1 (Abschnitt S5) detailliert beschrieben.
Ablauf der Schulungssitzungen
Jede APLS-Schulung verläuft gemäß folgender standardisierter Abfolge. (1) Der Teilnehmer meldet sich mit zugewiesenen Zugangsdaten an der vorgesehenen Trainingsstation bei der APLS-Plattform an. (2) Die Hardware-Kalibrierung wurde überprüft (Eye-Tracker, Motion Capture und physiologische Sensoren) mit automatischen Qualitätsprüfungen, die die akzeptable Signalintegrität bestätigten. (3) Das System ruft die aktuelle Phänotypklassifikation des Lernenden und die vorhergesagte Kompetenztrajektorie des Teilnehmers ab, um Sitzungsparameter zu konfigurieren. (4) Ein anfängliches Aufwärmmodul (5 Min.) präsentiert eine Übersicht über Inhalte der vorherigen Sitzung, angepasst an das Lernplan des Teilnehmers. (5) Das Kerntrainingsmodul (40–50 Min.) präsentiert Instrumentenidentifikation, Handhabung und prozedurale Aufgaben auf Schwierigkeitsgraden, die durch den adaptiven Algorithmus bestimmt werden, mit Echtzeit-Multimodalfeedback, das gemäß einer Q-Learning-Richtlinie geliefert wird. (6) Eine Sitzungszusammenfassung und ein Leistungs-Dashboard werden angezeigt, die den Fortschritt im Verhältnis zum persönlichen Lernverlauf und den Kompetenz-Meilensteinen des Teilnehmers zeigen. (7) Der Teilnehmer füllt eine kurze Zufriedenheitsumfrage aus (2 Min.). (8) Sitzungsdaten werden automatisch auf den Cloud-Server hochgeladen, um das Modell zu aktualisieren.
Kontrollgruppenverfahren
Die Kontrollgruppe erhielt traditionelle Instrumentenschulungen im Operationssaal nach standardisierten institutionellen Protokollen. Die Ausbildung bestand aus einer anfänglichen 8-stündigen Unterrichtseinheit durch leitende Pflegekräfte im Operationssaal (OR), die Instrumentenkategorien, Nomenklatur, Handhabungsprinzipien und sterile Technik abdeckte; ein gedrucktes Ausbildungshandbuch (187 Seiten) mit Instrumentenfotos, Spezifikationen und Beschreibungen, geordnet nach chirurgischer Fachrichtung; zwei 4-Stunden-Praxisworkshops in Simulationslaboren mit physischen Instrumentensätzen unter der Aufsicht des Lehrers (Lehrer-zu-Lernen-Verhältnis 1:6); Zugang zum institutionellen Lernmanagementsystem, das digitale Schulungsmaterialien zur selbstgesteuerten Überprüfung enthält; und wurden vierteljährliche Auffrischungssitzungen (2 Stunden) angesetzt, in denen häufig verwirrte Instrumente überprüft werden. Die gesamte strukturierte Unterrichtszeit betrug 20 Stunden während des Lernzeitraums. Es wurden keine adaptiven Algorithmen, personalisierten Pfade oder KI-verbesserte Komponenten integriert.
Ergebnismaße
Das primäre Ergebnis war die Wissensretention, die 12 Monate nach dem Training mit der validierten Perioperative Instrument Proficiency Scale (PIPS) bewertet wurde. Der vollständige PIPS-Entwicklungsprozess, einschließlich der Item-Erstellung aus einer Literaturübersicht und Experten-Fokusgruppen, der dreirundigen modifizierten Delphi-Inhaltsvalidierung (Inhaltsvaliditätsindex = 0,94), explorativer und bestätigender Faktoranalyse sowie der vollständigen verhaltensbasierten Bewertungsrubrik, ist in Supplementary File 3 dokumentiert. Das Instrument zeigte starke psychometrische Eigenschaften (Cronbachs α = 0,92, Test-wieder-Test ICC = 0,91 im Zwei-Wochen-Intervall). Das PIPS besteht aus 24 Punkten in vier Bereichen: Instrumentenidentifikation (6 Elemente), Handhabungskompetenz (6 Items), Sicherheitsprotokolle (6 Items) und Teamkommunikation (6 Items). Jeder Punkt verwendet eine Fünf-Punkte-Likert-Skala (1 = Anfänger bis 5 = Experte) mit verhaltensverankerten Beschreibungen. Die Gesamtpunktzahl reicht von 24 bis 120, wobei höhere Werte auf größere Kompetenz hinweisen.
PIPS-Bewertungen wurden von ausgebildeten Evaluatoren (sechs chirurgische Pflegekräfte mit >10 Jahren OP-Erfahrung, die ein 8-Stunden-Standardtrainingsprogramm abgeschlossen hatten) zu Basis, unmittelbar nach der Intervention sowie nach 1, 3, 6 und 12 Monaten durchgeführt. Die Bewerter wurden durch codierte Teilnehmerkennungen für die Gruppenzuweisung blind und bewerteten Videoaufnahmen, die bearbeitet wurden, um sichtbare APLS-spezifische Schnittstellenelemente oder Rückmeldungsanzeigen zu entfernen. Die Evaluatoren wurden nicht darüber informiert, welche Ausbildungsmodalität die Teilnehmer erhalten hatten. Die Inter-Rater-Zuverlässigkeit wurde durch Dualcodierung von 20 % der Bewertungen (n = 128) erreicht, wobei in allen Bereichen ein ICC > 0,85 erreicht wurde (Gesamtscore ICC = 0,89, 95 % KI: 0,85–0,92).
Die sekundären Ergebnisse waren wie folgt: (1) praktische Kompetenz, bewertet durch die objektiv strukturierte Bewertung technischer Fähigkeiten (OSATS), angepasst für den Instrumentenhandhabung, bestehend aus sechs standardisierten Stationen (maximal 30 Punkte), durchgeführt von blinden Experten (ICC = 0,87) zu Beginn sowie nach 3, 6 und 12 Monaten. (2) Die Effizienz der Trainingszeit wurde als Gesamtanzahl der Stunden gemessen, um die Kompetenzschwelle zu erreichen (PIPS ≥ 75). (3) Die Kosteneffizienz wird als Kosten pro kompetenter Lernender berechnet, wobei direkte und indirekte Kosten einbezogen werden, wobei die Kosten auf den chinesischen Yuan 2024 unter Verwendung institutioneller Buchhaltungsdaten normalisiert werden. (4) Die Zufriedenheit der Lernenden wurde mit einem 5-Punkte-Likert-Fragebogen bewertet (27 Items, interne Konsistenz α = 0,91). (5) Explorative klinische Leistungskennzahlen aus institutionellen Sicherheitsberichterstattungssystemen: instrumentbezogene Vorfallberichte während des 12-monatigen Nachtrainingszeitraums, mit Raten pro 1.000 chirurgischen Fällen, angepasst an die Fallkomplexität. Die Ergebnisse von Sicherheitsvorfällen wurden als explorativ klassifiziert, da die Studie nicht in der Lage war, Unterschiede in diesen niederfrequenten Ereignissen zu erkennen.
Statistische Analysemethoden
Alle statistischen Analysen wurden mit R-Version 4.3.0 mit der RStudio-Schnittstelle und folgenden Paketen durchgeführt: lme4 für Mixed-Effects-Modelle, emmeans ("geschätzte marginale Mittelwerte"; ein R-Paket zur Berechnung modelladjustierter Gruppenmittelwerte und Durchführung von Tukey-, Bonferroni- oder Scheffé-Post-hoc-paarweisen Vergleiche aus angepassten Mixed-Effects-Modellen), psych für psychometrische Analysen, effsize (ein R-Paket zur Berechnung standardisierter Effektgrößen, einschließlich Cohens d und Hedges' g, mit Konfidenzintervallen) für Effektgrößenberechnungen und Mäuse für mehrfache Imputationen. Die Signifikanzschwelle wurde a priori bei α = 0,05 (zweiseitig) für alle Hypothesentests festgelegt.
Mehrere Vergleichskorrekturen wurden wie folgt angewendet. Für das primäre Ergebnis (PIPS-Gesamtpunktzahl über Zeitpunkte) wurde aus der Gruppen-×-Zeit-Interaktion innerhalb des linearen Mixed-Effects-Modells unter Verwendung der Kenward-Roger-Freiheitsgrade gezogen, die keine separate Korrektur für mehrere Zeitpunkte erfordern. Für die PIPS-Domänen-Subskalen (vier gleichzeitige Vergleiche) wurde die Bonferroni-Korrektur angewandt (angepasst α = 0,0125). Für die sekundären Endpunkte (vier Kennzahlen: OR-Effizienzwert, Sicherheitsvorfälle, TEAM-Kommunikationswert und Fehlerhäufigkeit) wurde das Benjamini-Hochberg-Verfahren zur falschen Entdeckungsrate angewendet (q = 0,05). Für KI-Systemleistungsmetriken (zehn interne Vergleiche) wurde die Bonferroni-Korrektur angewandt (angepasst α = 0,005). Alle gemeldeten p-Werte und Signifikanzbestimmungen beziehen sich explizit auf die anwendbare Korrektur.
Alle primären und sekundären Zwischengruppen-Ergebnisse wurden mit linearen Mixed-Effects-Modellen analysiert, mit festen Effekten für Gruppe, Zeit und deren Interaktion sowie zufälligen Intercepts für Teilnehmer und Abteilungen (um die intraklassische Korrelation durch clusterbasierte Zuteilung zu berücksichtigen). Der intraklassische Korrelationskoeffizient auf Fachbereichsebene wurde geschätzt, um den Grad der Clusterbildung zu quantifizieren. Fehlende Datenmuster wurden mit Littles MCAR-Test bewertet; Die Daten wurden als völlig zufällig fehlend festgestellt und durch mehrfache Imputation mittels prädiktiver Mittelwertübereinstimmung behandelt (m = 20 imputierte Datensätze, Ergebnisse gepoolt nach Rubins Regeln). Sensitivitätsanalysen mit vollständiger Fallanalyse, variierenden Imputationszahlen (m = 10, m = 50) und Worst-Case-/Best-Case-Szenarien bewerteten die Robustheit.