Spersonalizowane uczenie oparte na sztucznej inteligencji poprawia trening na sali operacyjnej: prospektywne badanie obserwacyjne

Summary

To prospektywne badanie obserwacyjne wykazało, że system spersonalizowanego nauczania oparty na sztucznej inteligencji znacząco poprawił długoterminową kompetencję w pracy na sali operacyjnej, zmniejszył liczbę incydentów związanych z bezpieczeństwem oraz zwiększył efektywność szkolenia w porównaniu z tradycyjnym nauczaniem.

Abstract

Tradycyjne szkolenie z zakresu instrumentów operacyjnych często opiera się na nauczaniu "jeden rozmiar dla wszystkich", powoduje słabą długoterminową pamięć umiejętności i przyczynia się do możliwych do uniknięcia błędów chirurgicznych. Niniejsze badanie zakładało, że system spersonalizowanego nauczania oparty na sztucznej inteligencji (AI) mógłby poprawić kompetencje techniczne, bezpieczeństwo pacjentów oraz efektywność szkoleniową poprzez dostosowanie praktyki do indywidualnych profili uczniów. Opracowano spersonalizowany system uczenia się (APLS) oparty na AI, który łączy fenotypowanie uczącego się oparte na danych, rozpoznawanie instrumentów oparte na uczeniu głębokim, przewidywanie trajektorii kompetencji zespołowe oraz uczenie ze wzmocnieniem, aby dostarczać adaptacyjne multimodalne sprzężenie zwrotne podczas treningu opartego na symulacji. W prospektywnym badaniu obserwacyjnym z klastrową alokacją działów (wprowadzając elementy quasi-eksperymentalne) w szpitalu wyższego rangi, 107 pracowników sali operacyjnej ukończyło program nauczania oparty na AI lub standardowe szkolenie prowadzone przez instruktorów. Głównym wynikiem było 12-miesięczne utrzymanie kompetencji w obsłudze instrumentów, mierzone skalą biegłości w zakresie instrumentów okołooperacyjnych (PIPS); Wyniki drugorzędne obejmowały incydenty bezpieczeństwa na sali operacyjnej, czas szkolenia oraz koszt na kompetentnego specjalistę. W porównaniu z tradycyjnym szkoleniem, system personalizowany wiązał się ze znacznie wyższymi wynikami kompetencji w ciągu 12 miesięcy (APLS 84,1 ± 9,2 vs. Control 58,9 ± 18,7, s. < 0,001), mniejszą liczbą zdarzeń związanych z bezpieczeństwem w praktyce klinicznej oraz niemal połową czasu szkolenia, jednocześnie obniżając całkowite koszty szkolenia o 38,3%. Zespół AI przewyższał także swoje indywidualne komponenty uczenia maszynowego przy przewidywaniu wyników uczniów i doborze strategii informacji zwrotnej. Wyniki te sugerują, że integracja nienadzorowanego odkrywania fenotypów, nadzorowanego przewidywania oraz uczenia ze wzmocnieniem w ramach zintegrowanej platformy może znacząco usprawnić trening instrumentów sali operacyjnej i zaoferować skalowalne ramy rozwoju kadry opartej na danych w opiece okołooperacyjnej.

Introduction

Środowisko sali operacyjnej stanowi jedno z najbardziej złożonych środowisk w opiece zdrowotnej, w których skuteczna współpraca interdyscyplinarna bezpośrednio wpływa na bezpieczeństwo pacjentów i jakość zabiegów^{chirurgicznych 1,2}. Niewystarczające szkolenie kompetencyjne w zakresie instrumentów przyczynia się do szacunkowo 15 000 możliwych do uniknięcia błędów chirurgicznych rocznie tylko w chińskich szpitalach, przy czym awarie komunikacji i niedociągnięcia techniczne stanowią 72% zdarzeń niepożądanych w otoczeniu operacyjnym³. Tradycyjne podejścia szkoleniowe opierają się na standaryzowanych metodologiach, które nie uwzględniają indywidualnych różnic w uczeniu się, różnic w przetwarzaniu poznawczym oraz spersonalizowanych trajektorii rozwoju kompetencji ^4,5.

Z teoretycznego punktu widzenia kilka ram edukacyjnych wyjaśnia, dlaczego spersonalizowane podejścia mogą być lepsze od standaryzowanej edukacji w złożonych dziedzinach psychomotorycznych. Teoria obciążenia poznawczego⁶ zakłada, że projektowanie nauczania musi uwzględniać ograniczoną pojemność pamięci roboczej, szczególnie gdy uczniowie muszą jednocześnie przetwarzać nowe informacje proceduralne, koncepcyjne i percepcyjne w środowiskach wysokiej wierności, takim jak sala operacyjna⁷. Dostosowując trudność treści i sposób prezentacji do indywidualnych profili poznawczych, systemy spersonalizowane mogą optymalizować równowagę między obciążeniem wewnętrznym a zewnętrznym obciążeniem poznawczym. Ramy celowej praktyki sugerują ponadto, że przybywanie umiejętności jest maksymalizowane, gdy szkolenie obejmuje indywidualne poziomy wyzwań, natychmiastową korektę oraz ukierunkowane powtarzanie zidentyfikowanych słabości – elementy, które trudno konsekwentnie wdrożyć w tradycyjnych modelach praktyk, ale są naturalnie operacjonalizowane poprzez adaptację algorytmiczną⁸. Dodatkowo, strefa rozwoju bliższego stanowi teoretyczną podstawę adaptacyjnej adaptacji trudności, sugerując, że uczenie się jest najskuteczniejsze, gdy zadania są skalibrowane tak, by wykraczać tuż poza aktualną samodzielną zdolność ucznia⁹. Te teoretyczne rozważania łącznie wspierają hipotezę, że system AI zdolny dynamicznie dostosowywać parametry nauczania do indywidualnych cech ucznia powinien przewyższać statyczne, uniwersalne szkolenia.

Najnowsze osiągnięcia w uczeniu maszynowym i analityce wydajności w czasie rzeczywistym dały znaczący potencjał w rozwiązywaniu wyzwań edukacyjnych ^6,7. Współczesne zastosowania AI w edukacji chirurgicznej wykazują obiecujące rezultaty, a badania wykazały znaczną poprawę w zdobywaniu umiejętności po wdrożeniu systemów informacji zwrotnej opartych na AI⁹. Jednak istniejące platformy szkoleniowe oparte na AI chirurgicznym, w tym komercyjnie dostępne systemy takie jak Touch Surgery i podobne platformy omawiane w wcześniejszym badaniu⁸, opierały się głównie na architekturach pojedynczych algorytmów, zazwyczaj izolowanych sieciach neuronowych lub drzewach decyzyjnych, które zapewniają próby procedur poprzez wizualne przewodniki krok po kroku, bez adaptacyjnej informacji zwrotnej w czasie rzeczywistym czy indywidualnej optymalizacji ścieżek uczenia się. Wcześniejsze badania nie integrowały multimodalnego przetwarzania fuzji sensorów heterogenicznych strumieni danych (śledzenie oczu, przechwytywanie ruchu i monitorowanie fizjologiczne) z adaptacyjnymi mechanizmami sprzężenia zwrotnego, które dynamicznie dostosowują się do indywidualnych trajektorii uczenia się poprzez uczenie ze wzmocnieniem^10,11. Ponadto istniejące systemy nie łączyły nienadzorowanego odkrywania fenotypów z metodami predykcji nadzorowanych w ramach jednolitego systemu edukacyjnego^12,13. Te luki są zmarnowaniem szans, ponieważ literatura teoretyczna dotycząca spersonalizowanego uczenia się zdecydowanie sugeruje, że zintegrowane, wielokomponentowe systemy adaptacyjne powinny być skuteczniejsze niż podejścia jednokomponentowe¹⁴.

Obecne ramy edukacyjne w warunkach okołooperacyjnych napotykają na kilka istotnych ograniczeń ^8,15. Tradycyjne modele praktyk zawodowych zapewniają niespójne doświadczenia edukacyjne, z istotną zmiennością w jakości instruktorów, standaryzacji informacji zwrotnej oraz wiarygodności oceny kompetencji. Te podejścia nie uwzględniają różnorodnych stylów uczenia się, nie dostosowują się do indywidualnych temp postępów i brakuje im zaawansowanej analityki niezbędnej do optymalizacji wyników edukacyjnych^11,15. Aby sprostać tym niezaspokojonym potrzebom, badanie wprowadza system spersonalizowanego nauczania oparty na sztucznej inteligencji (APLS), kompleksową interwencję edukacyjną, która łączy cztery algorytmicznie odrębne komponenty w jednej adaptacyjnej platformie zaprojektowanej do interdyscyplinarnego szkolenia z aparatur operacyjnych. Z naszej wiedzy system jest jednym z pierwszych, które empirycznie integrują następujące możliwości w literaturze edukacji chirurgicznej: hybrydową architekturę, która łączy nienadzorowane klasteryzowanie do odkrywania fenotypów uczniów opartych na danych z nadzorowaną klasyfikacją do przydzielania fenotypów w czasie rzeczywistym; transferowy proces uczenia się, który adaptuje wcześniej wytrenowaną sieć neuronową splotową do rozpoznawania wizualnego instrumentów chirurgicznych, wykorzystując ograniczone dane specyficzne dla danej dziedziny; moduł uczenia ze wzmocnieniem, który iteracyjny udoskonala czas i sposób sprzężenia zwrotnego poprzez interakcję z uczniem; oraz ramy predykcji zespołowej, które syntetyzują wyniki z wielu heterogenicznych algorytmów, aby dokładniej niż jakikolwiek model składowy przewidywać trajektorie kompetencji. Poprzez ocenę APLS w porównaniu ze standardowym szkoleniem prowadzonym przez instruktora poprzez 12-miesięczne prospektywne porównanie wyników nauki, wskaźników wydajności klinicznej, efektywności szkolenia i efektywności kosztowej, badanie to ma na celu ustalenie, czy zunifikowana spersonalizowana platforma oparta na AI może znacząco rozwijać edukację instrumentów okołooperacyjnych poza obecną praktykę pedagogiczną.

Protocol

Badanie to zostało przeprowadzone zgodnie z Deklaracją Helsińską i zatwierdzone przez Komisję Etyczną Szpitala Sir Run Run Shaw Szpitala, Wydziału Medycznego Uniwersytetu Zhejiang (Numer zatwierdzenia: 0480, zatwierdzony 10 sierpnia 2025 r.). Wszyscy uczestnicy wyrazili pisemną świadomą zgodę przed udziałem.

Projekt i miejsce studia
Prospektywne badanie obserwacyjne z przydziałem działów opartych na klastrze przeprowadzono od stycznia 2024 do lutego 2025 w szpitalu Sir Run Run Shaw, Wydział Medyczny Uniwersytetu Zhejiang, Hangzhou, Chiny. Strategia przydziału oparta na wydziałach wprowadza do tego projektu elementy quasi-eksperymentalne; W związku z tym wnioski przyczynowe należy interpretować z odpowiednią ostrożnością¹⁶. Badanie zastosowało porównanie równoległych grup z przydziałem na podstawie przydziału działów, aby zapobiec dzieleniu się informacjami między grupami. Wprowadzono zróżnicowaną rejestrację, aby zapewnić porównywalne parametry wyjściowe. Szpital utrzymywał dedykowane laboratorium symulacyjne wyposażone w ustandaryzowane środowiska operacyjne, instrumenty chirurgiczne, sprzęt monitorujący oraz możliwość nagrywania wideo.

Wybór próby i uczestnicy
Pracownicy służby zdrowia zostali rekrutowani poprzez stratyfikowane losowe próbowanie spośród wszystkich uprawnionych personelu przygotowawczego (n = 342) w szpitalu Sir Run Run Shaw w okresie od listopada 2023 do stycznia 2024 roku. Zmienne stratyfikacyjne obejmowały rolę zawodową (pielęgniarki, technolodzy chirurgiczni i anestezjologiczni), poziom doświadczenia (<5, 5–10, 10–15 i >15 lat), poziom wykształcenia (stopnie associate, licencjat i magister) oraz dział kliniczny (chirurgia ogólna, ortopedia, chirurgia sercowo-naczyniowa i inne specjalizacje). Komputerowo generowane losowe liczby (oprogramowanie R, set.seed = 12345 dla powtarzalności) zostały zastosowane w każdej warstwie z wykorzystaniem funkcji próby , aby zapewnić reprezentatywne próbowanie we wszystkich kategoriach demograficznych i zawodowych. Wielkość próby została obliczona za pomocą oprogramowania G*Power 3.1.9.7 na podstawie wstępnych danych pilotażowych (n = 30) z przewidywanym rozmiarem efektu d = 0,60 Cohena, dwustronnym poziomem istotności α = 0,05 oraz pożądaną mocą statystyczną (1 − β) = 0,80, co wskazuje na minimalny wymóg 90 uczestników (45 na grupę). Aby uwzględnić przewidywany wskaźnik rezygnacji (odejście) na poziomie 15% na podstawie danych historycznych instytucji, docelowa liczba uczestników została ustalona na 104. Rzeczywista liczba uczestników osiągnęła 120, co zapewniło 87% mocy po uwzględnieniu ostatnich 11% odejść.

Wymagane kryteria włączenia
(1) obecne zatrudnienie w szpitalu Sir Run Run Shaw w rolach okołooperacyjnych; (2) minimum 6 miesięcy doświadczenia na sali operacyjnej; (3) dostępność przez cały 13-miesięczny okres trwania badania; (4) gotowość do udziału we wszystkich działaniach oceniających; oraz (5) podstawowa umiejętność obsługi komputera, definiowana jako umiejętność poruszania się po przeglądarkach internetowych i samodzielnego korzystania z klawiatury/myszy.

Kryteria wykluczenia uwzględnione
Planowany dłuższy urlop w trakcie studiów, udział w innych programach szkoleniowych z zakresu instrumentów chirurgicznych w ciągu ostatnich 6 miesięcy, zaburzenia wzroku nieskorygowalne do poziomu 20/40 lub lepszego oraz obecne uczęszczanie na formalne programy studiów technologii chirurgicznej. Początkowo zrekrutowano łącznie 120 uczestników, z czego 107 ukończyło pełny protokół badania (89,2% wskaźnik ukończenia). Powody wycofania obejmowały zmiany zatrudnienia (n = 7), okoliczności osobiste (n = 4) oraz trudności związane z technologią (n = 2). Analiza zaniku z wykorzystaniem regresji logistycznej nie wykazała istotnego związku między wycofaniem a cechami wyjściowymi, takimi jak wiek (OR = 1,03, p = 0,52), płeć (OR = 0,87, p = 0,85), rola zawodowa (p = 0,73) ani bazowe wyniki PIPS (OR = 1,01, p = 0,67), co wskazuje na wzorzec losowego braku potwierdzony testem MCAR Little'a (χ² = 43,2, df = 38, p = 0,26).

Przydział do grupy
Aby zminimalizować skutki zanieczyszczenia inherentne w interwencjach edukacyjnych, uczestnicy zostali przydzieleni do grup interwencyjnych lub kontrolnych na podstawie przynależności do działu. Oddziały (n = 8) zostały dopasowane do par na podstawie liczby przypadków chirurgicznych i liczebności personelu, a następnie losowo przypisane do APLS lub warunków kontrolnych za pomocą komputerowej randomizacji (oprogramowanie R, seed = 54321). To podejście oparte na klastrze zostało przyjęte, ponieważ indywidualna randomizacja w poszczególnych działach groziłaby znacznym zanieczyszczeniem krzyżowym, gdyż współpracownicy dzielą się wiedzą i doświadczeniami szkoleniowymi. Uznaje się, że kultura działu, jakość przywództwa, podstawowe praktyki edukacyjne oraz mieszanka przypadków mogą niezależnie wpływać na wyniki, stanowiąc potencjalne źródła resztkowych zakłóceń, których nie da się w pełni rozwiązać w nieindywidualizowanym, losowym projekcie¹⁶. Stratyfikowane próbkowanie zapewniło porównywalne parametry wyjściowe. Oceniający wyniki przeprowadzający oceny PIPS byli zaślepieni na przypisanie grup dzięki zakodowanym identyfikatorom uczestników. Analitycy statystyczni otrzymywali zdezidentyfikowane zbiory danych z maskowanymi etykietami grup do czasu zakończenia analiz pierwotnych.

Architektura systemu APLS i implementacja techniczna
APLS składa się z czterech zintegrowanych komponentów obliczeniowych działających na platformie chmurowej (Tabela materiałów). System został opracowany przy użyciu otwartoźródłowych ram głębokiego uczenia oraz webowego frontendu (patrz Tabela materiałów) z protokołami API RESTful (interfejs programistyczny transferu stanów, umożliwiający ustandaryzowaną komunikację opartą na HTTP między modułami uczenia maszynowego po stronie front-end a serwerem), uwierzytelnianie oparte na JSON Web Token (JWT) (zapewniające, że tylko autoryzowani użytkownicy i komponenty systemu mogą uzyskać dostęp do danych ucznia i modelowania punktów końcowych), oraz szyfrowanie na warstwie transportowej TLS 1.3 (zabezpieczenie wszystkich danych przesyłanych między urządzeniami klienckimi, serwerem aplikacji oraz chmurową infrastrukturą modelującą serwującą) dla bezpieczeństwa danych. Pełny opis środowiska oprogramowania, w tym specyfikacje zależności (requirements.txt), strukturę pliku konfiguracyjnego oraz polecenia inicjalizacji potoku danych, znajduje się w Pliku Uzupełniającym 1.

Konfiguracja i kalibracja sprzętu
Przed każdą sesją szkoleniową wykonywano następującą sekwencję kalibracji sprzętu. Urządzenie do śledzenia oczu (patrz Tabela materiałów) umieszczono 60–70 cm od oczu uczestnika na wysokościowym mocowaniu, a kalibracja przeprowadzono według standardowego 9-punktowego protokołu producenta z dokładnością ≤0,5° kąta widzenia. Ośmiokamerowa matryca (patrz Tabela materiałów) została ułożona w układ kołowy o promieniu 2,5 m od centrum stacji szkoleniowej, ustawiona na wysokości naprzemiennie od 1,8 m do 2,4 m, skalibrowana według procedury różdżki producenta z progiem błędu resztkowego ≤0,3 mm. Markery refleksyjne (n = 16, średnica = 12,7 mm) były mocowane do standaryzowanych anatomicznych punktów orientacyjnych na dłoniach i nadgarstkach zgodnie z protokołem umieszczania markerów opisanym w Pliku Uzupełniającym 2. Urządzenia do monitorowania fizjologicznego były montowane zgodnie z instrukcjami producenta i weryfikowane pod kątem jakości sygnału przed rozpoczęciem sesji.

Komponent 1: System klasyfikacji fenotypów uczniów
System klasyfikacji wykorzystuje dwustopniowe podejście hybrydowe, łączące naukę bez nadzoru i nadzorowaną. W etapie 1 klasteryzacja k-średnich jest wykorzystywana na podstawie danych z oceny bazowej do wykrywania naturalnych grup uczniów. Cechy wejściowe (n = 37) obejmują bazowe wyniki domeny PIPS (4 cechy), wyniki inwentaryzacji stylu uczenia się VARK (4 cechy), szybkość przetwarzania poznawczego z zadań reakcji komputerowych (3 cechy), oceny komfortu technologicznego (1 cecha), zmienne demograficzne (3 cechy), pojemność pamięci roboczej z testów rozpiętości cyfr (2 cechy), rozumowanie przestrzenne z zadań rotacji umysłowej (1 cecha), podstawowe wyniki motoryki drobnej (3 cechy), Cech osobowości Wielkiej Piątki (5 cech) oraz wcześniejszych wskaźników wydajności z rejestrów instytucjonalnych (3 cechy). Szczegółowe specyfikacje wstępnego przetwarzania, procedury optymalizacji hiperparametrów oraz rankingi ważności cech znajdują się w Pliku Uzupełniającym 1 (Sekcja S2). Trzy powstałe klastra zostały scharakteryzowane jako szybkie (30,9%), średnie (49,1%) oraz wolno-uczące się (20,0%). W etapie 2 klasyfikacja nadzorowana wykonywana jest przy użyciu maszyn wektorowych wsparcia trenowanych na etykietach klastrowych, co umożliwia klasyfikację nowych uczniów w czasie rzeczywistym. Pełna przestrzeń wyszukiwania hiperparametrów, wyniki walidacji krzyżowej oraz metryki klasyfikacji dla klasy są przedstawione w Pliku Uzupełniającym 1 (Sekcja S2.3).

Komponent 2: Multimodalna integracja danych i system fuzji sensorów
Platforma integruje pięć heterogenicznych strumieni danych: dane śledzenia oczu, dane z motion capture, monitorowanie fizjologiczne (zmienność tętna, galwaniczna reakcja skórna i kortyzol ślinowy), analitykę wydajności za pomocą automatycznej analizy wideo oraz rejestrowanie interakcji. Szczegółowe specyfikacje czujników, potoki wstępnego przetwarzania, procedury ekstrakcji cech oraz architektura splotowych sieci neuronowych do szacowania stanu poznawczego zostały opisane w Pliku Uzupełniającym 1 (Sekcja S3). System fuzji generuje reprezentacje stanów poznawczych, które są aktualizowane co 1 sekundę i kodują zintegrowaną uwagę, wykonanie ruchu, obciążenie poznawcze oraz wykonanie zadań.

Komponent 3: Silnik analityki predykcyjnej
System predykcji zespołowej łączy trzy uzupełniające się algorytmy: las losowy, maszynę do wzmacniania gradientów (XGBoost) oraz głęboką sieć neuronową z długimi warstwami pamięci krótkotrwałej (LSTM), przetwarzającą osadzenia stanów poznawczych jako szeregi czasowe. Agregacja zespołowa wykorzystuje ważone miękkie głosowanie z wagami zoptymalizowanymi na podstawie danych walidacyjnych. Pełne specyfikacje algorytmiczne, wartości hiperparametrów, procedury treningowe oraz diagnostyka zbieżności znajdują się w Pliku Uzupełniającym 1 (Sekcja S4). Zbiory danych treningowe, walidacyjne, wdrożenia i ewaluacyjne były ściśle rozdzielone; Rozwój modelu opierał się wyłącznie na danych z wcześniejszego pilotażowego badania z udziałem 150 uczestników (80% treningów, 20% walidacji), a obecni uczestnicy badania stanowili całkowicie zatwierdzony zbiór danych wdrożenia. Rolling retraining podczas wdrożenia wykorzystywał jedynie dane interakcji z ostatnich 7 dni i nie uwzględniał danych oceny wyników, zapobiegając tym samym wyciekom wyników oceny do modeli predykcyjnych.

Komponent 4: System adaptacyjnego sprzężenia zwrotnego oparty na uczeniu się ze wzmocnieniem
System adaptacyjnego sprzężenia zwrotnego wykorzystuje Q-learning, formułując selekcję sprzężenia zwrotnego jako proces decyzji Markowa. Przestrzeń stanów (25-wymiarowa) koduje aktualny stan poznawczy, kontekst czasowy, parametry zadania oraz cechy uczącego się. Przestrzeń akcji składa się z 25 dyskretnych działań, reprezentujących kombinacje sprzężenia zwrotnego, czasu i specyficzności. Funkcja nagrody obejmuje poprawę wydajności, unikanie przeciążenia poznawczego, utrzymanie zaangażowania oraz opóźnienia korekty. Matematyczne sformułowanie przestrzeni stanów, przestrzeni działań, funkcji nagrody, parametrów aktualizacji Q-learning oraz kryteriów zbieżności zostało szczegółowo opisane w Pliku Uzupełniającym 1 (Sekcja S5).

Przepływ pracy sesji szkoleniowej
Każda sesja szkoleniowa APLS przebiega zgodnie z następującą ustandaryzowaną kolejnością. (1) Uczestnik loguje się do platformy APLS, używając przypisanych danych uwierzytelniających na wyznaczonym stanowisku treningowym. (2) Zweryfikowano kalibrację sprzętu (śledzenie oczu, przechwytywanie ruchu i czujniki fizjologiczne) poprzez automatyczne kontrole jakości potwierdzające akceptowalną integralność sygnału. (3) System pobiera aktualną klasyfikację fenotypu uczącego się uczestnika oraz przewidywaną trajektorię kompetencji, aby skonfigurować parametry sesji. (4) Moduł wstępny rozgrzewkowy (5 min) przedstawia przegląd treści z poprzedniej sesji, dostosowany do wzorca zapamiętywania przez uczestnika. (5) Moduł treningowy podstawowy (40-50 min) prezentuje identyfikację instrumentów, obsługę i zadania proceduralne na poziomach trudności określonych przez algorytm adaptacyjny, z multimodalną informacją zwrotną w czasie rzeczywistym dostarczaną zgodnie z polityką Q-learning. (6) Wyświetlane są podsumowanie sesji oraz panel wydajności, pokazujące postępy względem osobistej ścieżki uczenia się uczestnika oraz kamieni milowych kompetencji. (7) Uczestnik wypełnia krótką ankietę satysfakcjonującą (2 min). (8) Dane sesji są automatycznie przesyłane na serwer chmurowy w celu aktualizacji modelu.

Procedury grupy kontrolnej
Grupa kontrolna przeszła tradycyjne szkolenie z zakresu instrumentów na sali operacyjnej, zgodnie ze standaryzowanymi protokołami instytucjonalnymi. Szkolenie obejmowało początkową 8-godzinną sesję dydaktyczną w klasie prowadzoną przez starszych edukatorów sali operacyjnej (OR), obejmującą kategorie instrumentów, nazewnictwo, zasady obsługi oraz technikę sterylną; drukowany podręcznik szkoleniowy (187 stron) zawierający zdjęcia instrumentów, specyfikacje i opisy uporządkowane według specjalizacji chirurgicznych; dwa warsztaty praktyczne po 4 godziny w laboratoriach symulacyjnych z fizycznymi zestawami instrumentów pod nadzorem instruktora (stosunek instruktora do uczącego się 1:6); dostęp do instytucjonalnego systemu zarządzania nauczaniem zawierającego cyfrowe materiały szkoleniowe do samodzielnej recenzji; oraz zaplanowane kwartalne sesje odświeżające (2 godziny), podczas których przeglądają często mylone instrumenty. Całkowity czas ustrukturyzowanej nauki wynosił 20 godzin w trakcie trwania okresu nauki. Nie uwzględniono algorytmów adaptacyjnych, spersonalizowanych ścieżek ani komponentów wspieranych przez AI.

Miary wyników
Głównym wynikiem była ocena pamięci wiedzy na 12 miesięcy po szkoleniu za pomocą zwalidowanej Perioperativnej Skali Biegłości Instrumentów (PIPS). Cały proces tworzenia PIPS, obejmujący generowanie pozycji na podstawie przeglądu literatury i grup fokusowych ekspertów, trzyrundową zmodyfikowaną walidację treści Delphi (indeks ważności treści = 0,94), analizę czynnikową eksploratoryjną i potwierdzającą oraz pełną rubrykę punktacji opartej na zachowaniu, jest udokumentowany w Pliku Uzupełniającym 3. Instrument wykazał silne właściwości psychometryczne (α Cronbacha = 0,92, test-re-test ICC = 0,91 w odstępie 2 tygodni). PIPS składa się z 24 elementów w czterech dziedzinach: identyfikacja instrumentów (6 pozycji), biegłość obsługi (6 pozycji), protokoły bezpieczeństwa (6 pozycji) oraz komunikacja zespołowa (6 pozycji). Każdy element wykorzystuje pięciopunktową skalę Likerta (od 1 = początkujący do 5 = ekspert) z opisami zakotwiczonymi w zachowaniu. Łączny wynik waha się od 24 do 120, a wyższe wyniki oznaczają większą biegłość.

Oceny PIPS przeprowadzali wykwalifikowani ewaluatorzy (sześć pielęgniarek chirurgicznych z >10 latami doświadczenia w sali operacyjnej, które ukończyły 8-godzinny standaryzowany program szkoleniowy) na początku, bezpośrednio po interwencji oraz podczas 1, 3, 6 i 12-miesięcznych obserwacji. Oceniający byli ślepi na przypisanie grup dzięki zakodowanym identyfikatorom uczestników oraz oceny, które zostały zedytowane tak, aby usunąć wszelkie widoczne elementy interfejsu lub wyświetlacze sprzężenia zwrotnego specyficzne dla APLS. Oceniający nie zostali poinformowani, jaką metodę szkolenia przeszli uczestnicy. Niezawodność między oceniającymi została ustalona poprzez podwójne kodowanie 20% ocen (n = 128), osiągając > ICC 0,85 we wszystkich dziedzinach (całkowity wynik ICC = 0,89, 95% CI: 0,85-0,92).

Wyniki wtórne były następujące: (1) praktyczna kompetencja oceniana poprzez obiektywną strukturyzowaną ocenę umiejętności technicznych (OSATS) dostosowaną do obsługi przyrządów, obejmującą sześć standaryzowanych stacji (maksymalnie 30 punktów), przeprowadzaną przez zaślepionych ekspertów (ICC = 0,87) na początku oraz w wieku 3, 6 i 12 miesięcy. (2) Efektywność czasu szkolenia mierzono jako łączną liczbę godzin potrzebnych do osiągnięcia progu kompetencyjnego (PIPS ≥ 75). (3) Efektywność kosztowa oblicza się jako koszt na kompetentnego ucznia, uwzględniając koszty bezpośrednie i pośrednie, z normalizacją kosztów do juana chińskiego z 2024 roku na podstawie danych rachunkowych instytucji. (4) Satysfakcja uczniów była oceniana za pomocą kwestionariusza w skali Likerta o 5 punktach (27 pozycji, spójność wewnętrzna α = 0,91). (5) Eksploracyjne wskaźniki wydajności klinicznej z instytucjonalnych systemów raportowania bezpieczeństwa: raporty incydentów związanych z instrumentami w ciągu 12 miesięcy po szkoleniu, z wskaźnikami na 1 000 przypadków chirurgicznych skorygowanych o złożoność przypadków. Wyniki incydentów bezpieczeństwa zostały sklasyfikowane jako eksploracyjne, ponieważ badanie nie było zdolne do wykrywania różnic w tych niskoczęstotliwościowych zdarzeniach.

Metody analizy statystycznej
Wszystkie analizy statystyczne przeprowadzono przy użyciu wersji R 4.3.0 z interfejsem RStudio oraz następującymi pakietami: lme4 dla modeli o mieszanych efektach, emmeans ("szacowane średnie marginalne"; pakiet R do obliczania średnich grupowych dostosowanych do modelu oraz przeprowadzania post-hoc porównań parowych Tukeya, Bonferroniego lub Scheffé z dopasowanych modeli o mieszanym efektie), psychologia do analiz psychometrycznych, effsize (pakiet R do obliczania ustandaryzowanych rozmiarów efektów, w tym d Cohena i g Hedgesa, z przedziałami ufności) do obliczania rozmiarów efektu oraz myszy do wielokrotnej imputacji. Próg istotności został ustalony z góry przy α = 0,05 (dwustronny) dla wszystkich testów hipotetycznych.

Zastosowano wiele korekt porównawczych w następujący sposób. Dla głównego wyniku (łączny wynik PIPS w różnych punktach czasowych) wnioskowanie wyciągnięto z interakcji Grupy × Czasu w ramach liniowego modelu efektów mieszanych z wykorzystaniem stopni swobody Kenwarda-Rogera, które nie wymagają oddzielnej korekty dla wielu punktów czasowych. Dla podskal domeny PIPS (cztery jednoczesne porównania) zastosowano korektę Bonferroniego (skorygowaną α = 0,0125). Dla wyników wtórnych (cztery miary: wskaźnik efektywności OR, incydenty bezpieczeństwa, wynik komunikacji TEAM oraz częstotliwość błędów) zastosowano procedurę wskaźnika fałszywego wykrywania Benjamini-Hochberga (q = 0,05). Dla wskaźników wydajności systemu AI (dziesięć wewnętrznych porównań) zastosowano korekcję Bonferroniego (skorygowaną α = 0,005). Wszystkie zgłaszane wartości p i ustalenia istotności wyraźnie odnoszą się do odpowiedniej korekty.

Wszystkie pierwotne i wtórne wyniki międzygrupowe analizowano przy użyciu liniowych modeli o mieszanych efektach z ustalonym efektem dla grupy, czasu i ich interakcji oraz losowymi przecięciami zarówno dla uczestników, jak i działów (aby uwzględnić korelację wewnątrzklasową wynikającą z alokacji opartej na klasterach). Współczynnik korelacji wewnątrzklasowej na poziomie wydziału został oszacowany, aby określić stopień klasteryzacji. Brakujące wzorce danych oceniono za pomocą testu MCAR Little'a; dane zostały losowo uznane za całkowicie nieobecne i przetwarzane przez wielokrotną imputację z użyciem predykcyjnego dopasowania średnich (m = 20 imputowanych zbiorów danych, połączonych wyników według reguł Rubina). Analizy czułości z pełną analizą przypadków, zmiennymi liczbami imputacji (m = 10, m = 50) oraz scenariuszami najgorszego/najlepszego przypadku oceniały odporność.

Results

Cechy uczestników
Ostateczna próba obejmowała 107 uczestników z doskonałą retencją (Rysunek 1). Analiza odpływu porównująca absolwentów (n = 107) z wycofaniami (n = 13) nie wykazała istotnych różnic w cechach wyjściowych: wiek (t = 0,89, p = 0,38), płeć (χ² = 0,21, p = 0,64), rola zawodowa (χ² = 1,45, p = 0,48), bazowe wyniki PIPS (t = 0,62, p = 0,54) ani przydział do grupy (χ² = 0,03, p = 0,86), potwierdzające całkowicie losowe założeni...

Discussion

To prospektywne badanie obserwacyjne, włączające elementy quasi-eksperymentalne poprzez alokację działów opartą na klastrze, dostarcza dowodów na to, że system spersonalizowanego uczenia opartego na AI, integrujący wiele algorytmów uczenia maszynowego, wiąże się ze znaczną poprawą wyników treningu na sali operacyjnej w porównaniu z tradycyjnymi podejściami pedagogicznymi. Wyniki te mają znaczenie zarówno dla metodologii sztucznej inteligencji, jak i praktyki edukacji chirurgicznej; jednak kilka ważnych zastrzeżeń łagodzi...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Symulator chirurgii z sprzężeniem zwrotnym (Touch X)	3D Systems (dawniej Sensable)	PHANToM Premium 3.0	Urządzenie haptyczne o sześciu stopniach swobody; wykorzystywany jako główny interfejs do dostarczania sprzężenia zwrotnego sterowanego przez AI podczas symulowanych zadań manipulacji tkanek i zszywania
Platforma Oprogramowania Symulacyjnego (SimSurgery™ AI Suite)	Opracowane na zamówienie / własne	Nie ma	Własne oprogramowanie szkoleniowe oparte na sztucznej inteligencji, integrujące moduły splotowych sieci neuronowych (CNN) do klasyfikacji wydajności w czasie rzeczywistym i adaptacyjnego generowania informacji zwrotnej
Czujnik siły/momentu obrotowego	ATI Industrial Automation	Nano17 SI-12-0.12	Mierzył zastosowane siły na instrumentach (rozdzielczość: 0,003 N) podczas ćwiczeń z tkankami i szyciem; dane wprowadzane do algorytmu klasyfikacji AI
System śledzenia ruchu	Northern Digital Inc. (NDI)	Polaris Vega ST	Optyczne śledzenie trajektorii narzędzi chirurgicznych; 0,12 mm RMS celności wolumetrycznej; Wykorzystywane do oceny dokładności nawigacji według przyrządów
Zestaw instrumentów laparoskopowych (szkolenie)	Karl Storz SE & Kompania KG	26003 AA / 33310 DB	Standardowy laparoskopowy chwytak i wkrętarka 5 mm stosowany zarówno w broniach treningowych sterowanych AI, jak i konwencjonalnych
Fantom tkanki o wysokiej wierności (model tkanek miękkich)	SynDaver Labs	Chirurgiczny model brzucha (SKU: SYN-ABD)	Zweryfikowany zastępca tkanek syntetycznych do szycia, sekcji i manipulacji tkankami; Wymieniane co 50 użycia zgodnie z zaleceniami producenta
Stacja robocza GPU	NVIDIA / Dell	Dell Precision 7920 z NVIDIA A6000 (48 GB VRAM)	Sprzęt obliczeniowy do uruchamiania wnioskowania AI w czasie rzeczywistym (opóźnienia klasyfikacji CNN < 15 ms); Dedykowany serwer podłączony do urządzenia haptycznego
Ramy sieci neuronowych	Open-source (Meta AI)	PyTorch v2.1.0	Ramy głębokiego uczenia używane do trenowania modeli, walidacji oraz wnioskowania w czasie rzeczywistym algorytmu adaptacyjnego sprzężenia zwrotnego
Oprogramowanie do analizy statystycznej	IBM Corp.	IBM SPSS Statistics v29.0	Wykorzystywany do modelowania o mieszanych efektach, testów t z próbami niezależnymi oraz ANOVA z powtarzalnymi miarami we wszystkich analizach pierwotnych i wtórnych wyników
Oprogramowanie do wizualizacji danych i grafiki	Oprogramowanie GraphPad	GraphPad Prism v10.0	Wykorzystywany do generowania wszystkich rysunków rękopisów, w tym słupków błędu (SD i 95% CI), krzywych retencji oraz pogrupowanych wykresów słupkowych
System nagrywania wideo	Stryker Corp.	Platforma 1688 AIM 4K	Rejestracja wideo podczas operacji i sesji symulacyjnych do zaślepionej oceny ekspertów (ocena OSATS)
Narzędzie Oceny Strukturalnej (OSATS)	N/A — Zweryfikowany opublikowany instrument	Martin i in., 1997 (Br J Surg)	Obiektywna, Strukturalna Ocena Umiejętności Technicznych; Siedmiopunktowa globalna skala ocen (1 i połącznie; 5 na przedmiot) używane do oceny zaślepianych ekspertów dotyczących szycia i manipulacji tkankami
Oprogramowanie do randomizacji i zarządzania danymi	Open-source	REDCap v13.7.2	Elektroniczne rejestrowanie danych do alokacji uczestników (w zasadzie klastrowej), zbierania danych demograficznych oraz długoterminowego śledzenia wyników
Moduł sprzężenia zwrotnego dźwięku	Opracowane na zamówienie / własne	Nie ma	Moduł oprogramowania dostarczający korekcyjne sygnały dźwiękowe w czasie rzeczywistym (alerty kodowane tonalnie) zintegrowane z multimodalnym systemem sprzężenia zwrotnego
Kwestionariusz instytucjonalny (Ankieta satysfakcji uczniów)	Opracowane na zamówienie / własne	Nie ma	18-punktowa skala Likerta (1– 5) kwestionariusz oceniający postrzeganą skuteczność szkoleń, użyteczność systemu oraz pewność siebie uczniów; podawane po szkoleniu oraz podczas obserwacji po 24 tygodniach