Badania nad wizualną oceną umiejętności inżynieryjnych w zastosowaniach zdrowotnych oparte na modelowaniu 3D wspomaganym sztuczną inteligencją

Podsumowanie

Niniejsze badania przedstawiają multimodalną, opartą na AI metodologię obiektywnego pomiaru umiejętności inżynierskich w modelowaniu medycznym 3D, uwzględniającą markery geometryczne, behawioralne i poznawcze. Fuzja bayesowska z analityką wizualną w czasie rzeczywistym pozwala na dokładną ocenę umiejętności, która została zweryfikowana w szerokim zakresie zadań i poziomów umiejętności uczestników.

Streszczenie

Modelowanie 3D wspomagane przez sztuczną inteligencję (AI) stało się centralnym elementem nowoczesnej opieki zdrowotnej, jednak wciąż brakuje powtarzalnego i skalowalnego sposobu oceny kompetencji inżynierskiej dla klinicznie wykorzystywanych modeli cyfrowych. Istniejące sprawdzenia jakości koncentrują się zazwyczaj na końcowych wyjściach siatki bez uwzględniania procesu modelowania, zachowania operatora oraz interakcji z pomocą AI. Ta luka ogranicza powtarzalność, skuteczne szkolenia i ogranicza zgodność z przepisami. Praca ta proponuje pierwszy kompleksowy framework analityki wizualnej, zaprojektowany do mierzenia i komunikowania umiejętności inżynierskich podczas zadań modelowania 3D skoncentrowanego na zdrowiu. Proponowane ramy definiują specyficzną dla daną dziedzinę konstrukcję umiejętności, obejmującą od geometrycznej dokładności po biegłość operacyjną i zdolność adaptacji poznawczej, i ilościowo określają te wymiary za pomocą zestawu interpretowalnych wskaźników behawioralnych, geometrycznych i fizjologicznych. Integruje w ramach czterowarstwowej architektury przechwytywanie danych multimodalnych, ekstrakcję cech w czasie rzeczywistym za pomocą lekkich modeli głębokiego uczenia, bayesowską fuzję dowodów dla ciągłej oceny kompetencji oraz intuicyjne moduły sprzężenia zwrotnego wizualnego. System utrzymuje kalibrację dla nowych narzędzi i scenariuszy modelowania poprzez mechanizm aktywnego uczenia się online, minimalizujący wymagania eksperckie do adnotacji. Ramy zostały przetestowane z udziałem 60 uczestników, którzy wykonali dwa klinicznie realistyczne zadania modelowania dotyczące projektowania implantów ortopedycznych i rekonstrukcji naczyniowej. Wyniki wykazały silną zgodność z ocenami ekspertów, wyraźne rozróżnienie poziomów umiejętności oraz istotne przewidywanie przyszłej jakości modelowania. Python był używany odpowiednio do zadań korelacji, regresji, testowania wiarygodności oraz wizualizacji. Testy użyteczności wykazały wysoką akceptację; Uczestnicy wysoko cenili klarowność wizualnej informacji zwrotnej, która wspierała samodzielną poprawę. Ostatecznie proponowane ramy przekształcają ocenę modelowania 3D z statycznego wyniku w przekroju na dynamiczny, procesocentryczny przegląd oparty na dowodach multimodalnych. Efektem jest pragmatyczne, interpretowalne i skalowalne rozwiązanie do szkoleń, certyfikacji i nadzoru regulacyjnego nad krytycznymi dla zdrowia procesami modelowania 3D, a także podstawą przyszłej współpracy człowieka z AI oraz analityki kompetencji w projektowaniu medycznym.

Wprowadzenie

Szybkie przyjęcie na rynku modelowania 3D opartego na AI w opiece zdrowotnej zmienia sposób tworzenia implantów, przewodników i rekonstrukcji anatomicznych, jednak branża wciąż nie ma wiarygodnej metody oceny umiejętności inżynierskich stojących za tymi modelami. Dominująca praktyka dziś opiera się w dużej mierze na inspekcjach produktu końcowego, które, choć przydatne do wykrywania błędów geometrycznych, nie doceniają procesu modelowania, interakcji użytkownika z AI ani podejmowania decyzji w każdej chwili podczas ich tworzenia. W konsekwencji zespoły kliniczne często nie są w stanie ustalić, czy model został stworzony za pomocą kompetentnych, powtarzalnych procesów, czy też dzięki szczęśliwej metodzie prób i błędów¹. Ta luka staje się coraz ważniejsza. Szpitale, regulatorzy i programy druku 3D wymagają obecnie dowodów na spójną jakość całego przepływu pracy, a nie tylko poprawnej siatki końcowej, ponieważ błędy modelowania mogą wpływać na bezpieczeństwo chirurgiczne, dopasowanie urządzenia i śledzenie produkcji. Obecnie nie istnieje metoda uchwycenia (lub obliczania) umiejętności modelowania w zintegrowany, systematyczny i skalowalny sposób, który obejmuje aspekty behawioralne, poznawcze i proceduralne umiejętności modelowania. To jest kluczowa motywacja dla niniejszego artykułu^{2, ale} nie przedstawiono jeszcze żadnej operacyjnej definicji "kompetencji w przepływie pracy" dla modelowania skoncentrowanego na anatomii i wspomaganego AI. Ta luka między oczekiwaniami regulacyjnymi a codzienną praktyką jest pierwszą motywacją do obecnej pracy. Drugą motywacją jest pedagogika. Start-upy z branży technologii zdrowotnej oraz szpitale uniwersyteckie szkolą nowych pracowników, łącząc ich z doświadczonymi modelarzami przez 6-18 miesięcy. Podejście to jest skuteczne, ale nie skaluje się: globalna baza zainstalowanych miejsc CAD z AI-em wzrosła o 340% w latach 2020–2024, podczas gdy pula wykwalifikowanych mentorów pozostała na poziomie⁴. System analityki wizualnej, który potrafi obserwować, diagnozować i coachować w czasie rzeczywistym, oddzieliłby przepustowość szkoleń od dostępności mentorów i skrócił krzywą uczenia się dla nietradycyjnych uczestników, takich jak radiografowie czy pielęgniarki, które coraz częściej wykonują segmentację front-end.

Po trzecie, istnieje argument poznawczo-naukowy. Modelowanie medyczne to wymagająca ryzyka odmiana rozwiązywania problemów wzrokowych, łącząca rozumowanie przestrzenne, wiedzę anatomiczną oraz zręczność programową. Zrozumienie, jak te zasoby są organizowane, kiedy się psują i kiedy są zlecane AI, wymaga momentowego rejestrowania sygnałów oczu, dłoni i fizjologii. Ten sam strumień danych, który wyjaśnia ludzką wiedzę, może być również wykorzystywany do jej oceny, tworząc cnotliwą pętlę między badaniami a zastosowaniem. Pomimo bogatej literatury dotyczącej (i) oceny umiejętności proceduralnych w chirurgii oraz (ii) geometrycznych metryk jakości dla siatek CAD⁵, przecięcie dwóch wizualnych ocen umiejętności inżynierskich w modelowaniu 3D skoncentrowanym na zdrowiu i wspomaganym przez AI pozostaje niedostatecznie zbadane. Konkretnie, istniejące kryteria oceny nie mają specyficznej dla danej dziedziny konstruktu umiejętności, dlatego traktują cechy istotne dla anatomii, takie jak kąty bifurkacji naczyniowych, podobnie jak ogólne cechy mechaniczne, takie jak otwory na śruby. Ograniczenia anatomiczne, takie jak porowatość wypełnienia trawekowego czy ograniczenia krzywizny osteotomii, są nieobecne w funkcjach punktowania. Jeśli chodzi o fragmentaryczne wykrywanie, badania procesowe w CAD, symulacji chirurgicznej czy grach VR rzadko synchronizują kinematykę, spojrzenie, fizjologię i głos z rozdzielczością poniżej sekundy⁶. W konsekwencji walidacja międzymodalna jest niemożliwa, a wartość przyrostowa każdego kanału pozostaje nieznana⁷. Jeśli chodzi o statyczne punktowanie, obecne narzędzia zazwyczaj generują binarną etykietę zaliczenia/niepowodzenia po sesji. Brakuje im zasadniczej metody wyrażania niepewności lub aktualizacji przekonań dotyczących kompetencji ucznia w miarę pojawiania się nowych dowodów – co jest kluczowym wymogiem dla protokołów certyfikacji bayesowskiej⁸. Wreszcie, jeśli chodzi o nieciągłość informacji zwrotnej, nawet gdy zbierane są bogate dane, często są one przechowywane do przeglądu po raz drugi lub wyświetlane jako surowe krzywe. Obecnie nie istnieje warstwa wizualna zgodna z teorią, specyficzna dla roli, która mapuje sygnały niskiego poziomu na użyteczne porady w czasie rzeczywistym, ^9,10. Te cztery niedociągnięcia przekładają się na praktyczny ból: 30% trójwymiarowych przewodników anatomicznych nadal wymaga ręcznej poprawki, a FDA wycofuje 2-3 partie implantów specyficznych dla pacjenta na kwartał, ponieważ inżynier źródłowy źle zrozumiał adnotację tolerancji¹¹. Dlatego potrzebny jest ramowy system end-to-end, który zamknie pętlę od wielomodalnego wykrywania do interpretowalnego sprzężenia zwrotnego.

Medyczne modelowanie 3D różni się od CAD przemysłowego pod względem trzech sposobów, które bezpośrednio wpływają na ocenę umiejętności: geometria anatomiczna jest nieparametryczna, tolerancja błędów niemal zerowa, a śledzenie regulacyjne jest obowiązkowe¹². Dominującym paradygmatem oceny jest nadal podsumowanie przeglądu ekspertów końcowego pliku siatki wielokątnej (STL). Typowe rubryki sprawdzają odchylenia geometryczne od wzorca złotego standardu, topologiczną rozmaitość oraz obecność charakterystycznych punktów określanych przez lekarza. Ponieważ inspekcja odbywa się ręcznie, κ Cohena między oceniającymi rzadko przekracza 0,65¹³. Komercyjne platformy, takie jak Mimics Innovation Suite i 3D Slicer, oferują flagi pass/fail dla jakości siatki, ale flagi są deterministyczne (proporcje trójkąta, przecinające się ściany) i ignorują rzeczywistą trajektorię modelowania¹⁴. Wizualizacja 3D oparta na AI poprawia zrozumienie anatomii, ale skuteczne wykorzystanie w dużej mierze zależy od umiejętności modelowania operatora. Chociaż VDR zapewnia dokładne obrazy wolumetryczne, nie istnieje ustrukturyzowana metoda oceny, jak użytkownicy interpretują, udoskonalają lub manipulują tymi modelami. Niniejsze badanie wypełnia tę lukę, oceniając kompetencje^{w modelowaniu} 3D wspomaganym przez AI. Autorzy rejestrują zdarzenia przewijania i wywołania narzędzi wraz z trójwymiarowymi współrzędnymi kursora przy częstotliwości 30 Hz. Używają automatycznego enkodera długiej pamięci krótkotrwałej (LSTM) do wykrywania "nieefektywnych ścieżek narzędzi" w mechanicznym CAD, osiągając wynik F1 0,81 w porównaniu z etykietami ludzkimi. Rozszerzając analizę na uwagę wizualną, zbiór danych TAP-3D¹⁶ zawiera dane spojrzenia od 120 inżynierów wykonujących ćwiczenia Solid Works. Sekwencje fiksacja-saka są kodowane jako 128-D wektory word2vec; Klasteryzacja ujawnia pięć różnych strategii wizualnych o istotnej korelacji z czasem modelowania (r = 0,73). Poza metrykami interakcji użytkownika, Mandal, A. i Ghosh, A. ^R.17 szacują cechy mechaniczne złożonych rusztowań inżynierii tkankowej, wykorzystując 3D CNN wytrenowane na cyfrowych topografiach 3D pochodzących z modeli CAD¹⁷. Podejście to dokładnie przewiduje zachowanie rusztowania i oferuje szybszą, wspomaganą przez AI ścieżkę projektowania dla struktur porowatych i metamaterialnych. Jednak szybkość powtarzalności tego przewidywania zależy od różnorodności zbioru danych, zwłaszcza przy wysoce nieregularnych geometriach lub wadach produkcyjnych.

Najnowsze prace Schönfeldta, N., Hancocka, P. i Birta, ^J.18 , rozszerzyły przechwytywanie danych o protokoły głosowe i myślące na głos, w szczególności poprzez transkrypcję komentarzy werbalnych do osadzeń BERT 200-D, aby powiązać je z sukcesem debugowania w zadaniach^{programowych 18}. Chociaż modelarze medyczni mówią mniej niż programiści, pilotażowe nagrania w naszym laboratorium pokazują, że wypowiedzi takie jak "ten grzbiet wygląda na hałaśliwy" pokrywają się z 40% kolejnych zdarzeń cofnięcia, co sugeruje wartość predykcyjną. Badania te pokazują, że dane proceduralne można rejestrować dyskretnie, a modele uczenia maszynowego mogą mapować dane na konstrukcje wydajności. Żaden z nich jednak nie skupia się na specyficznym dla zdrowia modelowaniu 3D, gdzie zmienność anatomiczna i wsparcie AI dodają kolejne warstwy złożoności. Analityka wizualna została szeroko przyjęta do formacyjnego feedbacku w symulacji chirurgii i szkoleniu robotycznego. System MiEye¹⁹ nakłada kolorowe mapy błędu na nagrane laparoskopowe wideo; Stażyści poprawiają się o 26% szybciej niż przy binarnym feedbacku. W przypadku edukacji CAD Chou, Y. H. i ^in.20 proponują wykres radarowy, który kontrastuje indeksy uczniów (liczbę cech, czas odbudowy, błędy przebudowy) z percentylami klasowymi; Uczniowie mającycy dostęp do wykresu wykazują wzrost wyników po teście o 0,35 odchylenia standardowego. Wizualizacja w czasie rzeczywistym jest wciąż niedostatecznie zbadana. Kim, I.-J. oraz Quteineh, H. ^H.21 renderują dane kinematyczne na żywo jako przezroczyste wstęgi w VR, ale ich metryka to czysty błąd pozycyjny; Obciążenie poznawcze nie jest uwzględniane. Z naszej wiedzy nie istnieje żaden istniejący framework łączący strumienie geometryczne, behawioralne i fizjologiczne w jedną, interpretowalną, w czasie rzeczywistym warstwę wizualnego sprzężenia zwrotnego dostosowaną do medycznych modelowania 3D wspomaganego przez AI. Przegląd ujawnia cztery konkretne niedociągnięcia, które badania mają rozwiązać: brak konstrukcji umiejętności specyficznych dla zdrowia: Obecne kryteria traktują modelowanie medyczne jako ogólny CAD; Ignorują one ograniczenia anatomiczne, takie jak wypełnienie w kościach porowatych czy kąty rozgałęzienia naczyń. Fragmentaryczne wykrywanie: Badania zazwyczaj wykorzystują jedną metodę (kinematykę, spojrzenie lub fizjologię). Synchronizacja wielomodalna na poziomie poniżej sekundy jest rzadko próbowana, a walidacja międzymodalna jest nieobecna. Aktualizacja bayesowska ani internetowe monitorowanie pewności nie zostały zastosowane do umiejętności modelowania; dlatego oceniający nie mogą wyrażać niepewności ani wprowadzać nowych dowodów w trakcie realizacji zadania. Nieciągłość sprzężenia zwrotnego: Nawet gdy zbierane są bogate dane, są one albo przechowywane do przeglądu po powtórku, albo wyświetlane jako surowe krzywe. Nie istnieje zasadnicza warstwa wizualna, która mapowałaby sygnały niskiego poziomu na działające, zgodne z teorią sprzężenie zwrotne w czasie rzeczywistym. Te luki uzasadniają opracowanie ram end-to-end, które (i) definiują wielowymiarowy konstrukt umiejętności oparty na wymaganiach aplikacji zdrowotnych, (ii) łączą heterogeniczne dane proceduralne poprzez skalibrowane wnioskowanie bayesowskie oraz (iii) przedstawiają ewoluujący stan przekonań poprzez interaktywne, specyficzne dla roli wizualizacje. W praktyce proponowane ramy dostarczają szpitalom narzędzia monitorujące jakość w czasie rzeczywistym, ograniczają zależność od długich cykli przeglądów ekspertów oraz umożliwiają bezpieczniejsze kliniczne stosowanie urządzeń specyficznych dla pacjenta. Centra szkoleniowe mogłyby wykorzystać te ramy do dostarczania uporządkowanej i opartej na danych informacji zwrotnej, która ułatwia rozwój uczniów oraz wspiera ustanawianie standaryzowanych standardów kompetencji w różnych grupach. Dla regulatorów proponowane ramy oferują audytowalny i przejrzysty mechanizm dokumentowania kompetencji w zakresie przepływu pracy, zgodny z nowymi wymaganiami ciągłej walidacji procesów drukowania medycznego 3D. Opierając się na tych motywacjach, badanie projektuje i waliduje ramy analityki wizualnej, które ilościowo określają umiejętności inżynierskie w modelowaniu 3D wspomaganym przez AI, skoncentrowanym na zdrowiu. Konkretnie, ramy mają na celu zdefiniowanie wielowymiarowego konstruktu umiejętności opartego na wypełnieniu z porowatych kości, kątach naczyniowych oraz innych tolerancjach anatomicznych; synchronizować spojrzenie, ruchy rąk, sygnały fizjologiczne i dane interakcji AI z rozdzielczością poniżej sekundy; łączenie tych heterogenicznych strumieni danych poprzez aktualizację bayesowską, aby wygenerować ewoluujące przekonanie kompetencji z wyraźną pewnością; przedstawiać to przekonanie poprzez mapy radarowe w czasie rzeczywistym, mapy cieplne i adnotacje 3D do natychmiastowego szkolenia lub certyfikacji; oraz utrzymanie dokładności oceny na poziomie co najmniej 90% dzięki kalibracji aktywnej uczenia, która dostosowuje się do nowych drukarek, modeli AI lub reguł klinicznych bez konieczności pełnego ponownego szkolenia.

Niniejsze badanie odpowiada na dwa kluczowe pytania: czy wielomodalna fuzja danych poprawia dokładność oceny umiejętności w porównaniu do oceny ekspertów oraz czy aktualizacja bayesowska umożliwia utrzymanie dokładności oceny bez konieczności pełnego ponownego trenowania modelu.

Protokół

Badanie to obejmowało uczestników ludzkich i zostało zweryfikowane oraz zatwierdzone przez Komisję Etyki ds. Ochrony Badań Ludzkich, Xianda College of Economics and Humanities, Shanghai International Studies University (Approval No. 2025XD1221). Wszyscy uczestnicy podpisali formularze świadomej zgody i ukończyli 30-minutowe szkolenie przedeksperymentalne: uczestnicy EG nauczyli się interpretować wizualne sprzężenie zwrotne ram (wykresy radarowe, mapy cieplne), podczas gdy uczestnicy CG otrzymali jedynie szkolenie z obsługi platformy. Aby zapewnić precyzję w zbieraniu danych, przedeksperyment obejmował także 5-minutową kalibrację oczu i czujników fizjologicznych.

Cele badania i przegląd protokołu

Celem tego badania było stworzenie zamkniętego, kompleksowego systemu integrującego multimodalne pozyskiwanie, ekstrakcję cech, fuzję bayesowską oraz wizualne sprzężenie zwrotne, aby ocenić umiejętności inżynierskie w sposób interpretowalny. Rysunek 1 przedstawia schemat protokołu do oceny umiejętności inżynierskich w zastosowaniach zdrowotnych na podstawie modelowania 3D wspomaganego sztuczną inteligencją.

Przegląd ram i logika hierarchiczna

Wizualne ramy oceny umiejętności inżynierskich w aplikacjach zdrowotnych wspomaganych przez AI w modelowaniu 3D zaproponowanym w tym badaniu opierają się na zamkniętej pętli "danych – ekstrakcja cech – fuzja dowodów – wizualna informacja zwrotna". Jej głównym celem jest osiągnięcie end-to-end konwersji z wielomodalnych surowych danych do interpretowalnych wyników oceny umiejętności²². Aby zapewnić niezawodne wydobywanie cech multimodalnych do oceny umiejętności inżynierskich, ramy jednocześnie rejestrują interakcje, sygnały fizjologiczne, spojrzenie, gesty i głos z synchronizacją czasową na poziomie milisekundowym. Ramy przyjmują hierarchiczny projekt architektury, składający się z czterech podstawowych warstw: Warstwy Wielomodalnego Pozyskiwania Danych (L1), Warstwy Ekstrakcji Cech AI (L2), Silnika Fuzji i Punktacji Dowodów (L3) oraz Warstwy Informacji Zwrotnej (L4). Każda warstwa realizuje dwukierunkową interakcję poprzez standaryzowane interfejsy danych, a jednocześnie wprowadzany jest moduł kalibracji ram (L5), aby zapewnić dynamiczną wiarygodność wyników oceny. Rysunek 2 przedstawia proces end-to-end, zaczynając od multimodalnego pozyskiwania danych (spojrzenie, kinematyka, fizjologia, głos) poprzez ekstrakcję cech opartą na AI, punktację bayesowską oraz sprzężenie zwrotne w czasie rzeczywistym wizualnym i audiowizualnym. Warstwy są interaktywne, a warstwa 5 zapewnia ciągłą kalibrację. Ta architektura umożliwia skoordynowane przetwarzanie i zweryfikowaną estymację umiejętności uczestników podczas wykonywania zadań modelowania 3D na żywo.

Równanie (1) Formuła aktualizacji pewności bayesowskiej:

Gdzie: P(θ) oznacza przygodne prawdopodobieństwo poziomu umiejętności θ (na podstawie danych historycznych ocen); P(D∥θ) oznacza prawdopodobieństwo zaobserwowania wielomodalnych danych cech D na poziomie umiejętności θ; P(D) to prawdopodobieństwo krańcowe; P(D∥θ) to posteriorne prawdopodobieństwo poziomu umiejętności θ po fuzji danych D, czyli ostateczny wynik pewności. Ramy te wykorzystywały uporządkowane podejście Delphi i AHP²³ do wskaźników wagowych. Panel dziesięciu ekspertów (ortopedów, inżynierów biomedycznych oraz doświadczeni modelarze CAD medycznych) uczestniczył w trzech rundach Delphi, oceniając znaczenie wskaźnika na 9-punktowej skali Likerta, aż do osiągnięcia stabilności (współczynnik zmienności <0,15)²⁴. Następnie, korzystając z zbieżnych/rozłożonych wyników ekspertów, zbudowano macierz porównawczą parą, którą potwierdzono za pomocą kryterium spójności AHP z wskaźnikiem spójności (CR) < 0,1. Jeśli CR przekroczyło 0,1, macierz była ponownie korygowana. Współczynniki spójności metod AHP dla macierzy porównawczych parowych mieściały się od 0,03 do 0,08, co wskazuje na dużą wewnętrzną spójność logiczną w wielopoziomowym podejściu hierarchicznym. Projekt każdej warstwy w frameworku opiera się na zasadzie "modularności – rozszerzalności". Na przykład warstwa L1 może rozszerzać wymiar zbierania danych fizjologicznych poprzez dodanie biosensorów; Warstwa L2 może dostosować się do wymagań oceny umiejętności różnych zastosowań zdrowotnych, zastępując wcześniej wytrenowane modele; Warstwa L4 obsługuje niestandardowe wymiary wizualizacji oparte na rolach użytkownika. Zapewnia to elastyczność w dalszych zastosowaniach w edukacji modelowania medycznego 3D oraz w scenariuszach certyfikacji umiejętności zawodowych.

Warstwa wielomodalnego akwizycji danych

Strumień zdarzeń interakcji 3D

Ten moduł zbiera dane operacyjne inżynierów z platform modelowania 3D wspomaganego AI, korzystając z wtyczek programowych (16), obejmujących zarówno dyskretne zdarzenia operacyjne, jak i dane ciągłe parametrów. Zdarzenia dyskretne obejmują wybór modelu, korektę wierzchołków oraz wywołanie narzędzi AI, natomiast parametry ciągłe obejmują szybkość modelowania, liczbę cofnięć/powtórzeń oraz wskaźniki akceptacji sugestii AI. Każde zdarzenie jest rejestrowane z 13-cyfrowym znacznikiem czasu oraz odpowiadającymi wartościami układu współrzędnych modelu 3D (x, y, z). Na przykład, podczas regulacji krzywizny modelu implantu ortopedycznego, wtyczka rejestruje czasy rozpoczęcia i końca operacji, korygowanie współrzędnych wierzchołków oraz zmiany krzywizny, tworząc tym samym ustrukturyzowany dziennik zdarzeń (patrz Tabela 1 do Tabela 3 dla pól danych). Dane te są następnie przetwarzane za pomocą dedykowanych algorytmów do obliczania specyficznych dla dziedziny wskaźników geometrycznych, efektywności i poznawczych, co umożliwia precyzyjną charakterystykę zachowań modelujących w zastosowaniach związanych ze zdrowiem.

Ruchy oczu i sygnały gestowe

Dane o ruchach oczu są pozyskiwane za pomocą desktopowego trackera oczu, koncentrującego się na punktach fiksacji i parametrach sakady w interfejsie modelowania 3D, które odzwierciedlają rozkład uwagi poznawczą inżyniera.

Sygnały gestów są rejestrowane przez kamerę głębiową, która wyodrębnia 22 współrzędne stawów klucza kończyn górnych, aby zidentyfikować typowe gesty modelowania²⁵. Kamera przekształca dane współrzędnych gestów 3D na znormalizowane sekwencje wektorowe, aby zminimalizować różnice w rozmiarze ciała indywidualnego.

Synchronizacja danych w tym module opiera się na zunifikowanym wyzwalaczu sprzętowym frameworka (znacznik czasowy 10 Hz z oprogramowania do modelowania 3D), z błędem synchronizacji kontrolowanym w ciągu ±50 ms (obliczanym za pomocą równania 3-2), aby zapewnić korelację czasową między zachowaniami oczu i gestami a operacjami modelowania ²⁶. Równanie (2) przedstawia obliczenie błędu synchronizacji danych:

   (2)

Gdzie: E_t = błąd synchronizacji między czasem akwizycji urządzenia (_{t urządzenie}) a znacznikiem czasu oprogramowania (_{t software}); _{t Device} = rzeczywisty czas akwizycji kamery do śledzenia oczu/głębi; _{t software} = wyzwalanie znacznika czasu z oprogramowania do modelowania 3D.

Dane fizjologiczne i głosowe

Dane fizjologiczne są zbierane za pomocą czujników noszonych: czujnika elektromiograficznego (EMG) (częstotliwość próbkowania 1000 Hz) ²⁷, przymocowanego do przedramienia inżyniera do rejestrowania napięcia mięśni podczas precyzyjnych operacji, odzwierciedlając stabilność operacyjną. Sensor elektrokardiograficzny (EKG) (częstotliwość pobierania 250 Hz^{): Nosi} się go na klatce piersiowej w celu zbierania wskaźników zmienności tętna (HRV), które charakteryzują obciążenie poznawcze. Dane głosowe są rejestrowane przez mikrofon kierunkowy (częstotliwość próbkowania 44,1 kHz^{), nagrywając} werbalne komentarze inżynierów podczas modelowania, aby uzupełnić analizę stanu poznawczego. Wszystkie dane fizjologiczne i głosowe przechodzą wstępne przetwarzanie przed zapisaniem w wielomodalnej bazie danych z oznacznikiem czasowym. Rysunek 3 ilustruje fizyczną konfigurację sprzętu eksperymentalnego. Dane z czujników z urządzeń noszonych EMG/EKG, mikrofonu, trackera oczu oraz kamery głębinowej są połączone ze stacją roboczą do modelowania 3D. Przed zapisem danych czasowych w bazie multimodalnej, moduł synchronizacji koryguje wszystkie strumienie (w margineście ±50 ms). Ta specyfikacja materiałowa oznacza niezawodne, czasowo dopasowane dane wejściowe do procesu ekstrakcji cech i oceniania.

Warstwa ekstrakcji cech AI

Geometryczne wskaźniki jakości

Ten moduł wyodrębnia ilościowe cechy odzwierciedlające dokładność i racjonalność modeli 3D ze strumienia zdarzeń interakcji 3D oraz końcowego wyniku modelu, stanowiąc podstawową podstawę do oceny umiejętności inżynierów w zakresie "precyzji modelowania". Aby ocenić dokładność strukturalną, zgodność anatomiczną oraz kompletność modelu 3D z wykorzystaniem odchyleń, topologii i metryk cech opartych na szablonach, zaprojektowano trzy kluczowe wskaźniki, z metodami obliczeń i znaczeniem fizycznym opisanymi poniżej:

Wskaźnik odchyleń modelu (MDR)

Mierzy ona geometryczne odchylenie między wynikiem zaprojektowanym przez inżyniera a standardowym szablonem. Odchylenie oblicza się poprzez porównanie euklidesowej odległości kluczowych punktów cech między dwoma modelami. Wzór przedstawiono w równaniu (3):

   (3)

Gdzie: n = liczba z góry zdefiniowanych kluczowych punktów cech (ustawionych na 50-100 w zależności od złożoności modelu); P_i,inżynier = współrzędne trójwymiarowe i-tego punktu cechowego w modelu inżyniera; P_i,standard = współrzędne 3D i-tego punktu cechy w szablonie standardowym; |⋅| = Operator odległości euklidesowej.

Niższy wskaźnik MDR oznacza większą spójność ze standardowym modelem, z progiem ≤ 5% dla kwalifikowanych modeli aplikacji zdrowotnych. Kompetencje modelowania oceniano na podstawie efektywności czasowej, redundantnych ruchów, stabilności gestów oraz wzorców wykorzystania proponowanych narzędzi AI podczas scenariuszy operacyjnych 3D w czasie rzeczywistym.

Spójność topologiczna (TC)

Ocena ta ocenia, czy struktura topologiczna modelu 3D spełnia wymagania zastosowań medycznych. Wskaźnik oblicza się przez zliczenie liczby defektów topologicznych (D) oraz całkowitej liczby elementów topologicznych (T, suma wierzchołków, krawędzi i ścian) w modelu, jak pokazano w równaniu (4):

   (4)

Na przykład, jeśli model stawu kolanowego zawiera 2 krawędzie nierozmaitości (D = 2) i łącznie 1200 elementów topologicznych (T = 1200), wynosi to 99,83%. Aby modele medyczne mogły uniknąć ryzyka produkcyjnego, wymagane jest ≥ 98%.

Kompletność funkcji (FC)

Ocena ta ocenia, czy inżynier w pełni wdrożył wszystkie obowiązkowe funkcje modelu aplikacji zdrowotnych. Wskaźnik jest określany przez porównanie liczby ukończonych obowiązkowych funkcji (F_ukończone) z całkowitą liczbą obowiązkowych funkcji (_{F łącznie}) określonych w wymaganiach zadania:

   (5)

Wskaźniki efektywności behawioralnej

Ten moduł przetwarza strumienie zdarzeń interakcji 3D oraz sygnały gestów, aby wyodrębnić cechy odzwierciedlające efektywność operacji modelowania inżynierów, oceniając ich umiejętności "biegłości operacyjnej". Wymagania poznawcze związane z modelowaniem mierzono za pomocą zsynchronizowanych sygnałów fizjologicznych, spojrzenia i EMG. Wskaźniki te śledzą rozkład uwagi w czasie oraz wahania obciążenia podczas procesu modelowania.

Efektywność modelowania czasu (MTE)

Porównuje to rzeczywisty czas modelowania inżyniera (T_rzeczywisty) ze średnim czasem starszych ekspertów na to samo zadanie (_{T ekspert}), znormalizowany do wyniku 0-100:

   (6)

Na przykład, jeśli inżynier potrzebuje 45 minut na wykonanie zadania, na które eksperci średnio zajmują 30 minut, to jest 100 - (45 - 30) x 50 = 75, co wskazuje na umiarkowaną efektywność.

Redundantna szybkość pracy (ROR)

Uwzględnia ona udział niepotrzebnych operacji w procesie modelowania. Oblicza się go jako stosunek liczby redundantnych operacji (O_redundant) do całkowitej liczby operacji (O_suma):

   (7)

Operacje redundantne są identyfikowane przez algorytm AI za pomocą dopasowywania reguł i analizy spójności gestów.

Wskaźnik wykorzystania narzędzi AI (ATUR)

Mierzy on zdolność inżyniera do wykorzystania funkcji wspomaganych przez AI w celu zwiększenia efektywności. Definiuje się go jako stosunek liczby wywołań narzędzi AI (I_AI) do całkowitej liczby wywołań narzędzi (_{I całkowita}):

   (8)

Wyższy ATUR oznacza lepszą integrację narzędzi AI z procesem modelowania, co jest kluczową umiejętnością dla nowoczesnego modelowania medycznego 3D.

Płynność gestów (GS)

Ocena ta ocenia stabilność ruchów kończyn górnych inżyniera podczas modelowania. Wskaźnik oblicza się na podstawie odchylenia standardowego prędkości 22 stawów klucza górnych kończyn (v_j) w czasie:

   (9)

Niższe odchylenie standardowe (a więc wyższe GS) oznacza płynniejsze gesty, odzwierciedlające wyższą sprawność operacyjną. Wskaźniki te są wyodrębniane w czasie rzeczywistym podczas procesu modelowania, a algorytm AI aktualizuje wartości wskaźników co 5 minut i przechowuje je w bazie cech do późniejszej fuzji.

Wskaźniki obciążenia poznawczego

Ten moduł analizuje sygnały ruchu oczu oraz dane fizjologiczne, aby ilościowo określić obciążenie poznawcze inżyniera podczas modelowania, oceniając jego umiejętności "adaptacji poznawczej". Wskaźniki multimodalne były ważone przy użyciu podejścia Delphi-AHP oraz aktualizacji dowodów bayesowskich, aby uzyskać w czasie rzeczywistym, probabilistyczne wyniki umiejętności inżynierskich. Opracowano trzy kluczowe wskaźniki:

Dyspersja fiksacji (FD)

Odzwierciedla to rozkład wizualnej uwagi inżyniera. Oblicza się ją jako euklidesową odległość między maksymalnymi a minimalnymi współrzędnymi punktu fiksacji ( (_{x maks,y maks}) oraz (x_{min,y min}) ) w interfejsie modelowania 3D w 2-minutowym oknie:

   (10)

Większy FD oznacza rozproszoną uwagę, często związaną z wysokim obciążeniem poznawczym.

Zmienność tętna (HRV) - SDNN

SDNN (Odchylenie standardowe przedziałów normalnych do normalnych) jest wyodrębniane z danych EKG w celu pomiaru wahań tętna inżyniera. Niższe SDNN wskazuje na wyższą aktywność nerwów współczulnych, co odzwierciedla zwiększone obciążenie poznawcze. Algorytm AI najpierw filtruje szum EKG (za pomocą transformaty falkowej), a następnie oblicza SDNN za pomocą równania (11):

   (11)

Gdzie: N = liczba normalnych uderzeń serca w 5-minutowym oknie; RR_k = interwał czasu między k-tym a (k + 1)-tym normalnym biciem serca; = średni przedział RR w oknie.

Elektromiografia (EMG) – średnia kwadrat pierwiastkowy (RMS)

RMS sygnałów EMG przedramienia odzwierciedla napięcie mięśni: wyższy RMS wskazuje na zwiększone sztywność mięśni spowodowaną stresem poznawczym. Wzór kalkulacyjny wygląda następująco:

   (12)

Gdzie: m = liczba próbek sygnału EMG w oknie 1-minutowym, a EMG(t) = amplituda sygnału EMG w czasie t. Stworzono diagram podsumowujący, aby ułatwić jasność koncepcyjną i ułatwić powtórzenie badań. Ilustruje hierarchiczną zależność między dziesięcioma wskaźnikami oceny oraz trzema głównymi konstrukcjami stojącymi za proponowanym ramą: jakością geometryczną, efektywnością operacyjną oraz zdolnością poznawczą adaptacji. Ten diagram pokazuje, jak sygnały wejściowe wielomodalne są przekształcane w mierzalne wskaźniki, które następnie są fuzowane w podejściu bayesowskim w celu stworzenia złożonego wyniku umiejętności inżynierskich. Ten przegląd przedstawia skróconą wersję logiki oceny i zwiększa przejrzystość metodologiczną tego badania zarówno w sposób formatywny, jak i dla przyszłego kierunku edukacyjnego i regulacyjnego. Rysunek 4 przedstawia hierarchiczną strukturę sugerowanego ramowego systemu oceny umiejętności inżynierskich, który organizuje dziesięć wskaźników multimodalnych w trzy podstawowe konstrukcje: jakość geometryczną, efektywność operacyjną oraz elastyczność poznawczą. Czynniki te wpływają na ogólny wynik umiejętności stosowany do oceny wydajności modelowania 3D wspomaganego AI.

Silnik fuzji dowodów i punktacji

Przydział wagi wskaźnikowej (Delphi + AHP)

Ten moduł rozwiązuje problem różnicowania znaczenia między cechami wielowymiarowymi, łącząc metodę Delphi (konsensus ekspertów) oraz Proces Hierarchii Analitycznej (AHP), aby przypisać wagi dziesięciu wyodrębnionym wskaźnikom (trzy geometryczne wskaźniki jakości, cztery wskaźniki efektywności behawioralnej i trzy wskaźniki obciążenia poznawczo) oraz reprezentować te złożone wskaźniki multimodalne w formach wizualnych i interpretowalnych, takie jak wykresy radarowe, mapy ciepła oraz odtworzenia z adnotacjami do wnioskowania diagnostycznego istotnego dla biomedycznych.

Etap konsensusu Delfi

Panel dziesięciu ekspertów ocenił znaczenie każdego wskaźnika za pomocą 9-punktowej skali (1 = "najmniej istotny", 9 = "najważniejszy") w trzech rundach anonimowych kwestionariuszy. Po każdej rundzie panel otrzymuje statystyczne informacje zwrotne – obejmujące średnie wyniki i współczynniki zmienności (CV) – aby ułatwić korektę wyniku. Zbieżność została zdefiniowana jako CV ≤ 0,15 dla każdego wskaźnika. Warto zauważyć, że konsensus co do wskaźników takich jak Model Deviation Rate (MDR) i Wskaźnik Wykorzystania Narzędzi AI (ATUR) był zazwyczaj osiągany już w drugiej rundzie, co przypisywano ich bezpośredniej istotności klinicznej.

Aby zapewnić solidność techniczną, protokół standaryzował wielomodalne wyrównanie danych (tolerancja synchronizacji ≤ 50 ms; zunifikowany zegar wyzwalający 30 Hz) oraz metody obliczania wskaźników. Na przykład MDR został wyprowadzony z 50-100 punktów kluczowych anatomicznych, podczas gdy próg spójności topologicznej (TC) został ustawiony na >98% dla elementów wolnych od wad. Progi te były uzasadnione w odniesieniu do standardów tolerancji klinicznych, takich jak odchylenie < 5% dla kości porowatej oraz błąd < 3° dla kątów bifurkacji naczyń. Ponadto metodologia uwzględniała ocenę bayesowską z modelowaniem wiarygodności Gaussa (wykorzystując skalibrowane zakresy σ dla różnych poziomów umiejętności) oraz wykorzystała ekstraktor cech CNN-LSTM trenowany z rozmiarem partii 32, wskaźnikiem uczenia 1 x ^10-4 oraz 120 epoch.

Establishment hierarchii AHP

Tworzy się hierarchię trzech poziomów: Warstwa docelowa (A): kompleksowa ocena umiejętności inżynierskich; Warstwa kryterialna (B): 3 wskaźniki pierwszego poziomu (B1: Jakość geometryczna, B2: Efektywność behawioralna, B3: Obciążenie poznawcze); Warstwa wskaźnikowa (C): 10 wskaźników drugiego poziomu (C1: MDR, C2: TC, ..., C10: EMG RMS).

Porównanie parowe i kontrola spójności

Na podstawie wyników konsensusu Delphi konstruowana jest parowa macierz porównawcza dla warstwy kryterialnej i warstwy wskaźnikowej. Biorąc za przykład warstwę Kryterium – macierz definiuje się jako:

   (13)

Gdzie:_{a ij} to stosunek ważności B_j do B_j. Wektor wagowy warstwy kryterialnej (W_B = [w_{B1,w B2,w B3}]) jest obliczany metodą wektorów własnych. Aby uniknąć sprzeczności logicznych, stosunek spójności (CR) sprawdza się za pomocą równania (14):

   (14)

Gdzie: ( λ_max = maksymalna wartość własna macierzy = liczba wskaźników), a jest losowym indeksem spójności (dla n = 3, RI = 0,58). Wynik jest akceptowalny, jeśli CR < 0,1.

W trakcie tego procesu uzyskuje się typowe wagi: (Jakość geometryczna), (Efektywność behawioralna), (Obciążenie poznawcze); waga MDR (C1) w warstwie wskaźnikowej jest zazwyczaj najwyższa (~0,25), natomiast EMG RMS (C10) jest najniższa (~0,05).

Aktualizacja pewności bayesowskiej

Moduł ten łączy ważone wskaźniki, aby wygenerować ostateczny wynik pewności umiejętności, rozwiązując "niepewność oceny pojedynczej cechy" poprzez aktualizację wcześniejszych prawdopodobieństw o dane multimodalne w czasie rzeczywistym. Proces opiera się na równaniu (1) (wzór bayesowski) i jest realizowany w dwóch etapach:

Krok 1: Wcześniejsza inicjalizacja prawdopodobieństwa (P(θ))

Poziom umiejętności podzielony jest na 5 stopni: (Nowicjusz), (Początkujący), (Średniozaawansowany), (Zaawansowany), (Ekspert). Prawdopodobieństwo akrobatu jest inicjalizowane na podstawie danych historycznych: jeśli system ocenił 500 inżynierów, a 100 jest klasyfikowanych jako θ₃, to P(θ₃) = 100/500 = 0,2. Dla nowych użytkowników bez danych historycznych przyjmuje się jednolity priorytet (P(θ_i) = 0,2 dla wszystkich i).

Krok 2: Obliczenia prawdopodobieństwa posteriornego (P(θ∥D))

Dane wielomodalne to ważona suma 10 znormalizowanych wskaźników:

   (15)

Gdzie: w_Ck to waga k-tego wskaźnika (z sekcji 3.4.1), a_{Ck norma} to znormalizowana wartość k-tego wskaźnika (zakres [0,1]).

Prawdopodobieństwo prawdopodobieństwa modeluje się za pomocą rozkładu Gaussa, zakładając, że dane cech inżynierów na poziomie umiejętności są zgodne z (średnia μ_i, wariancja ). Parametry te są kalibrowane przy użyciu 200 oznaczonych próbek.

Na koniec, prawdopodobieństwo posteriorne oblicza się za pomocą równania (3-1), a stopień umiejętności odpowiadający maksimum to wynik oceny w czasie rzeczywistym. Na przykład, jeśli D inżyniera = 0,72 i (wyższe niż inne stopnie), klasyfikuje się go jako "Zaawansowany".

Aby zobrazować proces aktualizacji pewności, Rysunek 5 pokazuje, jak znane prawdopodobieństwa równych umiejętności są aktualizowane do rozkładu posteriornego, wykorzystując wnioskowanie bayesowskie i sygnały w czasie rzeczywistym jako dowód. Po obserwacji zadania model aktualizuje się, aby wzmocnić dowody w kierunku poziomu umiejętności z największym prawdopodobieństwem posteriornym. Testy walidacyjne wykazały silną stabilność zbieżności stopni ekspertów, a wyniki bayesowskie silnie korelowały z ocenami ekspertów, co wspierało zaufane wykorzystanie aktualizacji bayesowskiej w procesie.

Wyjściem tej warstwy jest kompleksowy wynik umiejętności (0-100, odwzorowany na podstawie maksymalnej prawdopodobieństwa posterior) oraz przedział ufności, który jest przesyłany do Visual Feedback Layer dla intuicyjnej prezentacji.

Warstwa wizualnego sprzężenia zwrotnego

Wykres radarowy w czasie rzeczywistym

Ten moduł przekształca 10 znormalizowanych wskaźników oraz 3 trzypoziomowe wyniki kryteriów w wykres radarowy, umożliwiając intuicyjne porównanie mocnych i słabych stron inżynierów. Wykres radarowy jest zaprojektowany z 7 osiami (3 dla kryteriów pierwszego poziomu: B1-B3; 4 dla podstawowych wskaźników drugiego poziomu: C1=MDR, C4=ATUR, C7=FD, C9=SDNN-wybrane ze względu na dużą wagę i interpretowalność), przy czym każdy zakres osi jest znormalizowany do [0,100] (odwzorowany na podstawie wartości znormalizowanych [0,1] za pomocą równania 3-7). Aby stale poprawiać dokładność pomiarów poprzez eksperckie adnotacje i aktualizacje aktywnego uczenia się na początku ramy, włącza się kontekst modelowania zdrowia oraz rosnące zrozumienie.

Równanie (16) Mapowanie wartości wskaźnika na wykresie radarowym:

   (16)

Gdzie:_{V radar} = wartość wyświetlana na osi wykresu radarowego; _{Ck norm} = znormalizowana wartość k-tego wskaźnika (zakres [0,1]).

Wykres radarowy aktualizuje się w czasie rzeczywistym (co 5 minut) i zawiera dwa punkty odniesienia: standardową linię benchmarkową (linia przerywana,_{V radar} = 80, reprezentująca próg poziomu umiejętności "Zaawansowany") oraz linię średnią ekspertów (linię przerywaną, obliczaną na podstawie danych historycznych 50 starszych inżynierów). Rysunek 6 pokazuje zachowanie inżyniera w zestawie kluczowych wskaźników: jakości geometrycznej, obciążenia poznawczego, efektywności użycia narzędzi oraz rozproszenia fiksacji, w porównaniu z odpowiednimi ekspertami benchmarkowymi. W ramach warstwy sprzężenia zwrotnego, prawdziwe wyniki, wykorzystując połączone metryki, były tłumaczone na interpretowalny profil. Badania użytkowników wykazały jego skuteczność w szybkim wykrywaniu luk kompetencyjnych, jednocześnie promując uporządkowane, oparte na danych obliczenia dla poprawy podczas zadań modelowania.

Mapa ciepła temporalna

Ten moduł wizualizuje dynamiczny trend zmian wskaźników umiejętności w całym procesie modelowania, pomagając zidentyfikować okresy, w których inżynierowie napotykają trudności. Mapa ciepła wykorzystuje siatkę 2D: oś x reprezentuje interwały czasowe (segmenty po 10 minut, łącznie 12 segmentów dla zadania trwającego 2 godziny), a oś y oznacza 5 kluczowych wskaźników (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). Intensywność koloru każdej komórki siatki odpowiada znormalizowanej wartości wskaźnika, z skalą kolorów od niebieskiego (niska wartość, słaba wydajność:_{Ck norma} < 0,5) do czerwonego (wysoka wartość, dobra wydajność:_{Ck norma} < 0,8), zgodnie z definicją w równaniu (17):

Równanie (3-8) przedstawia obliczanie intensywności koloru dla mapy cieplnej:

   (17)

Gdzie:_{I color} = wartość intensywności RGB (0-255, 0=niebieski, 255=czerwony); min(_{Ck norma}) i max(_{Ck norma}) = minimalne i maksymalne znormalizowane wartości wskaźnika we wszystkich przedziałach czasowych.

Rysunek 7 ilustruje zmiany w czasie rozwiązywania obciążenia poznawczego, rozproszenie fiksacji, stabilności spojrzenia oraz metryk opóźnienia decyzji w segmentach 10-minutowych. Należy zauważyć, że wyróżnione regiony wskazują na wysokie zapotrzebowanie poznawcze lub zakłócenia w przepływie pracy. Ten widok czasu jest generowany bezpośrednio z koalescentnych strumieni multimodalnych, wspierany przez adnotacje ekspertów, co podkreśla jego kluczową rolę w modelowaniu zmęczenia, przesunięcia uwagi i trudności specyficznych dla zadań.

Adnotacje odtwarzania D

Ten moduł nakłada adnotacje oceny umiejętności na odtwarzanie operacji modelu 3D, umożliwiając krok po kroku analizę zachowań inżyniera podczas modelowania. Prędkość odtwarzania jest regulowana (0,5×-2× czasu rzeczywistego) i synchronizuje się z wielomodalnym znacznikiem czasu. Osadzone są trzy typy adnotacji: Adnotacje błędu geometrycznego: Czerwone wireframe'y podkreślają obszary modelu, w których MDR (C1) przekracza 5% (kwalifikowany próg), a etykiety tekstowe pokazują wartość odchylenia. Ostrzeżenia o efektywności: Żółte wykrzykniki pojawiają się w miejscach operacji redundantnych, a okienka wyskakujące pokazują typ operacji. Adnotacje obciążenia poznawczego: zielone/czerwone paski statusu w rogu wskazują obciążenie poznawcze w czasie rzeczywistym (na podstawie C9: SDNN i C10: EMG RMS), gdzie czerwony oznacza "Wysokie obciążenie" (SDNN < 50 ms), a zielony oznacza "Normalne obciążenie" (SDNN > 100 ms).

Kalibracja ram i iteracja

Interfejs eksperckiej adnotacji

Moduł ten zapewnia interfejs z udziałem człowieka w pętli, dzięki któremu starsi eksperci mogą korygować i oznaczać wyniki oceny ram, odpowiadając na "dryf dokładności oceny" spowodowany zmianami w scenariuszach aplikacji zdrowotnych. Interfejs został zaprojektowany z trzema kluczowymi funkcjami: korektą wyników, ponownym ważeniem wskaźników oraz przechowywaniem adnotacji.

Funkcja korekcji wyników

Eksperci najpierw przeglądają wizualne wyniki informacji zwrotnej oraz kompleksowy wynik umiejętności ram (0-100). Jeśli wynik odbiega od oceny eksperta, ekspert może ręcznie poprawić wynik i zanotować powód. Wartość korekcyjna jest ilościowana za pomocą równania (18):

   (18)

Gdzie: S_poprawione = końcowy skorygowany wynik; _Ramy S = początkowy wynik generowany przez ramę; S_expert = wynik manualny eksperta; α = waga korekcyjna (domyślnie ustawiona na 0,8, zapewniając dominację ekspertyzy przy zachowaniu racjonalności ramowej).

Funkcja ponownego ważenia wskaźników

Do kalibracji specyficznej dla konkretnych scenariuszy eksperci mogą regulować wagę poszczególnych wskaźników za pomocą przesuwanego paska (zakres 0-0,5). Interfejs automatycznie ponownie oblicza stosunek spójności (CR) po korektie (używając równania 3-6) i informuje ekspertów o tym (nielogiczny rozkład wag), zapewniając, że skorygowane wagi pozostają matematycznie poprawne.

Funkcja przechowywania adnotacji

Wszystkie poprawione wyniki, skorygowane wagi i komentarze eksperckie są przechowywane w opatrzonej adnotacjami bazie danych z znacznikami czasu i tagami scenariuszy. Ta baza danych służy jako dane treningowe dla kolejnego modułu aktywnego uczenia się online, z typowym schematem danych przedstawionym w Tabeli 2.

Aktualizacja aktywnej nauki online

Ten moduł wykorzystuje dane z adnotacjami do iteracyjnej optymalizacji podstawowych algorytmów frameworka (modele ekstrakcji cech AI w L2 oraz silnik punktacji bayesowskiej w L3), umożliwiając ramowi adaptację do nowych scenariuszy aplikacji zdrowotnych bez pełnego ponownego trenowania. Proces aktualizacji opiera się na strategii zapytań przez komitet (QBC), podzielonej na trzy etapy:

Etap 1: Obliczenie niepewności

Wdrożone są trzy równoległe "modele komitetowe" (wszystkie oparte na tej samej architekturze co model ekstrakcji cech L2, ale trenowane na różnych historycznych zbiorach danych):

Model A: Wytrenowany na danych modelowania implantów ortopedycznych;

Model B: Wytrenowany na danych z rekonstrukcji organów;

Model C: Wytrenowany na danych modelowania implantów zębowych.

Dla każdej nieoznaczonej próby (dane modelowania inżyniera) modele komitetowe generują trzy przewidywane wyniki umiejętności. Niepewność próby oblicza się za pomocą współczynnika zmienności (CV) trzech wyników:

   (19)

Gdzie:_{S A,SB,S C} = wyniki przewidywane przez trzy modele komisji; std (⋅)= odchylenie standardowe; = średnia z trzech punktów.

Wyższe CV oznacza większą niezgodność między modelami komisji (wyższą niepewność), co oznacza, że próbka jest bardziej wartościowa do adnotacji.

Etap 2: Wybór próbki

Ramy wybierają najlepsze 10% próbek o najwyższym CV i przesyłają je do interfejsu eksperckiego adnotacji w celu oznaczania. Ta metoda aktywnego wyboru zmniejsza liczbę próbek wymagających eksperckiej adnotacji (w porównaniu do losowego wyboru) o 40-60%, poprawiając efektywność kalibracji.

Etap 3: Przeszkolenie i aktualizacja modelu

Nowo przypisane próbki są wykorzystywane do precyzyjnego dostrojenia algorytmów frameworka:

Dla modeli ekstrakcji cech L2: Model jest trenowany ponownie z tempem uczenia 1e-5 (10% początkowej szybkości treningu) z wykorzystaniem adnotowanych danych błędów geometrycznych, aktualizując tylko ostatnie dwie warstwy, aby uniknąć nadmiernego dopasowania.

Dla silnika punktacji bayesowskiej L3: Parametry rozkładu Gaussa () dla każdego poziomu umiejętności są aktualizowane na podstawie danych ocen z adnotacjami, a wzór aktualizacji przedstawiony jest w równaniu (20):

   (20)

Gdzie: = zaktualizowana średnia poziomu umiejętności θ_i; = oryginalna średnia przed aktualizacją; _S-θi = średni skorygowany wynik próbek z adnotacjami oznaczonych jako θ_i; β = czynnik zapominania (ustawiony na 0,7, równoważąc dane historyczne i nowe adnotacje).

Zaktualizowany framework jest wdrażany online natychmiast po ponownym przeszkoleniu, z kontrolą wydajności przed wdrożeniem: jeśli średni błąd bezwzględny między nowym wyjściem frameworka a adnotacjami eksperckimi wynosi ≤3 (zmniejszony o ≥20% względem poprzedniej wersji), aktualizacja zostaje potwierdzona; w przeciwnym razie proces przetrenowania powtarza się z dodatkowymi annotowanymi próbkami.

Ten iteracyjny mechanizm kalibracji zapewnia, że dokładność oceny ramy pozostaje powyżej 90%, nawet gdy technologie modelowania 3D w zastosowaniach zdrowotnych się rozwijają, zachowując długoterminową elastyczność.

Wyniki

Wyniki oceniają trafność, wiarygodność i użyteczność ram poprzez eksperymentalną ocenę dyskryminacji umiejętności, trafności konstrukcji, trafności predykcyjnej oraz skuteczności informacji zwrotnej w czasie rzeczywistym.

Projektowanie eksperymentalne

Eksperymenty przeprowadzono w środowisku Python na komputerze z 12-rdzeniowym procesorem Intel, 32 GB RAM i 1 TB pamięci SSD. Do synchronizacji danych używano NumPy i Pandas. Do wyodrębniania cech wyko...

Dyskusja

Chociaż istniejące ramy modelowania i interakcji 3D są nieliczne i w kilku przypadkach mogą dostarczyć przydatnych informacji, oceniają one możliwości inżynierskie w zadaniach modelowania 3D. Większość wcześniejszych badań nad śledzeniem gestów i interfejsem¹⁹ ocenia zachowania interaktywne, a nie umiejętności użytkownika. Podobnie, w przypadku systemów edukacyjnych opartych na VR/haptyce²⁰, uczeń uzyskuje lepsze zrozumienie anatomii, ale nie może ilościowo ocenić dokładnoś...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Oprogramowanie do modelowania 3D wspomaganego przez AI	Materialise NV, Belgia	Naśladuje AI v25.0	Wykorzystywany do modelowania implantów mięśni udowych oraz zadań rekonstrukcji naczyń wątroby z segmentacją AI i wykrywaniem wad.
Eye Tracker (komputer)	Tobii Pro Fusion	TPF-120	Rejestruje dane fiksacji i sakady przy 120 Hz, aby ilościowo określić uwagę wzrokową podczas modelowania.