Onderzoek naar visuele evaluatie van technische vaardigheden in gezondheidstoepassingen op basis van kunstmatige intelligentie-ondersteunde 3D-modellering

Samenvatting

Dit onderzoek presenteert een multimodale, door AI gedreven methodologie om technische vaardigheden in medische 3D-modellering objectief te meten, waarbij geometrische, gedragsmatige en cognitieve markeringen worden geïntegreerd. Bayesiaanse fusie met realtime visuele analyse maakt een nauwkeurige vaardigheidsbeoordeling mogelijk die is gevalideerd over een breed scala aan taken en vaardigheidsniveaus van deelnemers.

Samenvatting

De door kunstmatige intelligentie (AI)-ondersteunde 3D-modellering is centraal geworden in de moderne gezondheidszorg, maar het vakgebied mist nog steeds een herhaalbare en schaalbare manier om technische competentie voor klinisch gebruikte digitale modellen te evalueren. Bestaande kwaliteitscontroles richten zich meestal op de uiteindelijke mesh-uitvoer zonder rekening te houden met de modelleringsworkflow, het gedrag van operators en interacties met AI-ondersteuning. Deze kloof belemmert reproduceerbaarheid, effectieve training en beperkt naleving van regelgeving. Dit werk stelt het eerste end-to-end visuele analyseframework voor dat is ontworpen om technische vaardigheden te meten en te communiceren tijdens gezondheidsgerichte 3D-modelleringstaken. Het voorgestelde kader definieert een domeinspecifiek construct van vaardigheid, variërend van geometrische nauwkeurigheid tot operationele vaardigheid en cognitieve aanpassingsvermogen, en kwantificeert deze dimensies via een set interpreteerbare gedrags-, geometrische en fysiologische indicatoren. Het integreert, binnen een vierlaagse architectuur, het vastleggen van multimodale data, realtime feature-extractie via lichtgewicht deep-learning modellen, Bayesiaanse bewijsfusie voor continue competentie-schatting en intuïtieve visuele feedbackmodules. Het systeem onderhoudt kalibratie voor nieuwe tools en modelleringsscenario's via een online active-learning-mechanisme dat de behoefte aan expert-annotatie minimaliseert. Het kader werd getest met 60 deelnemers die twee klinisch realistische modelleringstaken uitvoerden met betrekking tot het ontwerp van orthopedische implantaten en vasculaire reconstructie. De resultaten toonden sterke overeenstemming met deskundige beoordelingen, duidelijke onderscheiding tussen vaardigheidsniveaus en betekenisvolle voorspelling van toekomstige modelleringskwaliteit. Python werd respectievelijk gebruikt voor correlatie-, regressie-, validiteitstesten en visualisatietaken. Gebruiksvriendelijkheidstests gaven een hoge acceptatie aan; De deelnemers hechtten veel waarde aan de helderheid van de visuele feedback die zelfgestuurde verbetering ondersteunde. Uiteindelijk hervormt dit voorgestelde kader de 3D-modelleringsbeoordeling van een statisch resultaat in sectie naar een dynamische, procesgerichte review die wordt ondersteund door multimodaal bewijs. Het resultaat is een pragmatische, interpreteerbare en schaalbare oplossing voor training, certificering en regelgevend toezicht op gezondheidskritische 3D-modelleringsworkflows, en de basis voor toekomstige samenwerking tussen mens en AI en competentieanalyse in medisch ontwerp.

Inleiding

De snelle marktopkomst van AI-gedreven 3D-modellering in de gezondheidszorg verandert de manier waarop implantaten, gidsen en anatomische reconstructies worden gemaakt, maar het vakgebied heeft nog steeds geen betrouwbare methode om de technische vaardigheden achter deze modellen te evalueren. De dominante praktijk van vandaag is sterk afhankelijk van eindproductinspecties, die, hoewel nuttig om geometrische fouten te ontdekken, geen waarde hechten aan de modelleringsworkflow, interactie tussen gebruiker en AI of moment-tot-moment besluitvorming die bij hun creatie betrokken zijn. Daarom kunnen klinische teams vaak niet bepalen of een model is geproduceerd door middel van bekwame, herhaalbare processen of door gelukkig trial-and-error¹. Deze kloof blijkt steeds belangrijker te worden. Ziekenhuizen, toezichthouders en 3D-printprogramma's vereisen nu bewijs van consistente kwaliteit van een gehele workflow, niet alleen een correct eindnet, omdat modelfouten de chirurgische veiligheid, pasvorm van het apparaat en de traceerbaarheid van de productie kunnen beïnvloeden. Er is momenteel geen methode om modelleringsvaardigheden op een geïntegreerde, systematische en schaalbare manier vast te leggen (of te berekenen), waarbij de gedrags-, cognitieve en procedurele aspecten van de modelleringsvaardigheid worden meegenomen. Dit is de belangrijkste motivatie voor het huidige artikel², maar er is geen operationele definitie van "workflowcompetentie" voor anatomie-georiënteerde, AI-versterkte modellering aangeboden³. Deze kloof tussen regelgevende verwachtingen en dagelijkse praktijk is de eerste motivatie voor het huidige werk. Een tweede motivatie is pedagogisch. Healthtech-startups en universiteitsziekenhuizen leiden nieuwkomers op door ze 6-18 maanden te koppelen aan ervaren modelbouwers. De aanpak is effectief, maar schaalt niet op: de wereldwijde geïnstalleerde basis van AI-gestuurde medische CAD-stoelen groeide tussen 2020 en 2024 met 340%, terwijl de pool van gekwalificeerde mentoren op⁴ bleef staan. Een visueel analysesysteem dat in realtime kan observeren, diagnosticeren en coachen, zou de doorvoer van de training loskoppelen van de beschikbaarheid van mentoren en de leercurve verkorten voor niet-traditionele deelnemers zoals radiografen of verpleegkundigen die steeds vaker front-end segmentatie uitvoeren.

Ten derde is er een cognitief-wetenschappelijk argument. Medische modellering is een hoogopbouwende variant van visueel probleemoplossend vermogen die ruimtelijk redeneren, anatomische kennis en softwarevaardigheid combineert. Begrijpen hoe deze middelen worden georkestreerd, wanneer ze uitvallen en wanneer ze worden uitbesteed aan AI vereist moment-tot-moment vastleggen van oog-, hand- en fysiologische signalen. Dezelfde datastroom die menselijke expertise verduidelijkt, kan ook worden gebruikt om deze te beoordelen, waardoor een deugdzame cirkel ontstaat tussen onderzoek en toepassing. Ondanks rijke literatuur over (i) procedurele vaardigheidsbeoordeling in chirurgie en (ii) geometrische kwaliteitsmetrieken voor CAD-meshes⁵, blijft het kruispunt van de tweevisuele evaluatie van technische vaardigheden in gezondheidsgerichte, AI-ondersteunde 3D-modellering onderbelicht. Specifiek missen bestaande beoordelingsrubrieken een domeinspecifieke vaardigheidsconstructie en behandelen daarom anatomie-kritische kenmerken, zoals vasculaire bifurcatiehoeken, op dezelfde manier als generieke mechanische kenmerken, zoals boltgaten. Anatomisch geïnformeerde beperkingen, zoals trabeculaire invulporositeit of osteotomiekrommingslimieten, ontbreken in de score. Wat betreft gefragmenteerde detectie synchroniseren procesopnamestudies in CAD, chirurgische simulaties of VR-gaming zelden kinematica, blik, fysiologie en stem bij resolutie⁶ onder een seconde. Daarom is cross-modale validatie onmogelijk, en blijft de incrementele waarde van elk kanaal onbekend⁷. Wat betreft statische scoring produceren huidige tools doorgaans een binair pass/fail-label na de sessie. Ze missen een principiële methode om onzekerheid uit te drukken of overtuigingen over de competentie van een leerling bij te werken zodra nieuw bewijs binnenkomt – een cruciale vereiste voor Bayesiaanse certificeringsprotocollen⁸. Tot slot, wat betreft feedbackdiscontinuïteit, zelfs wanneer rijke data wordt verzameld, worden deze vaak opgeslagen voor post-hoc beoordeling of weergegeven als ruwe curves. Een theorie-gestemde, rolspecifieke visuele laag die laagniveausignalen realtime koppelt aan bruikbaar advies, bestaat momenteel niet ^9,10. Deze vier tekortkomingen vertalen zich in praktische pijn: 30% van de 3D-geprinte anatomische handleidingen vereist nog steeds handmatige herwerking, en de FDA roept per kwartaal 2-3 patiëntspecifieke implantaatbatches terug omdat de oorspronkelijke ingenieur een tolerantie-annotatie¹¹ verkeerd begreep. Een end-to-end framework dat de lus van multimodale sensing naar interpreteerbare feedback afsluit, is daarom nodig.

Medische 3D-modellering verschilt van industriële CAD op drie manieren die direct invloed hebben op vaardigheidsbeoordeling: anatomische geometrie is niet-parametrisch, fouttolerantie is bijna nul en regelgeving is verplicht¹². Het dominante beoordelingsparadigma is nog steeds summatieve deskundige beoordeling van het uiteindelijke polygonale mesh of STL-bestand. Typische rubrieken inspecteren geometrische afwijking van het goudstandaardsjabloon, topologische variëteit en de aanwezigheid van door artsen gespecificeerde herkenningspunten. Omdat inspectie handmatig is, overschrijdt de κ van interrater Cohen zelden 0,65¹³. Commerciële platforms zoals Mimics Innovation Suite en 3D Slicer bieden pass/fail-vlaggen voor meshkwaliteit, maar de vlaggen zijn deterministisch (driehoeksverhouding, snijdende vlakken) en negeren de daadwerkelijke modelleringsbaan¹⁴. AI-gedreven 3D-visualisatie verbetert het anatomische begrip, maar effectief gebruik hangt sterk af van de modelleervaardigheden van de operator. Hoewel VDR nauwkeurige volumetrische beelden biedt, is er geen gestructureerde methode om te beoordelen hoe gebruikers deze modellen interpreteren, verfijnen of manipuleren. Deze studie pakt deze kloof aan door competentie in AI-ondersteunde 3D-modellering^te evalueren. De auteurs registreren scroll- en tool-aanroepingsgebeurtenissen samen met 3D-cursorcoördinaten bij 30 Hz. Ze gebruiken een auto-encoder voor het lange kortetermijngeheugen (LSTM) om "inefficiënte gereedschapspaden" in mechanische CAD te detecteren, waarbij ze een F1-score van 0,81 behalen tegenover menselijke labels. Door de analyse uit te breiden naar visuele aandacht bevat de TAP-3D dataset¹⁶ blikgegevens van 120 ingenieurs die Solid Works-oefeningen uitvoeren. Fixatie-saccadesequenties worden gecodeerd als 128-D word2vec-vectoren; Clustering onthult vijf verschillende visuele strategieën met een significante correlatie met de modelleringstijd (r = 0,73). Naast gebruikersinteractiemetrieken schatten Mandal, A. en Ghosh, A. ^R.17 mechanische eigenschappen van complexe weefsel-engineering steigers door gebruik te maken van 3D-CNN's die zijn getraind in 3D-digitale topografieën afgeleid van CAD-modellen¹⁷. De aanpak voorspelt nauwkeurig het gedrag van steigers en biedt een snellere, door AI ondersteunde ontwerproute voor poreuze en metamateriële structuren. De mate van reproduceerbaarheid van die voorspelling wordt echter beïnvloed door de diversiteit van de dataset, vooral bij sterk onregelmatige geometrieën of fabricagefouten.

Recent werk van Schönfeldt, N., Hancock, P. en Birt, J.¹⁸ heeft dataverzameling uitgebreid met spraak- en think-aloud-protocollen, specifiek door verbale commentaren te transcriberen in 200-D BERT-embeddings om deze te correleren met het succes bij debuggingen in softwaretaken¹⁸. Hoewel medische modelleurs minder praten dan programmeurs, tonen pilotopnames in ons lab aan dat uitingen als "deze richel lijkt luidruchtig" samenvallen met 40% van de daaropvolgende ongedaanmakingsgebeurtenissen, wat wijst op voorspellende waarde. Deze studies tonen aan dat procedurele data onopvallend kan worden vastgelegd en dat machine learning-modellen de data kunnen koppelen aan prestatieconstructies. Geen van deze programma's richt zich echter op gezondheidsspecifieke 3D-modellering, waarbij anatomievariabiliteit en AI-ondersteuning extra lagen van complexiteit toevoegen. Visuele analyse is breed toegepast voor formatieve feedback in operatiesimulatie en robottraining. Het MiEye-systeem¹⁹ legt kleurgecodeerde foutwarmtekaarten over opgenomen laparoscopische video; Trainees verbeteren 26% sneller dan met binaire feedback. Voor CAD-onderwijs zijn Chou, Y. H. et al.²⁰ stel een radargrafiek voor die leerlingenindices (aantal functies, herbouwtijd, herbouwfouten) contrasteert met klassenpercentielen; Leerlingen met toegang tot de grafiek laten een stijging van 0,35 in de standaarddeviatie zien in de resultaten na de toets. Realtime visualisatie is nog steeds onderbelicht. Kim, I.-J. en Quteineh, H. H.²¹ live kinematische data renderen als doorschijnende linten in VR, maar hun metriek is puur positionele fout; De cognitieve belasting wordt niet aangepakt. Voor zover wij weten, is er geen bestaand kader dat geometrische, gedragsmatige en fysiologische stromen combineert in één enkele, interpreteerbare, realtime visuele feedbacklaag die is afgestemd op AI-ondersteunde medische 3D-modellering. De review onthult vier specifieke tekortkomingen die dit onderzoek wil aanpakken: Gebrek aan een gezondheidsspecifieke vaardigheidsconstructie: Huidige rubrieken behandelen medische modellering als generieke CAD; Ze negeren anatomisch geïnformeerde beperkingen zoals poreuze botvulling of vasculaire bifurcatiehoeken. Gefragmenteerde waarneming: Studies maken meestal gebruik van één modaliteit (kinematica, blik of fysiologie). Multimodale synchronisatie op sub-seconde niveau wordt zelden geprobeerd en cross-modale validatie ontbreekt. Bayesiaanse update of online vertrouwenstracking is niet toegepast op modelleringsvaardigheden; Daarom kunnen beoordelaars geen onzekerheid uiten of nieuw bewijs opnemen terwijl de taak zich ontvouwt. Feedbackdiscontinuïteit: Zelfs wanneer rijke data wordt verzameld, worden deze ofwel opgeslagen voor post-hoc beoordeling of weergegeven als ruwe curves. Er is geen principiële visuele laag die laagniveausignalen in realtime koppelt aan actiebare, theorie-afgesloten feedback. Deze hiaten rechtvaardigen de ontwikkeling van een end-to-end kader dat (i) een multidimensionaal vaardigheidsconstruct definieert gebaseerd op gezondheidsapplicatie-eisen, (ii) heterogene procedurele data samenvoegt via gekalibreerde Bayesiaanse inferentie, en (iii) de evoluerende geloofstoestand weergeeft via Interactieve, rolspecifieke visualisaties. In praktische zin biedt het voorgestelde kader ziekenhuizen een realtime monitoringstool voor het modelleren van kwaliteit, vermindert het de afhankelijkheid van lange deskundige beoordelingscycli en maakt het veiliger klinisch gebruik van patiëntspecifieke apparaten mogelijk. Trainingscentra zouden het kader kunnen gebruiken om gestructureerde en datagedreven feedback te geven die de ontwikkeling van leerlingen faciliteert en de vaststelling van gestandaardiseerde competentiebenchmarks tussen cohorten ondersteunt. Voor toezichthouders biedt het voorgestelde kader een controleerbaar en transparant mechanisme voor het documenteren van workflowcompetentie, in lijn met opkomende eisen voor de continue validatie van medische 3D-printprocessen. Voortbouwend op deze motivaties ontwerpt en valideert deze studie een visueel analysekader dat technische vaardigheden in AI-ondersteunde, gezondheidsgerichte 3D-modellering kwantificeert. Specifiek is het raamwerk bedoeld om een multidimensionale vaardigheidsconstructie te definiëren die gebaseerd is op poreuze botvulling, vasculaire hoeken en andere anatomie-gerelateerde toleranties; het synchroniseren van blik, handbewegingen, fysiologische signalen en AI-interactiegegevens met een resolutie van minder dan een seconde; om deze heterogene datastromen te fuseren via Bayesiaanse updates om zo een evoluerend competentiegeloof met expliciet vertrouwen te genereren; om dit geloof weer te geven via realtime radarkaarten, heatmaps en 3D-annotaties voor directe coaching of certificering; en om een evaluatienauwkeurigheid van minimaal 90% te behouden via actieve leerkalibratie die zich aanpast aan nieuwe printers, AI-modellen of klinische regels zonder volledige hertraining te vereisen.

De huidige studie behandelt twee centrale vragen: of multimodale datafusie de nauwkeurigheid van vaardigheidsevaluatie ten opzichte van deskundige beoordeling verbetert, en of Bayesiaanse updates het mogelijk maken de evaluatienauwkeurigheid te behouden zonder volledige modeltraining te vereisen.

Protocol

Deze studie betrof menselijke deelnemers en werd beoordeeld en goedgekeurd door de Ethics Committee on Human Research Protection van het Xianda College of Economics and Humanities, Shanghai International Studies University (goedkeuringsnummer 2025XD1221). Alle deelnemers ondertekenden informed consent-formulieren en voltooiden een 30 minuten durende pre-experimentele training: EG-deelnemers leerden de visuele feedback van het framework (radarkaarten, heatmaps) te interpreteren, terwijl CG-deelnemers alleen training in platformbediening kregen. Om precisie in de gegevensverzameling te waarborgen, omvatte het pre-experiment ook de 5 minuten kalibratie van de oogvolgers en fysiologische sensoren.

Studiedoelstellingen en protocoloverzicht

Het doel van deze studie was het creëren van een gesloten, end-to-end systeem dat multimodale acquisitie, feature-extractie, Bayesiaanse fusie en visuele feedback integreert om technische vaardigheden op een interpreteerbare manier te evalueren. Figuur 1 toont het protocoldiagram voor de evaluatie van technische vaardigheden in gezondheidstoepassingen op basis van door kunstmatige intelligentie ondersteunde 3D-modellering.

Raamwerkoverzicht en hiërarchische logica

Het visuele evaluatiekader voor technische vaardigheden in AI-ondersteunde 3D-modellering van gezondheidstoepassingen dat in deze studie wordt voorgesteld, is opgebouwd op basis van de gesloten-lus logica van "data-gedreven - feature-extractie - bewijsfusie - visuele feedback". Het kerndoel is het bereiken van end-to-end conversie van multimodale ruwe data naar interpreteerbare vaardigheidsevaluatieresultaten²². Om de betrouwbare extractie van multimodale kenmerken voor het evalueren van technische vaardigheden te waarborgen, vangt het framework tegelijkertijd interactie-, fysiologische, blik-, gebaar- en stemsignalen vast met milliseconde-niveau temporele synchronisatie. Het framework hanteert een hiërarchisch architectuurontwerp, bestaande uit vier kernlagen: Multi-modale Data Acquisition Layer (L1), AI Feature Extraction Layer (L2), Evidence Fusion and Scoring Engine (L3) en Visual Feedback Layer (L4). Elke laag realiseert bidirectionele interactie via gestandaardiseerde data-interfaces, en tegelijkertijd wordt een frameworkkalibratiemodule (L5) geïntroduceerd om de dynamische geldigheid van de evaluatieresultaten te waarborgen. Figuur 2 toont de end-to-end pijplijn, beginnend met multimodale dataverwerving (blik, kinematica, fysiologie, stem) via AI-gebaseerde feature-extractie, Bayesiaanse scoring en realtime visuele en audiovisuele feedback. De lagen zijn interactief, waarbij Laag 5 continue kalibratie verzorgt. Deze architectuur maakt gecoördineerde verwerking en gevalideerde vaardigheidsinschatting mogelijk voor deelnemers terwijl ze deelnemen aan live 3D-modelleringstaken.

Vergelijking (1) Bayesiaanse betrouwbaarheidsupdateformule:

Waarbij: P(θ) de vooraangaande kans op vaardigheidsniveau θ vertegenwoordigt (gebaseerd op historische evaluatiegegevens); P(D∥θ) duidt de waarschijnlijkheidskans aan om multimodale kenmerkgegevens D te observeren onder vaardigheidsniveau θ; P(D) is de marginale waarschijnlijkheid; P(D∥θ) is de posterieure kans van vaardigheidsniveau θ na het samenvoegen van data D, oftewel de uiteindelijke betrouwbaarheidsscore. Dit kader gebruikte een gestructureerde Delphi- en AHP-benadering²³ om indicatoren te wegen. Een panel van tien vakkundige experts (orthopedisch chirurgen, biomedische ingenieurs en ervaren medische CAD-modelleurs) nam deel aan drie rondes van Delphi en beoordeelde het belang van een indicator op een 9-punts Likert-schaal totdat de expertscore stabiliteit bereikte (variatiecoëfficiënt <0,15)²⁴. Vervolgens werd met behulp van de geconvergeerde/verspreide scores van de experts een paargewijze vergelijkingsmatrix opgebouwd en bevestigd met behulp van het AHP-consistentiecriterium met een consistentieverhouding (CR) < 0,1. Als de CR hoger was dan 0,1, werd de matrix opnieuw aangepast. De consistentieverhoudingen van de AHP-methoden voor de paargewijze vergelijkingsmatrices lagen tussen 0,03 en 0,08, wat wijst op een grote interne logische consistentie in de multi-level hiërarchische benadering. Het ontwerp van elke laag in het framework volgt het principe van "modularisatie - uitbreidbaarheid". Zo kan Laag L1 de fysiologische dataverzamelingsdimensie uitbreiden door biosensoren toe te voegen; Laag L2 kan zich aanpassen aan vaardigheidsevaluatie-eisen van verschillende gezondheidsapplicaties door vooraf getrainde modellen te vervangen; Laag L4 ondersteunt aangepaste visualisatiedimensies gebaseerd op gebruikersrollen. Dit biedt flexibiliteit voor latere toepassingen in medische 3D-modellering en professionele vaardigheidscertificeringsscenario's.

Multimodale data-acquisitielaag

3D-interactie gebeurtenisstroom

Deze module verzamelt operationele gegevens van ingenieurs van AI-ondersteunde 3D-modelleringsplatforms via softwareplug-ins (16), waarbij zowel discrete operationele gebeurtenissen als continue parametergegevens worden behandeld. Discrete gebeurtenissen omvatten modelselectie, vertex-aanpassing en AI-tool-aanroep, terwijl continue parameters betrekking hebben op modelleersnelheid, ongedaan/her-tellingen en acceptatiepercentages van AI-suggesties. Elke gebeurtenis wordt vastgelegd met een 13-cijferige tijdstempel en bijbehorende 3D-model coördinatensysteemwaarden (x, y, z). Bijvoorbeeld, bij het aanpassen van de kromming van een orthopedisch implantaatmodel, registreert de plug-in de begin- en eindtijden van de operatie, aangepaste vertexcoördinaten en krommingsvariaties, waardoor een gestructureerd gebeurtenislogboek ontstaat (zie Tabel 1 tot Tabel 3 voor datavelden). Deze gegevens worden vervolgens verwerkt met behulp van op maat gemaakte algoritmen om domeinspecifieke geometrische, efficiëntie- en cognitieve indicatoren te berekenen, waardoor een fijnmazige karakterisering van modelleringsgedrag in gezondheidsgerelateerde toepassingen mogelijk is.

Oogbewegingen en gebaarsignalen

Oogbewegingsgegevens worden verzameld met een desktop oogtracker, die zich richt op fixatiepunten en saccadeparameters in de 3D-modelleringsinterface, die de cognitieve aandachtsverdeling van de ingenieur weerspiegelen.

Gebaarsignalen worden vastgelegd door een dieptecamera, die 22 coördinaten van sleutelgewrichten in de bovenste ledemaat extrahert om typische modelgebaren^te identificeren. De camera zet 3D-gebaarcoördinatengegevens om in genormaliseerde vectorreeksen om individuele verschillen in lichaamsgrootte te beperken.

Datasynchronisatie voor deze module is afhankelijk van de unified hardware-trigger van het framework (10 Hz tijdstempel uit 3D-modelleringssoftware), waarbij synchronisatiefouten binnen ±50 ms worden geregeld (berekend via Vergelijking 3-2) om een temporele correlatie te waarborgen tussen oog-/gebaargedrag en modelleringsoperaties ²⁶. Vergelijking (2) presenteert de berekening van de gegevenssynchronisatiefout:

(2)

Waarbij: E_t = synchronisatiefout tussen de verwervingstijd van het apparaat (t_apparaat) en de softwaretijdstempel (t_software); t_device = werkelijke verwervingstijd van eye tracker/dieptecamera; t_software = triggertijdstempel van 3D-modelleringssoftware.

Fysiologische en spraakgegevens

Fysiologische gegevens worden verzameld via draagbare sensoren: een elektromyografie (EMG) sensor (1000 Hz bemonsteringsfrequentie) ²⁷, bevestigd aan de onderarm van de ingenieur om spierspanning tijdens fijne operaties te registreren, wat de operationele stabiliteit weerspiegelt. Elektrocardiografie (ECG) sensor (250 Hz bemonsteringsfrequentie)²⁸: Deze wordt op de borst gedragen om hartslagvariabiliteit (HRV) indicatoren te verzamelen, die cognitieve belasting karakteriseren. Spraakgegevens worden vastgelegd door een directionele microfoon (44,1 kHz bemonsteringsfrequentie),²⁹, waarbij de verbale opmerkingen van opnametechnici tijdens het modelleren worden gebruikt ter aanvulling van cognitieve toestandanalyse. Alle fysiologische en spraakgegevens ondergaan een preprocessing voordat ze worden opgeslagen in de tijdgestempelde multimodale database. Figuur 3 illustreert de fysieke experimentele hardwareconfiguratie. Sensorgegevens van de EMG/ECG-wearables, de microfoon, de oogtracker en een dieptecamera zijn allemaal verbonden met een 3D-modelleringswerkstation. Voordat temporele gegevens worden opgeslagen in een multimodale database, past een synchronisatiemodule alle stromen aan (binnen een marge van ±50 ms). Deze materiaalspecificatie betekent betrouwbare, tijdelijk uitgelijnde invoer in de feature-extractie- en scorepijplijn.

AI-feature-extractielaag

Geometrische kwaliteitsindicatoren

Deze module haalt kwantitatieve kenmerken uit de nauwkeurigheid en rationaliteit van 3D-modellen uit de 3D-interactiegebeurtenisstroom en de uiteindelijke modeloutput, en vormt de kernbasis voor het evalueren van de "modelprecisie"-vaardigheden van ingenieurs. Om structurele nauwkeurigheid, anatomische congruentie en 3D-modelvolledigheid te beoordelen met behulp van deviatie-, topologie- en template-gebaseerde feature-metrics, worden drie belangrijke indicatoren ontworpen, met hieronder gedetailleerde berekeningsmethoden en fysieke betekenissen:

Modelafwijkingssnelheid (MDR)

Dit meet de geometrische afwijking tussen het door de ingenieur gemodelleerde resultaat en het standaardsjabloon. De afwijking wordt berekend door de Euclidische afstand van sleutelkenmerken tussen de twee modellen te vergelijken. De formule wordt weergegeven in Vergelijking (3):

(3)

Waarbij: n = aantal vooraf gedefinieerde sleutelkenmerken (ingesteld op 50-100 op basis van modelcomplexiteit); P_i,engineer = 3D-coördinaten van het i-de kenmerkpunt in het model van de engineer; P_i,standaard = 3D-coördinaten van het i-de kenmerkpunt in de standaardtemplate; |⋅| = Euclidische afstandsoperator.

Een lagere MDR duidt op een hogere consistentie met het standaardmodel, met een drempel van ≤ 5% voor gekwalificeerde gezondheidsapplicatiemodellen. Modelleercompetenties werden beoordeeld op basis van tijdsefficiëntie, redundante bewegingen, gebarenstabiliteit en gebruikspatronen van de voorgestelde AI-tools tijdens realtime 3D-operationele scenario's.

Topologische consistentie (TC)

Dit evalueert of de topologische structuur van het 3D-model voldoet aan de medische toepassingsvereisten. De indicator wordt berekend door het aantal topologische defecten (D) en het totale aantal topologische elementen (T, som van knopen, ribben en vlakken) in het model te tellen, zoals weergegeven in Vergelijking (4):

(4)

Als bijvoorbeeld een kniegewrichtsmodel 2 niet-variëteitsranden bevat (D = 2) en 1200 totale topologische elementen (T = 1200), is het 99,83%. Een ≥ 98% is vereist voor medische modellen om productierisico's te vermijden.

Feature-volledigheid (FC)

Dit beoordeelt of de engineer alle verplichte functies van het health application model volledig heeft geïmplementeerd. De indicator wordt bepaald door het aantal voltooide verplichte functies (F_voltooid) te vergelijken met het totale aantal verplichte functies (F_totaal) gedefinieerd in de taakvereisten:

(5)

Indicatoren voor gedragsmatige efficiëntie

Deze module verwerkt 3D-interactie-gebeurtenisstromen en gebarensignalen om kenmerken te extraheren die de efficiëntie van de modelleringsoperaties van ingenieurs weerspiegelen, waarbij hun "operationele vaardigheid" vaardigheden worden geëvalueerd. Cognitieve eisen die met modellering geassocieerd zijn, werden gemeten met behulp van gesynchroniseerde fysiologische, blik- en EMG-signalen. Deze metrics volgen de verdeling van de aandacht over tijd en fluctuaties in werklast tijdens het modelleringsproces.

Tijdefficiëntie modelleren (MTE)

Dit vergelijkt de daadwerkelijke modelleringstijd van de ingenieur (T_actual) met de gemiddelde tijd van senior experts voor dezelfde taak (T_expert), genormaliseerd tot een score van 0-100:

(6)

Als een ingenieur bijvoorbeeld 45 minuten nodig heeft om een taak te voltooien waar experts gemiddeld 30 minuten aan doen, is er 100 - (45 - 30) x 50 = 75, wat wijst op matige efficiëntie.

Redundante operationele snelheid (ROR)

Dit telt het aandeel onnodige bewerkingen in het modelleringsproces mee. Deze wordt berekend als de verhouding van het aantal redundante operaties (O_redundant) tot het totale aantal operaties (O_totaal):

(7)

Redundante bewerkingen worden door het AI-algoritme geïdentificeerd via regelmatching en analyse van gebarenconsistentie.

AI-toolbenuttingsgraad (ATUR)

Dit meet het vermogen van de ingenieur om AI-ondersteunde functies te benutten om de efficiëntie te verbeteren. Het wordt gedefinieerd als de verhouding van het aantal AI-tool-oproepen (I_AI) tot het totale aantal tool-aanroepen (I_totaal):

(8)

Een hogere ATUR duidt op een betere integratie van AI-tools in het modelleringsproces, wat een essentiële vaardigheid is voor moderne medische 3D-modellering.

Gebaarvloeiendheid (GS)

Dit evalueert de stabiliteit van de bovenste bewegingen van de ingenieur tijdens het modelleren. De indicator wordt berekend door de standaarddeviatie van de snelheid van 22 sleutelgewrichten in de bovenste ledemaat (v_j) over de tijd:

(9)

Een lagere standaarddeviatie (en dus een hogere GS) duidt op soepelere gebaren, wat een hogere operationele vaardigheid weerspiegelt. Deze indicatoren worden in realtime geëxtraheerd tijdens het modelleringsproces, waarbij het AI-algoritme de indicatorwaarden elke 5 minuten bijwerkt en opslaat in de feature-database voor de volgende fusie.

Cognitieve belastingindicatoren

Deze module analyseert oogbewegingssignalen en fysiologische gegevens om de cognitieve belasting van de ingenieur tijdens het modelleren te kwantificeren, waarbij hun "cognitieve aanpassingsvermogen" worden geëvalueerd. Multimodale indicatoren werden gewogen met een Delphi-AHP-benadering en Bayesiaanse bewijs-update om realtime, probabilistische engineeringvaardigheden te produceren. Er worden drie belangrijke indicatoren ontwikkeld:

Fixatieverspreiding (FD)

Dit weerspiegelt de verdeling van de visuele aandacht van de ingenieur. Deze wordt berekend als de Euclidische afstand tussen de maximale en minimale fixatiepuntcoördinaten ( (x_{max,y max}) en (x_{min,y min}) ) in de 3D-modelleringsinterface over een venster van 2 minuten:

(10)

Een grotere FD duidt op verspreide aandacht, vaak geassocieerd met een hoge cognitieve belasting.

Hartslagvariabiliteit (HRV) - SDNN

SDNN (Standard Deviation of Normal-to-Normal Intervals) wordt uit ECG-gegevens gehaald om de fluctuatie van de hartslag van de ingenieur te meten. Een lager SDNN duidt op een hogere activiteit van de sympathische zenuw, wat een verhoogde cognitieve belasting weerspiegelt. Het AI-algoritme filtert eerst ECG-ruis (via wavelettransformatie) en berekent vervolgens SDNN met behulp van Vergelijking (11):

(11)

Waarbij: N = aantal normale hartslagen in een venster van 5 minuten; RR_k = tijdsinterval tussen de k-de en (k + 1)-de normale hartslag; = gemiddeld RR-interval in het venster.

Elektromyografie (EMG) - Wortelgemiddelde kwadraat (RMS)

RMS van EMG-signalen van onderarm weerspiegelt spierspanning: een hogere RMS duidt op verhoogde spierstijfheid door cognitieve stress. De berekeningsformule is:

(12)

Waarbij: m = aantal EMG-signaalmonsters binnen een venster van 1 minuut, en EMG(t) = amplitude van het EMG-signaal op tijdstip t. Er is een samenvattend diagram gemaakt om conceptuele duidelijkheid te bevorderen en de replicatie van het onderzoek te vergemakkelijken. Het illustreert de hiërarchische relatie tussen de tien evaluatie-indicatoren en de drie belangrijkste constructies achter het voorgestelde kader: geometrische kwaliteit, operationele efficiëntie en cognitieve aanpassingsvermogen. Dit diagram toont hoe multimodale ingangssignalen worden omgezet in meetbare indicatoren die vervolgens via een Bayesiaanse benadering worden samengevoegd om een samengestelde engineering skillscore te creëren. Dit overzicht geeft een compacte versie van de evaluatielogica en verhoogt de methodologische transparantie van deze studie zowel formatief als voor toekomstige onderwijs- en regelgevingsrichting. Figuur 4 toont de hiërarchische structuur van het voorgestelde evaluatiekader voor technische vaardigheden, die tien multimodale indicatoren organiseert in drie fundamentele constructies: geometrische kwaliteit, operationele efficiëntie en cognitieve flexibiliteit. Deze factoren dragen bij aan het algemene vaardigheidsresultaat dat wordt gebruikt om de prestaties van AI-ondersteunde 3D-modellering te evalueren.

Bewijsfusie en scoremotor

Indicatorgewichttoewijzing (Delphi + AHP)

Deze module behandelt het probleem van gedifferentieerde belangrijkheid tussen multidimensionale kenmerken door de Delphi-methode (expertconsensus) en het Analytic Hierarchy Process (AHP) te combineren om gewichten toe te kennen aan de tien geëxtraheerde indicatoren (drie geometrische kwaliteitsindicatoren, vier gedragsefficiëntie-indicatoren en drie cognitieve belastingindicatoren), en deze complexe multimodale indicatoren in visuele en interpreteerbare formaten te representeren, zoals radarkaarten, heatmaps en geannoteerde playbacks voor biomedisch relevante diagnostische inferentie.

Delphi-consensusfase

Een panel van tien experts beoordeelde het belang van elke indicator met behulp van een 9-puntenschaal (1 = "minst belangrijk", 9 = "belangrijkst") over drie rondes anonieme vragenlijsten. Na elke ronde werd statistische feedback – bestaande uit gemiddelde scores en variatiecoëfficiënten (CV) – aan het panel verstrekt om de scorecorrectie te vergemakkelijken. Convergentie werd gedefinieerd als een CV ≤ 0,15 voor elke indicator. Opmerkelijk is dat consensus voor indicatoren zoals de Model Deviation Rate (MDR) en AI Tool Utilization Rate (ATUR) doorgaans werd bereikt bij de tweede ronde, toegeschreven aan hun directe klinische relevantie.

Om technische robuustheid te waarborgen, standaardiseerde het protocol multimodale data-uitlijning (synchronisatietolerantie ≤ 50 ms; 30 Hz uniforme triggerklok) en indicatorberekeningsmethoden. Zo werd MDR afgeleid uit 50-100 anatomische sleutelpunten, terwijl de topologische consistentie (TC) drempel werd vastgesteld op >98% voor defectvrije elementen. Deze drempels werden gerechtvaardigd tegen klinische tolerantienormen, zoals een < 5% afwijking voor poreus bot en een < 3° fout voor vasculaire bifurcatiehoeken. Bovendien combineerde de methodologie Bayesiaanse scoring met Gaussiaanse likelihood-modellering (met gekalibreerde σ bereiken voor verschillende vaardigheidsniveaus) en maakte een CNN-LSTM feature extractor getraind met een batchgrootte van 32, een leersnelheid van 1 x ^10-4, en 120 epochs.

Oprichting van de hiërarchie van de AHP

Er wordt een drielaagse hiërarchie opgebouwd: Doellaag (A): Technische vaardigheid en uitgebreide evaluatie; Criteriumlaag (B): 3 indicatoren op het eerste niveau (B1: Geometrische Kwaliteit, B2: Gedragsefficiëntie, B3: Cognitieve belasting); Indicatorlaag (C): 10 indicatoren op tweede niveau (C1: MDR, C2: TC, ..., C10: EMG RMS).

Pargewijze vergelijking en consistentiecontrole

Op basis van Delphi-consensusresultaten wordt een paargewijze vergelijkingsmatrix geconstrueerd voor de Criterionlaag en de Indicatorlaag. Neem de Criteriumlaag als voorbeeld, de matrix wordt gedefinieerd als:

(13)

Waarbij: a_ij is de belangrijkheidsverhouding van B_j tot B_j. De gewichtsvector van de Criteriumlaag (W_B = [w_{B1,w B2,w B3}]) wordt berekend via de eigenvectormethode. Om logische tegenstrijdigheden te vermijden, wordt de Consistentieverhouding (CR) gecontroleerd met behulp van Vergelijking (14):

(14)

Waarbij: (λ_max = maximale eigenwaarde van de matrix, = aantal indicatoren), en de willekeurige consistentie-index is (voor n = 3, RI = 0,58). Het resultaat is acceptabel als CR 0,1 <.

Door dit proces worden typische gewichten verkregen: (Geometrische kwaliteit), (gedragsefficiëntie), (cognitieve belasting); het gewicht van MDR (C1) in de indicatorlaag is meestal het hoogste (~0,25), terwijl EMG RMS (C10) het laagst is (~0,05).

Bayesiaanse betrouwbaarheidsupdate

Deze module combineert de gewogen indicatoren om de uiteindelijke vaardigheidsbetrouwbaarheidscore te genereren, waarbij de "onzekerheid van evaluatie van één enkele feature" wordt aangepakt door eerdere kansen bij te werken met realtime multimodale data. Het proces is gebaseerd op Vergelijking (1) (Bayesiaanse formule) en wordt uitgevoerd in twee stappen:

Stap 1: Initialisatie van voorafgaande waarschijnlijkheid (P(θ))

Het vaardigheidsniveau is verdeeld in 5 graden: (Beginner), (Beginner), (Gemiddeld), (Gevorderd), (Expert). De voorlopige kans wordt geïnitialiseerd met historische gegevens: als het systeem 500 ingenieurs heeft geëvalueerd en 100 worden geclassificeerd als θ₃, dan is P(θ₃) = 100/500 = 0,2. Voor nieuwe gebruikers zonder historische gegevens wordt een uniforme prior (P(θ_i) = 0,2 voor alle i) aangenomen.

Stap 2: Posterior kansberekening (P(θ∥D))

De multimodale featuregegevens zijn de gewogen som van de 10 genormaliseerde indicatoren:

(15)

Waarbij: w_Ck het gewicht is van de k-de indicator (uit Sectie 3.4.1), en de_Ck-norm de genormaliseerde waarde van de k-de indicator ([0,1] bereik).

De waarschijnlijkheidskans wordt gemodelleerd met behulp van een Gaussische verdeling, ervan uitgaande dat de featuregegevens van ingenieurs op vaardigheidsniveau volgen (gemiddelde μ_i, variantie ). Deze parameters worden gekalibreerd met behulp van 200 gelabelde monsters.

Ten slotte wordt de posterior kans berekend via Vergelijking (3-1), en de vaardigheidsgraad die overeenkomt met het maximum is het realtime evaluatieresultaat. Als bijvoorbeeld een ingenieur D = 0,72 en (hoger dan andere graden) heeft, worden ze geclassificeerd als "Gevorderd".

Om het betrouwbaarheidsupdateproces te visualiseren, laat Figuur 5 zien hoe bekende gelijke vaardigheidskansen worden bijgewerkt naar een posterieure verdeling met Bayesiaanse inferentie en realtime signalen als bewijs. Na het observeren van de taak wordt het model bijgewerkt om het bewijs te versterken richting het vaardigheidsniveau met de grootste posterior waarschijnlijkheid. Validatietests gaven een sterke convergentiestabiliteit van de expertvaardigheidscijfers aan, en de Bayesiaanse scores correleerden sterk met expertbeoordelingen, wat het vertrouwde gebruik van Bayesiaanse updates in de workflow ondersteunde.

De output van deze laag is een uitgebreide vaardigheidsscore (0-100, gekoppeld vanuit de maximale posterior waarschijnlijkheid) en een betrouwbaarheidsinterval, dat wordt verzonden naar de Visual Feedback Layer voor een intuïtieve presentatie.

Visuele feedbacklaag

Realtime radarkaart

Deze module zet de 10 genormaliseerde indicatoren en 3 criteriescores op drie niveaus om in een radargrafiek, waardoor intuïtieve vergelijking van de vaardigheids- en zwaktes van ingenieurs mogelijk is. De radarkaart is ontworpen met 7 assen (3 voor criteria van het eerste niveau: B1-B3; 4 voor de belangrijkste indicatoren op het tweede niveau: C1=MDR, C4=ATUR, C7=FD, C9=SDNN-geselecteerd vanwege hun hoge gewicht en interpreteerbaarheid), waarbij elk asbereik is genormaliseerd naar [0,100] (afgebeeld vanuit de [0,1] genormaliseerde waarden via Vergelijking 3-7). Om de meetnauwkeurigheid continu te verbeteren door middel van expertannotaties en updates voor actief leren bij het begin van het framework, worden een context voor gezondheidsmodellering en groeiend begrip geïntegreerd.

Vergelijking (16) Indicatorwaardemapping voor radarkaart:

(16)

Waarbij:_V-radar = waarde weergegeven op de as van de radarkaart; _Ck-norm = genormaliseerde waarde van de k-de indicator ([0,1] bereik).

De radarkaart wordt in realtime bijgewerkt (elke 5 minuten) en bevat twee referentiebenchmarks: een standaard benchmarklijn (stippellijn, V_radar = 80, die de "Gevorderde" vaardigheidsdrempel vertegenwoordigt) en een expertgemiddelde lijn (stippellijn, berekend op basis van de historische gegevens van 50 senior ingenieurs). Figuur 6 toont het gedrag van de ingenieur over een samenstelling van belangrijke indicatoren: geometrische kwaliteit, cognitieve belasting, efficiëntie van het gereedschap en fixatieverspreiding, vergeleken met de bijbehorende expertbenchmarks. Als onderdeel van de feedbacklaag werden echte scores, met behulp van gefuseerde metrics, vertaald naar een interpreteerbaar profiel. Gebruikersstudies gaven aan dat de implementatie succesvol was om snel competentieklokorten te vinden, terwijl het een gestructureerde, datagedreven berekening bevorderde voor verbetering tijdens modelleringstaken.

Temporele heatmap

Deze module visualiseert de dynamische veranderingstrend van vaardigheidsindicatoren gedurende het gehele modelleringsproces en helpt bij het identificeren van tijdsperioden waarin ingenieurs moeilijkheden ondervinden. De heatmap gebruikt een 2D-raster: de x-as geeft tijdsintervallen weer (segmenten van 10 minuten, in totaal 12 segmenten voor een taak van 2 uur), en de y-as vertegenwoordigt 5 belangrijke indicatoren (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). De kleurintensiteit van elke rastercel komt overeen met de genormaliseerde waarde van de indicator, met een kleurschaal van blauw (lage waarde, slechte prestatie:_Ck-norm < 0,5) tot rood (hoge waarde, goede prestatie:_Ck-norm < 0,8), zoals gedefinieerd in Vergelijking (17):

Vergelijking (3-8) presenteert de berekening van kleurintensiteit voor de heatmap:

(17)

Waarbij: I_kleur = RGB-kleurintensiteitswaarde (0-255, 0=blauw, 255=rood); min(_Ck-norm) en max(_Ck-norm) = minimale en maximale genormaliseerde waarden van de indicator over alle tijdsintervallen.

Figuur 7 toont tijdsgebonden veranderingen in cognitieve belasting, fixatieverspreiding, blikstabiliteit en beslissingslatentiemetrieken in segmenten van 10 minuten. Let op dat de gemarkeerde gebieden wijzen op een hoge cognitieve vraag of workflowverstoringen. Deze tijdsweergave wordt direct gegenereerd uit samenvloeiende multimodale stromen, ondersteund door annotatie door experts, wat de cruciale rol in het omgaan met modelleermoeheid, aandachtsverschuivingen en taakspecifieke moeilijkheden benadrukt.

D-afspeelannotatie

Deze module legt vaardigheidsevaluatie-annotaties over de bewerkingsweergave van het 3D-model, waardoor stapsgewijze analyse van het modelgedrag van de ingenieur mogelijk is. De afspeelsnelheid is instelbaar (0,5×-2× realtime) en synchroniseert met de multimodale data-tijdstempel. Er zijn drie soorten annotaties ingebed: Geometrische foutannotaties: Rode wireframes markeren modelgebieden waar MDR (C1) boven de 5% (gekwalificeerde drempel) uitkomt, met tekstlabels die de afwijkingswaarde tonen. Efficiëntiewaarschuwing: Gele uitroeptekens verschijnen op de locatie van redundante bewerkingen, met pop-upvensters die het type bewerking tonen. Cognitieve belastingsaantekeningen: Groene/rode statusbalken in de hoek geven realtime cognitieve belasting aan (gebaseerd op C9: SDNN en C10: EMG RMS), waarbij rood "Hoge belasting" betekent (SDNN < 50 ms) en groen "Normale belasting" (SDNN > 100 ms).

Kaderkalibratie en iteratie

Expert annotatie-interface

Deze module biedt een human-in-the-loop-interface voor senior experts om de evaluatieresultaten van het framework te corrigeren en te labelen, waarbij de "drift van evaluatienauwkeurigheid" veroorzaakt door veranderingen in gezondheidstoepassingsscenario's wordt aangepakt. De interface is ontworpen met drie kernfuncties: resultaatcorrectie, indicatorherweging en opslag van annotaties.

Resultaatcorrectiefunctie

Experts beoordelen eerst de visuele feedbackresultaten en de uitgebreide vaardigheidsscore van het kader (0-100). Als de score afwijkt van het deskundige oordeel, kan de expert de score handmatig aanpassen en de reden noteren. De correctiegrootte wordt gekwantificeerd via Vergelijking (18):

(18)

Waarbij: S_gecorrigeerd = definitieve gecorrigeerde score; _S-framework = initiële score die door het framework wordt uitgereikt; S_expert = handmatige score van de expert; α = correctiegewicht (standaard ingesteld op 0,8, zodat het deskundige oordeel overheerst terwijl de rationaliteit van het kader behouden blijft).

Indicator herwegingsfunctie

Voor scenario-specifieke kalibratie kunnen experts het gewicht van individuele indicatoren aanpassen via een schuifbalk (bereik van 0-0,5). De interface berekent automatisch de consistentieverhouding (CR) opnieuw na aanpassing (met behulp van Vergelijking 3-6) en waarschuwt experts als (onlogische gewichtsverdeling), zodat de aangepaste gewichten wiskundig geldig blijven.

Annotatieopslagfunctie

Alle gecorrigeerde scores, aangepaste gewichten en deskundige opmerkingen worden opgeslagen in een geannoteerde database met tijdstempels en scenariotags. Deze database dient als trainingsdata voor de daaropvolgende online actieve leermodule, met een typisch dataschema weergegeven in Tabel 2.

Online actieve leerupdate

Deze module gebruikt de geannoteerde data om iteratief de kernalgoritmen van het framework te optimaliseren (AI-feature extractiemodellen in L2 en Bayesiaanse scoreengine in L3), waardoor het framework zich kan aanpassen aan nieuwe gezondheidstoepassingsscenario's zonder volledige hertraining. Het updateproces volgt een query-by-committee (QBC) strategie, verdeeld in drie fasen:

Fase 1: Onzekerheidsberekening

Drie parallelle "committeemodellen" worden ingezet (allemaal gebaseerd op dezelfde architectuur als het L2-feature-extractiemodel, maar getraind op verschillende historische datasets):

Model A: Getraind op orthopedische implantaatmodelleringsdata;

Model B: Getraind op orgaanreconstructiegegevens;

Model C: Getraind op data van modellering van tandimplantaten.

Voor elke niet-gelabelde steekproef (modelgegevens van de ingenieur) geven de commissiemodellen drie voorspelde vaardigheidsscores. De onzekerheid van de steekproef wordt berekend via de variatiecoëfficiënt (CV) van de drie scores:

(19)

Waarbij: S_A, SB, S_C = scores voorspeld door de drie commissiemodellen; std (⋅)= standaarddeviatie; = gemiddelde van de drie scores.

Een hogere CV duidt op meer onenigheid tussen de commissiemodellen (hogere onzekerheid), wat betekent dat de steekproef waardevoller is voor annotatie.

Fase 2: Steekproefselectie

Het framework selecteert de top 10% van de voorbeelden met het hoogste CV en stuurt deze naar de expert annotatie-interface voor labeling. Deze actieve selectiestrategie vermindert het aantal monsters dat deskundige annotatie vereist (vergeleken met willekeurige selectie) met 40-60%, wat de kalibratie-efficiëntie verbetert.

Fase 3: Modelhertraining en update

De nieuw geannoteerde voorbeelden worden gebruikt om de algoritmen van het framework te verfijnen:

Voor L2-feature-extractiemodellen: Het model wordt opnieuw getraind met een leersnelheid van 1e-5 (10% van de initiële trainingssnelheid) met behulp van de geannoteerde geometrische foutgegevens, waarbij alleen de laatste twee lagen worden bijgewerkt om overfitting te voorkomen.

Voor de L3 Bayesiaanse scoremotor: De Gaussische verdelingsparameters () voor elk vaardigheidsniveau worden bijgewerkt met behulp van de geannoteerde scoregegevens, met de updateformule zoals weergegeven in Vergelijking (20):

(20)

Waarbij: = bijgewerkt gemiddelde van vaardigheidsniveau θ_i; = oorspronkelijke gemiddelde vóór update; _S-θi = gemiddelde gecorrigeerde score van geannoteerde samples aangeduid als θ_i; β = vergeetfactor (ingesteld op 0,7, met het balanceren van historische gegevens en nieuwe annotaties).

Het bijgewerkte framework wordt direct na hertraining online geïmplementeerd, met een prestatiecontrole vóór de implementatie: als de gemiddelde absolute fout tussen de nieuwe output van het framework en expertannotaties ≤3 is (verminderd met ≥20% ten opzichte van de vorige versie), wordt de update bevestigd; anders wordt het hertrainingsproces herhaald met extra geannoteerde samples.

Dit iteratieve kalibratiemechanisme zorgt ervoor dat de evaluatienauwkeurigheid van het framework boven de 90% blijft, zelfs terwijl 3D-modelleringstechnologieën voor gezondheidsapplicaties zich ontwikkelen, waardoor de langetermijnflexibiliteit behouden blijft.

Resultaten

De resultaten beoordelen de validiteit, betrouwbaarheid en bruikbaarheid van het framework door experimentele evaluatie van vaardigheidsdiscriminatie, constructvaliditeit, voorspellende validiteit en de effectiviteit van realtime feedback.

Experimenteel ontwerp

De experimenten werden uitgevoerd in een Python-omgeving op een computer met een 12-core Intel-processor, 32 GB RAM en 1 TB SSD-opslag. NumPy en Pandas werde...

Discussie

Hoewel de bestaande 3D-modellerings- en interactieframeworks schaars zijn en soms nuttige informatie kunnen bieden, evalueren ze de technische capaciteit in 3D-modelleringstaken. De meeste eerdere studies naar gebaarvolging en interfaces¹⁹ evalueren het interactieve gedrag in plaats van de evaluatie van de vaardigheid van de gebruiker. Evenzo verkrijgt de leerling in het geval van VR/haptisch gebaseerde onderwijssystemen²⁰ een beter begrip ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
AI-ondersteunde 3D-modelleringssoftware	Materialise NV, België	Mimics AI v25.0	Wordt gebruikt voor femorale-stam implantaatmodellering en levervasculaire reconstructie taken met AI segmentatie en defect detectie.
Eye Tracker (Desktop)	Tobii Pro Fusion	TPF-120	Vangt fixatie- en saccadegegevens op met 120 Hz om visuele aandacht tijdens het modelleren te kwantificeren.