Forschung zur visuellen Bewertung ingenieurtechnischer Fähigkeiten in Gesundheitsanwendungen basierend auf künstlicher Intelligenz unterstützter 3D-Modellierung

Zusammenfassung

Diese Forschung präsentiert eine multimodale, KI-gesteuerte Methodik zur objektiven Messung ingenieurwissenschaftlicher Fähigkeiten in der medizinischen 3D-Modellierung, die geometrische, verhaltensbezogene und kognitive Marker einbezieht. Bayessche Verschmelzung mit Echtzeit-Visualanalyse ermöglicht eine genaue Fähigkeitsbewertung, die über eine Vielzahl von Aufgaben und Teilnehmerfähigkeiten hinweg validiert wurde.

Zusammenfassung

Die von künstlicher Intelligenz (KI)-unterstützte 3D-Modellierung ist zentral für das moderne Gesundheitswesen geworden, doch es fehlt dem Bereich weiterhin eine wiederholbare und skalierbare Methode zur Bewertung der ingenieurtechnischen Kompetenz für klinisch genutzte digitale Modelle. Bestehende Qualitätskontrollen konzentrieren sich meist auf die endgültigen Mesh-Ausgaben, ohne den Modellierungsworkflow, das Verhalten der Bediener und die Interaktionen mit KI-Unterstützung zu berücksichtigen. Diese Lücke hemmt die Reproduzierbarkeit, effektive Schulungen und schränkt die Einhaltung gesetzlicher Vorschriften ein. Diese Arbeit schlägt das erste End-to-End-Rahmenwerk für visuelle Analysen vor, das entwickelt wurde, um ingenieurtechnische Fähigkeiten während gesundheitszentrierter 3D-Modellierungsaufgaben zu messen und zu kommunizieren. Der vorgeschlagene Rahmen definiert ein domänenspezifisches Fertigkeitskonstrukt, das von geometrischer Genauigkeit bis zu operativer Kompetenz und kognitiver Anpassungsfähigkeit reicht, und quantifiziert diese Dimensionen durch eine Reihe interpretierbarer verhaltensbezogener, geometrischer und physiologischer Indikatoren. Es integriert innerhalb einer vierschichtigen Architektur die Erfassung multimodaler Daten, Echtzeit-Feature-Extraktion durch leichte Deep-Learning-Modelle, bayessche Evidenzfusion für kontinuierliche Kompetenzabschätzung und intuitive visuelle Rückkopplungsmodule. Das System hält die Kalibrierung neuer Werkzeuge und Modellierungsszenarien durch einen Online-Active-Learning-Mechanismus aufrecht, der die Anforderungen an Expertenannotationen minimiert. Der Rahmen wurde mit 60 Teilnehmern getestet, die zwei klinisch realistische Modellierungsaufgaben zum Design orthopädischer Implantate und zur Gefäßrekonstruktion durchführten. Die Ergebnisse zeigten eine starke Übereinstimmung mit Expertenbewertungen, eine klare Unterscheidung zwischen Fähigkeitsniveaus und eine sinnvolle Vorhersage der Qualität der zukünftigen Modellierung. Python wurde jeweils für Korrelations-, Regressions-, Validitätstests und Visualisierungsaufgaben verwendet. Nutzbarkeitstests zeigten eine hohe Akzeptanz; Die Teilnehmer schätzten die Klarheit des visuellen Feedbacks, das selbstgesteuerte Verbesserung unterstützte, hoch. Letztlich gestaltet dieses vorgeschlagene Rahmenwerk die 3D-Modellierungsbewertung von einem statischen Ergebnis-Schnitt zu einer dynamischen, prozesszentrierten Überprüfung um, die auf multimodalen Evidenzen basiert. Das Ergebnis ist eine pragmatische, interpretierbare und skalierbare Lösung für Schulung, Zertifizierung und regulatorische Aufsicht über gesundheitskritische 3D-Modellierungs-Workflows und die Grundlage für zukünftige Zusammenarbeit zwischen Mensch und KI sowie Kompetenzanalysen im medizinischen Design.

Einleitung

Die rasche Marktaufnahme von KI-gesteuerter 3D-Modellierung im Gesundheitswesen verändert die Art und Weise, wie Implantate, Führungen und anatomische Rekonstruktionen hergestellt werden, doch es gibt in diesem Bereich weiterhin keine verlässliche Methode, um die ingenieurtechnischen Fähigkeiten hinter diesen Modellen zu bewerten. Die heute dominierende Praxis stützt sich stark auf Endproduktinspektionen, die zwar nützlich sind, um geometrische Fehler aufzudecken, aber den Modellierungs-Workflow, die Interaktion zwischen Nutzer und KI oder die momentweise Entscheidungsfindung ihrer Erstellung nicht wertschätzen. Folglich können klinische Teams oft nicht feststellen, ob ein Modell durch kompetente, wiederholbare Prozesse oder durch glückliches Ausprobieren erstellt^wurde. Diese Lücke erweist sich als zunehmend wichtig. Krankenhäuser, Regulierungsbehörden und 3D-Druckprogramme verlangen heute einen Nachweis über eine konsistente Qualität eines gesamten Arbeitsablaufs, nicht nur ein korrektes Endgitter, da Modellierungsfehler die chirurgische Sicherheit, die Passform des Geräts und die Rückverfolgbarkeit der Fertigung beeinträchtigen können. Es gibt derzeit keine Methode, um Modellierungsfähigkeiten auf integrierte, systematische und skalierbare Weise zu erfassen (oder zu berechnen), die die verhaltensbezogenen, kognitiven und prozeduralen Aspekte der Modellierungsfähigkeit einschließt. Dies ist die Hauptmotivation für das vorliegende Paper², aber es wurde keine operative Definition von "Workflow-Kompetenz" für anatomiezentrierte, KI-augmentierte Modellierung angeboten³. Diese Kluft zwischen regulatorischer Erwartung und täglicher Praxis ist die erste Motivation für die aktuelle Arbeit. Eine zweite Motivation ist pädagogisch. Healthtech-Start-ups und Universitätskliniken bilden Neulinge aus, indem sie sie 6 bis 18 Monate lang mit erfahrenen Modellierern zusammenbringen. Der Ansatz ist effektiv, lässt sich aber nicht skalieren: Die weltweit installierte Basis an KI-gestützten medizinischen CAD-Plätzen wuchs zwischen 2020 und 2024 um 340 %, während der Pool qualifizierter Mentoren^{bei 4} blieb. Ein visuelles Analysesystem, das in Echtzeit beobachten, diagnostizieren und coachen kann, würde den Trainingsdurchsatz von der Verfügbarkeit von Mentoren trennen und die Lernkurve für nicht-traditionelle Einsteiger wie Radiologen oder Pflegekräfte verkürzen, die zunehmend Frontend-Segmentierung durchführen.

Drittens gibt es ein kognitiv-wissenschaftliches Argument. Medizinisches Modellieren ist eine hochrisikoreiche Variante der visuellen Problemlösung, die räumliches Denken, anatomisches Wissen und Software-Geschicklichkeit verbindet. Zu verstehen, wie diese Ressourcen orchestriert werden, wann sie ausfallen und wann sie an KI ausgelagert werden, erfordert eine momentweise Erfassung von Augen-, Hand- und physiologischen Signalen. Der gleiche Datenstrom, der menschliche Expertise erläutert, kann ebenfalls zur Bewertung genutzt werden, wodurch eine positive Schleife zwischen Forschung und Anwendung entsteht. Trotz umfangreicher Literatur zu (i) prozeduraler Fertigkeitsbewertung in der Chirurgie und (ii) geometrischen Qualitätsmetriken für CAD-Netze^{5 bleibt} die Schnittstelle der zweidimensionalen Bewertung von ingenieurwissenschaftlicher Fähigkeiten in gesundheitszentrierter, KI-unterstützter 3D-Modellierung noch wenig erforscht. Konkret fehlen bestehende Bewertungsrubriken ein domänenspezifisches Fertigkeitskonstrukt und behandeln daher anatomisch kritische Merkmale, wie gefäßförmliche Bifurkationswinkel, auf die gleiche Weise wie generische mechanische Merkmale wie Bolzenlöcher. Anatomisch informierte Einschränkungen, wie die Porosität der trabekulären Infüllung oder Grenzen der Osteotomiekrümmung, fehlen bei der Wertung. Bezüglich fragmentierter Sensorik synchronisieren Prozesserfassungsstudien in CAD, chirurgischer Simulation oder VR-Gaming nur selten Kinematik, Blick, Physiologie und Stimme bei Subsekundenauflösung⁶. Folglich ist eine crossmodale Validierung unmöglich, und der inkrementelle Wert jedes Kanals bleibt unbekannt⁷. Bezüglich statischer Bewertung erzeugen aktuelle Tools typischerweise nach der Sitzung ein binäres Bestehen/Nicht-Bestehen-Label. Ihnen fehlt eine prinzipientreue Methode, um Unsicherheit auszudrücken oder Überzeugungen über die Kompetenz eines Lernenden zu aktualisieren, sobald neue Beweise eintreffen – eine entscheidende Voraussetzung für Bayessche Zertifizierungsprotokolle⁸. Schließlich bezüglich der Feedback-Diskontinuität werden selbst wenn umfangreiche Daten gesammelt werden, diese oft für eine nachträgliche Überprüfung gespeichert oder als Rohkurven dargestellt. Eine theorieorientierte, rollenspezifische visuelle Schicht, die niedrigstufige Signale in Echtzeit auf umsetzbare Ratschläge abbildet, existiert derzeit^{nicht 9,10}. Diese vier Mängel führen zu praktischen Schmerzen: 30 % der 3D-gedruckten anatomischen Leitfäden müssen weiterhin manuell überarbeitet werden, und die FDA ruft pro Quartal 2–3 patientenspezifische Implantatchargen zurück, weil der ursprüngliche Ingenieur eine Toleranzannotation¹¹ missverstanden hat. Ein End-to-End-Rahmenwerk, das den Kreislauf von multimodaler Erkennung zu interpretierbarem Feedback schließt, ist daher erforderlich.

Medizinische 3D-Modellierung unterscheidet sich von industrieller CAD in drei Punkten, die die Fähigkeitsbewertung direkt beeinflussen: Die anatomische Geometrie ist nichtparametrisch, die Fehlertoleranz nahezu null, und regulatorische Rückverfolgbarkeit ist verpflichtend¹². Das dominante Bewertungsparadigma ist weiterhin die summative Expertenüberprüfung des finalen polygonalen Mesh- oder STL-Dates. Typische Rubriken untersuchen geometrische Abweichungen von der Goldstandard-Vorlage, topologische Mannigfaltigkeit und das Vorhandensein von von Ärzten festgelegten Orientierungspunkten. Da die Inspektion manuell erfolgt, überschreitet der κ des Inter-Raters Cohen selten 0,65¹³. Kommerzielle Plattformen wie Mimics Innovation Suite und 3D Slicer bieten Bestand/Nicht-Bestehen-Flags zur Mesh-Qualität an, aber die Flags sind deterministisch (Dreiecks-Seitenverhältnis, sich schneidende Flächen) und ignorieren die tatsächliche Modellierungsbahn¹⁴. KI-gesteuerte 3D-Visualisierung verbessert das anatomische Verständnis, aber der effektive Einsatz hängt stark von den Modellierungsfähigkeiten des Bedieners ab. Obwohl VDR genaue volumetrische Bilder liefert, gibt es keine strukturierte Methode, um zu bewerten, wie Nutzer diese Modelle interpretieren, verfeinern oder manipulieren. Diese Studie adressiert diese Lücke, indem sie die Kompetenz in KI-unterstützter 3D-Modellierung¹⁵ bewertet. Die Autoren zeichnen Scroll- und Werkzeugaufrufe zusammen mit 3D-Cursorkoordinaten bei 30 Hz auf. Sie verwenden einen Long Short-Term Memory (LSTM) Autocoder, um "ineffiziente Werkzeugpfade" in mechanischem CAD zu erkennen, und erzielen einen F1-Wert von 0,81 gegenüber menschlichen Etiketten. Um die Analyse auf visuelle Aufmerksamkeit auszuweiten, enthält der TAP-3D-Datensatz¹⁶ Blickdaten von 120 Ingenieuren, die Solid Works-Übungen durchführen. Fixations-Sakkaden-Sequenzen werden als 128-D-Wort2vec-Vektoren codiert; Clustering offenbart fünf unterschiedliche visuelle Strategien mit signifikanter Korrelation zur Modellierungszeit (r = 0,73). Über Benutzerinteraktionsmetriken hinaus schätzen Mandal, A. und Ghosh, A. ^R.17 mechanische Eigenschaften komplexer Gewebe-Engineering-Gerüste mithilfe von 3D-CNNs, die auf 3D-digitale Topographien trainiert wurden, die aus CAD-Modellen¹⁷ abgeleitet sind. Der Ansatz sagt das Gerüstverhalten genau voraus und bietet einen schnelleren, KI-unterstützten Designweg für poröse und metamaterielle Strukturen. Die Reproduzierbarkeit dieser Vorhersage wird jedoch von der Vielfalt des Datensatzes beeinflusst, insbesondere bei sehr unregelmäßigen Geometrien oder Herstellungsfehlern.

Neuere Arbeiten von Schönfeldt, N., Hancock, P. und Birt, J.¹⁸ hat die Datenerfassung auf Sprach- und Think-Aloud-Protokolle ausgeweitet, insbesondere durch das Transkribieren von verbalen Kommentaren in 200D-BERT-Embeddings, um diese mit dem Debugging-Erfolg in Softwareaufgaben zu korrelieren¹⁸. Obwohl medizinische Modellierer weniger sprechen als Programmierer, zeigen Pilotaufnahmen in unserem Labor, dass Äußerungen wie "dieser Rücken sieht laut aus" mit 40 % der nachfolgenden Rückgängigkeitsereignisse zusammenfallen, was auf einen prädiktiven Wert hindeutet. Diese Studien zeigen, dass prozedurale Daten unauffällig erfasst werden können und dass maschinelle Lernmodelle die Daten auf Leistungskonstrukte abbilden können. Keines davon zielt jedoch auf gesundheitsspezifische 3D-Modellierung ab, wobei anatomische Variabilität und KI-Unterstützung zusätzliche Komplexitätsebenen hinzufügen. Visuelle Analytik wurde weit verbreitet für formatives Feedback in der Operationssimulation und im robotischen Training verwendet. Das MiEye-System¹⁹ überlagert farbcodierte Fehler-Heatmaps auf aufgenommenem laparoskopischen Video; Die Auszubildenden verbessern sich 26 % schneller als mit binärem Feedback. Für CAD-Ausbildung sind Chou, Y. H. et al.²⁰ Schlage ein Radardiagramm vor, das Schülerindizes (Feature-Zählung, Wiederaufbauzeit, Wiederaufbaufehler) mit Klassenprozentilen kontrastiert; Schüler, die Zugang zur Tabelle haben, zeigen einen Anstieg der Standardabweichung um 0,35 bei den Testergebnissen. Echtzeit-Visualisierung ist noch wenig erforscht. Kim, I.-J. und Quteineh, H. H.²¹ live kinematische Daten als durchscheinende Bänder in VR darzustellen, aber ihre Metrik ist reiner Positionsfehler; Die kognitive Belastung wird nicht angegangen. Soweit wir wissen, kombiniert kein bestehendes Framework geometrische, verhaltensbezogene und physiologische Ströme zu einer einzigen, interpretierbaren, Echtzeit-visuellen Rückkopplungsschicht, die speziell für KI-unterstützte medizinische 3D-Modellierung entwickelt wurde. Die Übersichtsarbeit zeigt vier spezifische Schwächen auf, die diese Forschung zu beheben versucht: Mangel an gesundheitsspezifischen Fertigkeitskonstruktionen: Aktuelle Rubriken behandeln medizinische Modellierung als generisches CAD; sie ignorieren anatomisch informierte Einschränkungen wie poröse Knochenfüllung oder vaskuläre Bifurkationswinkel. Fragmentierte Sensorik: Studien nutzen in der Regel eine einzelne Modalität (Kinematik, Blick oder Physiologie). Multimodale Synchronisation auf Subsekundenebene wird selten versucht, und eine crossmodale Validierung fehlt. Bayesianische Aktualisierungen oder Online-Vertrauensverfolgung wurden nicht auf die Modellierungsfähigkeit angewendet; daher können Prüfer keine Unsicherheit äußern oder neue Beweise im Verlauf der Aufgabe einbeziehen. Feedback-Diskontinuität: Selbst wenn umfangreiche Daten gesammelt werden, werden sie entweder für eine Nachbearbeitung gespeichert oder als Rohkurven dargestellt. Es gibt keine prinzipielle visuelle Schicht, die Signale auf niedriger Ebene in Echtzeit auf umsetzbare, theorie-orientierte Rückkopplungen abbildet. Diese Lücken rechtfertigen die Entwicklung eines End-to-End-Rahmens, der (i) ein multidimensionales Fertigkeitskonstrukt definiert, das auf Anforderungen der Gesundheitsanwendung basiert, (ii) heterogene prozedurale Daten durch kalibrierte bayessche Inferenz verschmilzt und (iii) den sich entwickelnden Glaubenszustand wiedergibt via interaktive, rollenspezifische Visualisierungen. Praktisch bietet das vorgeschlagene Rahmenwerk Krankenhäusern ein Echtzeit-Überwachungsinstrument zur Qualitätsmodellierung, reduziert die Abhängigkeit von langen Expertenüberprüfungszyklen und ermöglicht eine sicherere klinische Nutzung patientenspezifischer Geräte. Schulungszentren könnten das Framework nutzen, um strukturiertes und datenbasiertes Feedback zu bieten, das die Entwicklung der Lernenden fördert und die Etablierung standardisierter Kompetenzkriterien zwischen den Kohorten unterstützt. Für Regulierungsbehörden bietet das vorgeschlagene Rahmenwerk einen auditierbaren und transparenten Mechanismus zur Dokumentation der Workflow-Kompetenz, der mit den aufkommenden Anforderungen an die kontinuierliche Validierung medizinischer 3D-Druckprozesse übereinstimmt. Aufbauend auf diesen Motivationen entwirft und validiert diese Studie ein visuelles Analyse-Framework, das ingenieurtechnische Fähigkeiten im KI-unterstützten, gesundheitszentrierten 3D-Modellieren quantifiziert. Konkret zielt das Framework darauf ab, ein multidimensionales Fertigkeitskonstrukt zu definieren, das auf poröser Knochenfüllung, Gefäßwinkeln und anderen anatomisch bedingten Toleranzen basiert; um Blicke, Handbewegungen, physiologische Signale und KI-Interaktionsdaten mit Subsekundenauflösung zu synchronisieren; diese heterogenen Datenströme durch bayessche Aktualisierungen zu verschmelzen, um mit expliziter Sicherheit einen sich entwickelnden Kompetenzglauben zu erzeugen; diesen Glauben durch Echtzeit-Radarkarten, Heatmaps und 3D-Anmerkungen für sofortige Coaching- oder Zertifizierungszwecke darzustellen; und eine Bewertungsgenauigkeit von mindestens 90 % zu gewährleisten via aktiv-lernende Kalibrierung, die sich an neue Drucker, KI-Modelle oder klinische Regeln anpasst, ohne eine vollständige Neuschulung zu erfordern.

Die vorliegende Studie behandelt zwei zentrale Fragen: Ob die multimodale Datenfusion die Genauigkeit der Fertigkeitsbewertung im Vergleich zur Expertenbewertung verbessert und ob die bayessche Aktualisierung die Aufrechterhaltung der Bewertungsgenauigkeit ermöglicht, ohne dass ein vollständiges Modelltraining erforderlich ist.

Protokoll

Diese Studie umfasste menschliche Teilnehmer und wurde vom Ethikausschuss für den Schutz der menschlichen Forschung am Xianda College of Economics and Humanities, Shanghai International Studies University geprüft und genehmigt (Genehmigungsnummer 2025XD1221). Alle Teilnehmer unterschrieben Formulare zur informierten Einwilligung und absolvierten eine 30-minütige Vor-Experiment-Schulung: Die Teilnehmer der EG lernten, das visuelle Feedback des Frameworks (Radarkarten, Heatmaps) zu interpretieren, während CG-Teilnehmer nur Schulungen zum Plattformbetrieb erhielten. Um die Präzision bei der Datenerhebung zu gewährleisten, beinhaltete das Vorexperiment auch die 5-minütige Kalibrierung der Augentracker und physiologischen Sensoren.

Studienziele und Protokollübersicht

Ziel dieser Studie war es, ein geschlossenes, durchgängiges System zu schaffen, das multimodale Erfassung, Merkmalsextraktion, Bayessche Fusion und visuelles Feedback integriert, um ingenieurtechnische Fähigkeiten interpretierbar zu bewerten. Abbildung 1 zeigt das Protokolldiagramm zur Bewertung von ingenieurwissenschaftlichen Fähigkeiten in Gesundheitsanwendungen auf Basis künstlicher Intelligenz-unterstützter 3D-Modellierung.

Rahmenübersicht und hierarchische Logik

Der in dieser Studie vorgeschlagene visuelle Bewertungsrahmen für ingenieurtechnische Fähigkeiten in KI-unterstützter 3D-Modellierung von Gesundheitsanwendungen basiert auf der geschlossenen Logik der "datengetriebenen – Merkmalsextraktion – Evidenzfusion – visuelles Feedback". Sein Kernziel ist die vollständige Umwandlung von multimodalen Rohdaten zu interpretierbaren Fertigkeitsbewertungsergebnissen²². Um die zuverlässige Extraktion multimodaler Merkmale zur Bewertung ingenieurtechnischer Fähigkeiten sicherzustellen, erfasst das Framework gleichzeitig Interaktions-, physiologische, Blick-, Gesten- und Sprachsignale mit Millisekunden-Zeitsynchronisation. Das Framework verwendet eine hierarchische Architektur, bestehend aus vier Kernschichten: Multimodale Datenerfassungsschicht (L1), KI-Feature-Extraktionsschicht (L2), Evidence Fusion and Scoring Engine (L3) und Visual Feedback Layer (L4). Jede Schicht realisiert bidirektionale Interaktionen über standardisierte Datenschnittstellen, und gleichzeitig wird ein Framework-Kalibrierungsmodul (L5) eingeführt, um die dynamische Validität der Bewertungsergebnisse sicherzustellen. Abbildung 2 zeigt die End-to-End-Pipeline, beginnend mit der Erfassung multimodaler Daten (Blick, Kinematik, Physiologie, Sprache) durch KI-basierte Merkmalextraktion, Bayes'sche Bewertung sowie Echtzeit-visuelles und audiovisuelles Feedback. Die Schichten sind interaktiv, wobei Schicht 5 eine kontinuierliche Kalibrierung bietet. Diese Architektur ermöglicht koordinierte Verarbeitung und validierte Fähigkeitsschätzung für die Teilnehmer während der Durchführung von Live-3D-Modellierungsaufgaben.

Gleichung (1) Bayessche Konfidenzaktualisierungsformel:

Wobei: P(θ) die Vorwahrscheinlichkeit des Fertigkeitsniveaus θ darstellt (basierend auf historischen Bewertungsdaten); P(D∥θ) bezeichnet die Likelihood-Wahrscheinlichkeit, multimodale Merkmalsdaten D unter Skill-Level θ zu beobachten; P(D) ist die Grenzwahrscheinlichkeit; P(D∥θ) ist die posteriore Wahrscheinlichkeit für das Fertigkeitsniveau θ nach der Fusion der Daten D, also der endgültige Konfidenzwert. Dieser Rahmen verwendete einen strukturierten Delphi- und AHP-Ansatz²³ zur Gewichtung von Indikatoren. Ein Gremium aus zehn Fachexperten (Orthopäden, biomedizinische Ingenieure und erfahrene medizinische CAD-Modellierer) nahm an drei Delphi-Runden teil und bewertete die Bedeutung eines Indikators auf einer 9-Punkte-Likert-Skala, bis die Expertenbewertung stabil war (Variationskoeffizient <0,15)²⁴. Anschließend wurde unter Verwendung der konvergierten/verteilten Werte der Experten eine paarweise Vergleichsmatrix erstellt und mit dem AHP-Konsistenzkriterium mit einem Konsistenzverhältnis (CR) < 0,1 bestätigt. Überschritt der CR 0,1, wurde die Matrix neu angepasst. Die Konsistenzverhältnisse der AHP-Methoden für die paarweisen Vergleichsmatrizen lagen zwischen 0,03 und 0,08, was auf eine große interne logische Konsistenz im mehrstufigen hierarchischen Ansatz hinweist. Das Design jeder Schicht im Rahmen folgt dem Prinzip der "Modularisierung – Erweiterbarkeit". Zum Beispiel kann Schicht L1 die physiologische Datenerfassungsdimension erweitern, indem Biosensoren hinzugefügt werden; Schicht L2 kann sich an die Anforderungen der Qualifikationsbewertung verschiedener Gesundheitsanwendungen anpassen, indem sie vortrainierte Modelle ersetzt; Layer L4 unterstützt benutzerdefinierte Visualisierungsdimensionen basierend auf Benutzerrollen. Dies bietet Flexibilität für spätere Anwendungen in der medizinischen 3D-Modellierungsausbildung und in Szenarien der beruflichen Zertifizierung.

Multimodale Datenerfassungsschicht

3D-Interaktions-Ereignisstrom

Dieses Modul sammelt die Betriebsdaten der Ingenieure von KI-unterstützten 3D-Modellierungsplattformen über Software-Plug-ins (16) und deckt sowohl diskrete Betriebsereignisse als auch kontinuierliche Parameterdaten ab. Diskrete Ereignisse umfassen Modellauswahl, Vertex-Anpassung und KI-Tool-Aufruf, während kontinuierliche Parameter Modellierungsgeschwindigkeit, Rückgängig-/Wiederholungszählungen und KI-Vorschlägakzeptanzraten umfassen. Jedes Ereignis wird mit einem 13-stelligen Zeitstempel und den entsprechenden 3D-Modell-Koordinatensystemwerten (x, y, z) aufgezeichnet. Beispielsweise protokolliert das Plug-in bei der Anpassung der Krümmung eines orthopädischen Implantatmodells die Start- und Endzeiten der Operation, angepasste Knotenkoordinaten und Krümmungsvariationen und bildet so ein strukturiertes Ereignisprotokoll (siehe Tabelle 1 bis Tabelle 3 für Datenfelder). Diese Daten werden anschließend mit maßgeschneiderten Algorithmen verarbeitet, um domänenspezifische geometrische, effiziente und kognitive Indikatoren zu berechnen, was eine feine Charakterisierung von Modellierungsverhalten in gesundheitsbezogenen Anwendungen ermöglicht.

Augenbewegungs- und Gestensignale

Augenbewegungsdaten werden mit einem Desktop-Augentracker erfasst, der sich auf Fixierungspunkte und Sakkadenparameter in der 3D-Modellierungsschnittstelle konzentriert, welche die kognitive Aufmerksamkeitsverteilung des Ingenieurs widerspiegeln.

Gestensignale werden von einer Tiefenkamera erfasst, die 22 Schlüsselgelenkkoordinaten der oberen Gliedmaßen extrahiert, um typische Modellierungsgesten^zu identifizieren. Die Kamera wandelt 3D-Gestenkoordinatendaten in normalisierte Vektorsequenzen um, um individuelle Unterschiede in der Körpergröße zu verringern.

Die Datensynchronisation für dieses Modul basiert auf dem einheitlichen Hardware-Trigger des Frameworks (10-Hz-Zeitstempel aus 3D-Modellierungssoftware), wobei der Synchronisationsfehler innerhalb von ±50 ms gesteuert wird (berechnet über Gleichung 3-2), um zeitliche Korrelation zwischen Augen-/Gestenverhalten und Modellierungsoperationen ²⁶ sicherzustellen. Gleichung (2) präsentiert die Berechnung des Datensynchronisationsfehlers:

(2)

Wobei: E_t = Synchronisationsfehler zwischen der Geräteerfassungszeit (t_Gerät) und dem Softwarezeitstempel (t_Software); t_Gerät = tatsächliche Erfassungszeit des Augentrackers/Tiefenkameras; t_software = Trigger-Zeitstempel aus 3D-Modellierungssoftware.

Physiologische und Sprachdaten

Physiologische Daten werden über tragbare Sensoren erhoben: ein Elektromyographie-(EMG)-Sensor (1000 Hz Abtastfrequenz) ²⁷, der am Unterarm des Ingenieurs befestigt ist, um die Muskelspannung während feiner Operationen zu erfassen und so die Betriebsstabilität widerzuspiegeln. Elektrokardiographie-(EKG)-Sensor (250 Hz Abtastfrequenz)²⁸: Er wird auf der Brust getragen, um Herzfrequenzvariabilitätsindikatoren (HRV) zu erfassen, die die kognitive Last charakterisieren. Sprachdaten werden von einem gerichteten Mikrofon (44,1 kHz Abtastfrequenz) ^erfasst,29 werden während der Modellierung verbale Kommentare von Aufnahmeingenieuren erfasst, um die kognitive Zustandsanalyse zu ergänzen. Alle physiologischen und Sprachdaten werden vor der Speicherung in der zeitgestempelten multimodalen Datenbank vorverarbeitet. Abbildung 3 zeigt die physikalische experimentelle Hardware-Konfiguration. Sensordaten von den EMG/ECG-Wearables, dem Mikrofon, dem Augensensor und einer Tiefenkamera sind alle mit einer 3D-Modellierungs-Arbeitsstation verbunden. Bevor temporale Daten in einer multimodalen Datenbank gespeichert werden, passt ein Synchronisationsmodul alle Ströme an (innerhalb einer Marge von ±50 ms). Diese Materialspezifikation bedeutet zuverlässige, zeitlich ausgerichtete Eingaben in die Feature-Extraction- und Scoring-Pipeline.

KI-Feature-Extraktionsschicht

Geometrische Qualitätsindikatoren

Dieses Modul extrahiert quantitative Merkmale, die die Genauigkeit und Rationalität von 3D-Modellen widerspiegeln, aus dem 3D-Interaktionsereignisstrom und dem endgültigen Modellergebnis und bildet die Kernbasis für die Bewertung der "Modellierungspräzision"-Fähigkeiten der Ingenieure. Um die strukturelle Genauigkeit, anatomische Kongruenz und die Vollständigkeit von 3D-Modellen anhand von Abweichungs-, Topologie- und Vorlagenmerkmalen zu bewerten, werden drei Schlüsselindikatoren entworfen, wobei folgende Berechnungsmethoden und physikalische Bedeutungen detailliert dargestellt werden:

Modellabweichungsrate (MDR)

Dies misst die geometrische Abweichung zwischen dem vom Ingenieur modellierten Ergebnis und der Standardvorlage. Die Abweichung wird berechnet, indem der euklidische Abstand der Schlüsselmerkmale zwischen den beiden Modellen verglichen wird. Die Formel ist in Gleichung (3) dargestellt:

(3)

Wobei: n = Anzahl vordefinierter Schlüsselmerkmale (basierend auf der Modellkomplexität auf 50–100 gesetzt); P_i,Ingenieur = 3D-Koordinaten des i-ten Merkmalspunkts im Modell des Ingenieurs; P_i,Standard = 3D-Koordinaten des i-ten Merkmalspunkts in der Standardvorlage; |⋅| = Euklidischer Distanzoperator.

Ein niedrigeres MDR weist auf eine höhere Konsistenz mit dem Standardmodell hin, mit einer Schwelle von ≤ 5 % für qualifizierte Gesundheitsanwendungsmodelle. Die Modellierungskompetenzen wurden anhand von Zeiteffizienz, redundanten Bewegungen, Gestenstabilität und Nutzungsmustern der vorgeschlagenen KI-Tools während Echtzeit-3D-Betriebsszenarien bewertet.

Topologische Konsistenz (TC)

Dabei wird bewertet, ob die topologische Struktur des 3D-Modells den Anforderungen an medizinische Anwendungen entspricht. Der Indikator wird berechnet, indem man die Anzahl der topologischen Defekte (D) und die Gesamtzahl der topologischen Elemente (T, Summe der Eckpunkte, Kanten und Flächen) im Modell zählt, wie in Gleichung (4) gezeigt:

(4)

Wenn beispielsweise ein Kniegelenksmodell 2 Nicht-Mannigfaltigkeitskanten (D = 2) und 1200 totale topologische Elemente (T = 1200) enthält, beträgt es 99,83 %. Für medizinische Modelle ist ein ≥ von 98 % erforderlich, um Herstellungsrisiken zu vermeiden.

Funktionsvollständigkeit (FC)

Dies bewertet, ob der Ingenieur alle verpflichtenden Funktionen des Gesundheitsanwendungsmodells vollständig implementiert hat. Der Indikator wird ermittelt, indem die Anzahl der abgeschlossenen Pflichtfunktionen (F_{abgeschlossen}) mit der Gesamtzahl der in den Aufgabenanforderungen definierten Pflichtmerkmale (F_Gesamt) verglichen wird:

(5)

Indikatoren für Verhaltenseffizienz

Dieses Modul verarbeitet 3D-Interaktionsereignisströme und Gestensignale, um Merkmale zu extrahieren, die die Effizienz der Modellierungsarbeiten der Ingenieure widerspiegeln, und bewertet ihre Fähigkeiten in der "Betriebskompetenz". Die kognitiven Anforderungen im Zusammenhang mit der Modellierung wurden mit synchronisierten physiologischen, Blick- und EMG-Signalen gemessen. Diese Kennzahlen verfolgen die Aufmerksamkeitsverteilung über Zeit und Arbeitsbelastungsschwankungen während des Modellierungsprozesses.

Modellierungszeiteffizienz (MTE)

Dies vergleicht die tatsächliche Modellierungszeit des Ingenieurs (T_tatsächlich) mit der durchschnittlichen Zeit der leitenden Experten für dieselbe Aufgabe (_T-Experte), normalisiert auf einen Wert von 0 bis 100:

(6)

Wenn zum Beispiel ein Ingenieur 45 Minuten benötigt, um eine Aufgabe zu erledigen, bei der Experten im Durchschnitt 30 Minuten benötigen, gibt es 100 - (45 - 30) x 50 = 75, was auf moderate Effizienz hindeutet.

Redundante Betriebsrate (ROR)

Dies zählt den Anteil der unnötigen Operationen im Modellierungsprozess. Sie wird berechnet als das Verhältnis der redundanten Operationsanzahl (O_redundant) zur Gesamtzahl der Operationen (O_insgesamt):

(7)

Redundante Operationen werden vom KI-Algorithmus mittels Regelabgleichen und Gestenkonsistenzanalyse identifiziert.

KI-Werkzeugauslastungsrate (ATUR)

Dies misst die Fähigkeit des Ingenieurs, KI-unterstützte Funktionen zu nutzen, um die Effizienz zu steigern. Sie ist definiert als das Verhältnis der Anzahl der KI-Werkzeugaufrufe (I_AI) zur Gesamtzahl der Werkzeugaufrufe (I_insgesamt):

(8)

Ein höheres ATUR zeigt eine bessere Integration von KI-Tools in den Modellierungsprozess, was eine Schlüsselkompetenz für moderne medizinische 3D-Modellierung ist.

Gestengeschmeidigkeit (GS)

Dies bewertet die Stabilität der oberen Gliedmaßenbewegungen des Ingenieurs während der Modellierung. Der Indikator wird durch die Standardabweichung der Geschwindigkeit von 22 Oberarm-Schlüsselgelenken (v_j) über die Zeit berechnet:

(9)

Eine niedrigere Standardabweichung (und damit ein höherer GS) weist auf sanftere Gesten hin, was eine höhere operative Kompetenz widerspiegelt. Diese Indikatoren werden während des Modellierungsprozesses in Echtzeit extrahiert, wobei der KI-Algorithmus die Indikatorwerte alle 5 Minuten aktualisiert und in der Feature-Datenbank für die anschließende Fusion speichert.

Indikatoren für kognitive Belastung

Dieses Modul analysiert Augenbewegungssignale und physiologische Daten, um die kognitive Last des Ingenieurs während der Modellierung zu quantifizieren und seine Fähigkeiten in der "kognitiven Anpassungsfähigkeit" zu bewerten. Multimodale Indikatoren wurden mit einem Delphi-AHP-Ansatz gewichtet und bayesianische Evidenzaktualisierungen, um Echtzeit-Probabilistische ingenieurtechnische Fertigkeiten zu liefern. Drei Schlüsselindikatoren werden entwickelt:

Fixationsdispersion (FD)

Dies spiegelt die Verteilung der visuellen Aufmerksamkeit des Ingenieurs wider. Sie wird als euklidischer Abstand zwischen den maximalen und minimalen Fixationspunktkoordinaten ( (x_{max,y max}) und (x_{min,y min}) ) in der 3D-Modellierungsschnittstelle über ein 2-minütiges Fenster berechnet:

(10)

Eine größere FD weist auf verstreute Aufmerksamkeit hin, die oft mit einer hohen kognitiven Belastung einhergeht.

Herzfrequenzvariabilität (HRV) – SDNN

SDNN (Standard Deviation of Normal-to-Normal Intervals) wird aus EKG-Daten extrahiert, um die Schwankungen der Herzfrequenz des Ingenieurs zu messen. Ein niedrigeres SDNN deutet auf eine höhere Aktivität des sympathischen Nervs hin, was eine erhöhte kognitive Belastung widerspiegelt. Der KI-Algorithmus filtert zunächst das EKG-Rauschen (mittels Wavelet-Transformation) und berechnet dann SDNN mit Gleichung (11):

(11)

Wobei: N = Anzahl der normalen Herzschläge in einem 5-Minuten-Fenster; RR_k = Zeitintervall zwischen dem k-ten und (k + 1)-ten normalen Herzschlag; = durchschnittliches RR-Intervall im Fenster.

Elektromyographie (EMG) – Wurzelmittlerquadrat (RMS)

Das RMS der EMG-Signale des Unterarms spiegelt die Muskelspannung wider: Ein höherer RMS zeigt eine erhöhte Muskelsteifheit durch kognitiven Stress an. Die Berechnungsformel lautet:

(12)

Dabei gilt: m = Anzahl der EMG-Signalproben in einem 1-Minuten-Fenster und EMG(t) = Amplitude des EMG-Signals zum Zeitpunkt t. Ein zusammenfassendes Diagramm wurde erstellt, um die konzeptionelle Klarheit zu verbessern und die Replikation der Forschung zu erleichtern. Sie veranschaulicht die hierarchische Beziehung zwischen den zehn Bewertungsindikatoren und den drei Hauptkonstrukten hinter dem vorgeschlagenen Rahmen: geometrische Qualität, operative Effizienz und kognitive Anpassungsfähigkeit. Dieses Diagramm zeigt, wie multimodale Eingangssignale in messbare Indikatoren umgewandelt werden, die anschließend durch einen bayesschen Ansatz fusioniert werden, um einen zusammengesetzten Ingenieurswert zu erstellen. Dieser Überblick vermittelt eine kompakte Version der Evaluationslogik und erhöht die methodische Transparenz dieser Studie sowohl formativ als auch für zukünftige Bildungs- und Regulierungsrichtungen. Abbildung 4 zeigt die hierarchische Struktur des vorgeschlagenen Frameworks zur Bewertung von ingenieurwissenschaftlichen Fähigkeiten, der zehn multimodale Indikatoren in drei grundlegende Konstrukte organisiert: geometrische Qualität, operative Effizienz und kognitive Flexibilität. Diese Faktoren tragen zum Gesamtergebnis der Fähigkeiten bei, das zur Bewertung der KI-unterstützten 3D-Modellierungsleistung verwendet wird.

Beweisfusion und Bewertungs-Engine

Indikatorgewichtzuweisung (Delphi + AHP)

Dieses Modul adressiert das Problem der differenzierten Bedeutung zwischen mehrdimensionalen Merkmalen, indem es die Delphi-Methode (Expertenkonsens) und den Analytic Hierarchy Process (AHP) kombiniert, um den zehn extrahierten Indikatoren (drei geometrische Qualitätsindikatoren, vier Indikatoren für Verhaltenseffizienz und drei kognitive Belastungsindikatoren) Gewichtungen zuzuweisen und diese komplexen multimodalen Indikatoren in visuellen und interpretierbaren Formaten darzustellen, wie Radarkarten, Heatmaps und annotierte Abspielungen für biomedizinisch relevante diagnostische Inferenz.

Delphi-Konsensphase

Ein Gremium aus zehn Experten bewertete die Bedeutung jedes Indikators anhand einer 9-Punkte-Skala (1 = "am wenigsten wichtig", 9 = "am wichtigsten") über drei Runden anonymer Fragebögen. Nach jeder Runde wurde dem Gremium statistisches Feedback – bestehend aus Durchschnittswerten und Variationskoeffizienten (CV) – bereitgestellt, um die Punkteanpassung zu erleichtern. Die Konvergenz wurde als CV ≤ 0,15 für jeden Indikator definiert. Bemerkenswert ist, dass der Konsens für Indikatoren wie die Model Deviation Rate (MDR) und die AI Tool Utilization Rate (ATUR) typischerweise bereits in der zweiten Runde erreicht wurde, was auf deren direkte klinische Relevanz zurückzuführen ist.

Um die technische Robustheit zu gewährleisten, standardisierte das Protokoll multimodale Datenausrichtung (Synchronisationstoleranz ≤ 50 ms; 30 Hz einheitlicher Triggertakt) und Indikatorberechnungsmethoden. Zum Beispiel wurde MDR aus 50–100 anatomischen Schlüsselpunkten abgeleitet, während die Topologische Konsistenz-(TC)-Schwelle für defektfreie Elemente auf >98 % gesetzt wurde. Diese Schwellenwerte wurden anhand klinischer Toleranzstandards gerechtfertigt, wie etwa einer < Abweichung von 5 % für porösen Knochen und einem Fehler von < 3° bei vaskulären Bifurkationswinkeln. Darüber hinaus integrierte die Methodik bayessches Scoring mit Gaußscher Likelihood-Modellierung (unter Verwendung kalibrierter σ Bereiche für unterschiedliche Fertigkeitsstufen) und nutzte einen CNN-LSTM-Feature-Extractor, der mit einer Batchgröße von 32, einer Lernrate von 1 x ^10-4 und 120 Epochen trainiert wurde.

Etablierung der AHP-Hierarchie

Eine dreistufige Hierarchie wird aufgebaut: Zielschicht (A): umfassende Bewertung technischer Fähigkeiten; Kriteriumsschicht (B): 3 Indikatoren der ersten Ebene (B1: Geometrische Qualität, B2: Verhaltenseffizienz, B3: Kognitive Belastung); Indikatorschicht (C): 10 Indikatoren auf zweiter Ebene (C1: MDR, C2: TC, ..., C10: EMG RMS).

Paarweiser Vergleich und Konsistenzprüfung

Basierend auf Delphi-Konsensergebnissen wird eine paarweise Vergleichsmatrix für die Kriteriumsschicht und die Indikatorschicht erstellt. Nehmen wir die Kriteriumschicht als Beispiel, ist die Matrix definiert als:

(13)

Wobei: a_ij das Wichtigkeitsverhältnis von B_j zu B_j ist. Der Gewichtungsvektor der Kriteriumsschicht (W_B = [w_{B1,w B2,w B3}]) wird mittels der Eigenvektormethode berechnet. Um logische Widersprüche zu vermeiden, wird das Konsistenzverhältnis (CR) mit Gleichung (14) überprüft:

(14)

Wobei: (λ_max = maximaler Eigenwert der Matrix, = Anzahl der Indikatoren) und der Zufallskonsistenzindex ist (für n = 3, RI = 0,58). Das Ergebnis ist akzeptabel, wenn CR 0,1 <.

Durch diesen Prozess werden typische Gewichte ermittelt: (Geometrische Qualität), (Verhaltenseffizienz), (Kognitive Belastung); das Gewicht von MDR (C1) in der Indikatorschicht ist üblicherweise das höchste (~0,25), während das EMG RMS (C10) das niedrigste (~0,05) ist.

Bayesianisches Vertrauensupdate

Dieses Modul fusioniert die gewichteten Indikatoren, um den endgültigen Skill-Confidence Score zu erzeugen, wobei die "Unsicherheit der Bewertung eines einzelnen Merkmals" adressiert wird, indem die vorherigen Wahrscheinlichkeiten mit Echtzeit-Multimodaldaten aktualisiert werden. Der Prozess basiert auf Gleichung (1) (Bayessche Formel) und wird in zwei Schritten umgesetzt:

Schritt 1: Initialisierung der Priorwahrscheinlichkeit (P(θ))

Das Fähigkeitsniveau ist in 5 Klassen unterteilt: (Anfänger), (Anfänger), (Fortgeschritten), (Fortgeschritten), (Experte). Die Vorwahrscheinlichkeit wird mit historischen Daten initialisiert: Wenn das System 500 Ingenieure bewertet hat und 100 als θ₃ klassifiziert werden, dann gilt P(θ₃) = 100/500 = 0,2. Für neue Nutzer ohne historische Daten wird ein einheitliches Prior (P(θ_i) = 0,2 für alle i) eingeführt.

Schritt 2: Berechnung der posterioren Wahrscheinlichkeit (P(θ∥D))

Die multimodalen Merkmalsdaten sind die gewichtete Summe der 10 normalisierten Indikatoren:

(15)

Wobei: w_Ck das Gewicht des k-ten Indikators ist (aus Abschnitt 3.4.1) und die_Ck-Norm der normalisierte Wert des k-ten Indikators ([0,1]-Bereich).

Die Likelihood-Wahrscheinlichkeit wird mit einer Gaußschen Verteilung modelliert, wobei angenommen wird, dass die Merkmalsdaten von Ingenieuren auf Qualifikationsniveau folgen (Mittelwert μ_{i, Varianz} ). Diese Parameter werden mit 200 beschrifteten Proben kalibriert.

Schließlich wird die posteriore Wahrscheinlichkeit mittels Gleichung (3-1) berechnet, und die Qualifikationsnote entspricht dem Maximum ist das Ergebnis der Echtzeitbewertung. Zum Beispiel, wenn ein Ingenieur D = 0,72 und (höher als andere Grade) hat, wird er als "Fortgeschritten" klassifiziert.

Um den Prozess der Konfidenzaktualisierung zu visualisieren, zeigt Abbildung 5 , wie bekannte gleiche Fertigkeitswahrscheinlichkeiten unter Verwendung von Bayesscher Inferenz und Echtzeitsignalen als Beweis in eine posteriore Verteilung aktualisiert werden. Nach der Beobachtung der Aufgabe aktualisiert sich das Modell, um die Evidenz in Richtung der Fertigkeitsstufe mit der höchsten posterioren Wahrscheinlichkeit zu stärken. Validierungstests zeigten eine starke Konvergenzstabilität der Expertenbewertungen, und die Bayesschen Werte korrelierten stark mit den Expertenbewertungen, was die vertrauenswürdige Nutzung von bayesscher Aktualisierung im Arbeitsablauf unterstützte.

Das Ergebnis dieser Schicht ist ein umfassender Skill-Score (0-100, abgebildet aus der maximalen posterioren Wahrscheinlichkeit) und ein Konfidenzintervall, das zur intuitiven Darstellung an die Visual Feedback Layer übertragen wird.

Visuelle Rückkopplungsschicht

Echtzeit-Radarkarte

Dieses Modul wandelt die 10 normalisierten Indikatoren und 3 dreistufigen Kriteriumswerte in eine Radarkarte um, was einen intuitiven Vergleich der Stärken und Schwächen der Ingenieure ermöglicht. Die Radarkarte ist mit 7 Achsen konstruiert (3 für Erstebene-Kriterien: B1-B3; 4 für Kernindikatoren der zweiten Ebene: C1=MDR, C4=ATUR, C7=FD, C9=SDNN-ausgewählt wegen ihres hohen Gewichts und ihrer Interpretierbarkeit), wobei jeder Achsenbereich auf [0,100] normalisiert ist (abgebildet aus den normalisierten Werten [0,1] mittels Gleichung 3-7). Um die Messgenauigkeit kontinuierlich durch Expertenannotationen und Aktualisierungen des aktiven Lernens zu verbessern, werden ein Gesundheitsmodellierungskontext und ein wachsendes Verständnis integriert.

Gleichung (16) Indikatorwertabbildung für Radarkarten:

(16)

Dabei gilt: V_Radar = Wert, der auf der Radarkartenachse angezeigt wird; _Ck-Norm = normalisierter Wert des k-ten Indikators ([0,1]-Bereich).

Das Radardiagramm wird in Echtzeit aktualisiert (alle 5 Minuten) und enthält zwei Referenz-Benchmarks: eine Standard-Benchmark-Linie (gestrichelte Linie,_V-Radar = 80, repräsentiert die "fortgeschrittene" Fähigkeitsschwelle) und eine Experten-Durchschnittslinie (gestrichelte Linie, berechnet aus historischen Daten von 50 erfahrenen Ingenieuren). Abbildung 6 zeigt das Verhalten des Ingenieurs über eine Kombination von Schlüsselindikatoren: geometrische Qualität, kognitive Belastung, Werkzeugnutzungseffizienz und Fixationsdispersion im Vergleich zu den entsprechenden Experten-Benchmarks. Als Teil der Rückmeldungsschicht wurden echte Werte unter Verwendung fusionierter Metriken in ein interpretierbares Profil übersetzt. Nutzerstudien zeigten ihre erfolgreiche Umsetzung zur schnellen Entdeckung von Kompetenzlücken und förderten gleichzeitig eine strukturierte, datenbasierte Berechnung zur Verbesserung bei Modellierungsaufgaben.

Temporale Heatmap

Dieses Modul visualisiert den dynamischen Wandeltrend von Kompetenzindikatoren über den gesamten Modellierungsprozess hinweg und hilft, Zeiträume zu identifizieren, in denen Ingenieure Schwierigkeiten haben. Die Heatmap verwendet ein 2D-Gitter: Die x-Achse stellt Zeitintervalle dar (10-Minuten-Segmente, insgesamt 12 Segmente für eine 2-Stunden-Aufgabe), und die y-Achse stellt 5 Schlüsselindikatoren dar (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). Die Farbintensität jeder Gitterzelle entspricht dem normalisierten Wert des Indikators, mit einer Farbskala von Blau (niedriger Wert, schlechte Leistung:_Ck-Norm < 0,5) bis Rot (hoher Wert, gute Leistung:_Ck-Norm < 0,8), wie in Gleichung (17) definiert:

Gleichung (3-8) präsentiert Farbintensitätsberechnung für Heatmap:

(17)

Wobei: I_Farbe = RGB-Farbintensitätswert (0-255, 0=blau, 255=rot); min(_Ck-Norm) und max(_Ck-Norm) = minimale und maximale normalisierte Werte des Indikators über alle Zeitintervalle.

Abbildung 7 zeigt zeitlich aufgelöste Veränderungen in kognitiver Belastung, Fixationsdispersion, Blickstabilität und Entscheidungs-Latenz-Metriken in 10-minütigen Segmenten. Beachten Sie, dass die hervorgehobenen Bereiche auf eine hohe kognitive Nachfrage oder Workflow-Störungen hinweisen. Diese Zeitansicht wird direkt aus koaleszenten multimodalen Strömen generiert, unterstützt durch Annotationen von Experten, was ihre entscheidende Rolle bei der Auseinandersetzung mit Modellierungsmüdigkeit, Aufmerksamkeitsverschiebungen und aufgabenspezifischen Schwierigkeiten aufzeigt.

D-Playback-Annotation

Dieses Modul legt Annotationen zur Fertigkeitsbewertung auf die Funktionswiedergabe des 3D-Modells und ermöglicht so eine Schritt-für-Schritt-Analyse des Modellierungsverhaltens des Ingenieurs. Die Wiedergabegeschwindigkeit ist einstellbar (0,5×-2× Echtzeit) und synchronisiert sich mit dem multimodalen Datenzeitstempel. Drei Arten von Annotationen sind eingebettet: Geometrische Fehlerannotationen: Rote Drahtgitter markieren Modellbereiche, in denen MDR (C1) 5 % (qualifizierter Schwellenwert) überschreitet, wobei Textbeschriftungen den Abweichungswert anzeigen. Effizienzwarnungen: Gelbe Ausrufezeichen erscheinen an der Stelle redundanter Operationen, mit Pop-up-Fenstern, die den Aktionstyp anzeigen. Kognitive Lastanmerkungen: Grüne/rote Statusbalken in der Ecke zeigen die kognitive Belastung in Echtzeit an (basierend auf C9: SDNN und C10: EMG RMS), wobei Rot "Hohe Last" (SDNN < 50 ms) und Grün "Normale Last" (SDNN > 100 ms) bedeutet.

Framework-Kalibrierung und Iteration

Experten-Annotationsoberfläche

Dieses Modul bietet eine Human-in-the-Loop-Schnittstelle für erfahrene Experten, um die Bewertungsergebnisse des Frameworks zu korrigieren und zu beschriften, wobei der "Drift der Bewertungsgenauigkeit" durch Veränderungen in Gesundheitsanwendungsszenarien berücksichtigt wird. Die Benutzeroberfläche ist mit drei Kernfunktionen konzipiert: Ergebniskorrektur, Indikator-Neugewichtung und Annotationsspeicherung.

Ergebniskorrekturfunktion

Experten überprüfen zunächst die Ergebnisse des visuellen Feedbacks und den umfassenden Skill-Score des Frameworks (0-100). Wenn die Bewertung vom Expertenurteil abweicht, kann der Experte die Bewertung manuell anpassen und den Grund festhalten. Die Korrekturgröße wird mittels Gleichung (18) quantifiziert:

(18)

Wobei: S_korrigiert = endgültige korrigierte Punktzahl; _S-Framework = Anfangspunktzahl, die vom Framework herausgegeben wird; S_Expert = manuelle Punktzahl des Experten; α = Korrekturgewicht (standardmäßig auf 0,8 gesetzt, um sicherzustellen, dass das Expertenurteil dominiert und die Rationalität des Rahmens erhalten bleibt).

Indikator-Umgewichtungsfunktion

Für szenariospezifische Kalibrierung können Experten das Gewicht einzelner Indikatoren über eine Schiebeleiste (0-0,5-Bereich) anpassen. Die Schnittstelle berechnet das Konsistenzverhältnis (CR) nach der Anpassung automatisch neu (unter Verwendung der Gleichung 3-6) und informiert Experten, falls (unlogische Gewichtsverteilung), um sicherzustellen, dass die angepassten Gewichte mathematisch gültig bleiben.

Annotationsspeicherfunktion

Alle korrigierten Werte, angepassten Gewichtungen und Expertenkommentare werden in einer kommentierten Datenbank mit Zeitstempeln und Szenario-Tags gespeichert. Diese Datenbank dient als Trainingsdaten für das anschließende Online-Modul für aktives Lernen, wobei ein typisches Datenschema in Tabelle 2 dargestellt ist.

Online-Update für aktives Lernen

Dieses Modul nutzt die annotierten Daten, um iterativ die Kernalgorithmen des Frameworks zu optimieren (KI-Feature-Extraction-Modelle in L2 und Bayes'sche Scoring-Engine in L3), sodass sich das Framework an neue Gesundheitsanwendungen anpassen kann, ohne vollständige Neuschulung. Der Aktualisierungsprozess folgt einer Anfrage-per-Komitee-(QBC)-Strategie, die in drei Phasen unterteilt ist:

Stufe 1: Unsicherheitsberechnung

Drei parallele "Komiteemodelle" werden bereitgestellt (alle basierend auf derselben Architektur wie das L2-Feature-Extraction-Modell, aber auf unterschiedlichen historischen Datensätzen trainiert):

Modell A: Trainiert mit orthopädischen Implantatmodellierungsdaten;

Modell B: Trainiert auf Organrekonstruktionsdaten;

Modell C: Trainiert auf Daten zur Modellierung von Zahnimplantaten.

Für jede unlabelte Stichprobe (Modellierungsdaten des Ingenieurs) liefern die Komiteemodelle drei vorhergesagte Skill-Scores. Die Unsicherheit der Stichprobe wird anhand des Variationskoeffizienten (CV) der drei Werte berechnet:

(19)

Wobei: S_A, SB, S_C = von den drei Komitee-Modellen vorhergesagten Werte; STD (⋅) = Standardabweichung; = Durchschnitt der drei Punkte.

Ein höherer CV zeigt größere Uneinigkeit zwischen den Komiteemodellen (höhere Unsicherheit), was bedeutet, dass die Stichprobe für die Annotation wertvoller ist.

Phase 2: Stichprobenauswahl

Das Framework wählt die besten 10 % der Beispiele mit dem höchsten Lebenslauf aus und schickt sie zur Beschriftung an die Experten-Annotationsoberfläche. Diese aktive Selektionsstrategie reduziert die Anzahl der Proben, die eine Expertenannotation benötigen (im Vergleich zur Zufallsauswahl), um 40–60 %, was die Kalibrierungseffizienz verbessert.

Phase 3: Modellumschulung und Aktualisierung

Die neu annotierten Beispiele werden verwendet, um die Algorithmen des Frameworks zu verfeinern:

Für L2-Feature-Extraktionsmodelle: Das Modell wird mit einer Lernrate von 1e-5 (10 % der anfänglichen Trainingsrate) unter Verwendung der annotierten geometrischen Fehlerdaten neu trainiert, wobei nur die letzten beiden Schichten aktualisiert werden, um Überanpassungen zu vermeiden.

Für die L3-Bayessche Bewertungs-Engine: Die Gaußschen Verteilungsparameter () für jede Fertigkeitsstufe werden mithilfe der annotierten Punktzahlen aktualisiert, wobei die Aktualisierungsformel in Gleichung (20) gezeigt wird:

(20)

Wobei: = aktualisierter Mittelwert des Fertigkeitsniveaus θ_i; = ursprünglicher Mittelwert vor der Aktualisierung; _S-θi = durchschnittliche korrigierte Punktzahl annotierter Proben, die als θ_i bezeichnet werden; β = Vergessensfaktor (auf 0,7 gesetzt, historische Daten und neue Anmerkungen ausbalancieren).

Das aktualisierte Framework wird unmittelbar nach dem erneuten Training online bereitgestellt, mit einer Leistungsüberprüfung vor der Bereitstellung: Wenn der durchschnittliche absolute Fehler zwischen dem neuen Output des Frameworks und den Expertenannotationen ≤3 beträgt (um ≥20 % gegenüber der vorherigen Version reduziert), wird das Update bestätigt; ansonsten wird der Nachtrainingsprozess mit zusätzlichen annotierten Proben wiederholt.

Dieser iterative Kalibrierungsmechanismus stellt sicher, dass die Bewertungsgenauigkeit des Frameworks über 90 % bleibt, selbst wenn sich 3D-Modellierungstechnologien für Gesundheitsanwendungen weiterentwickeln und die langfristige Anpassungsfähigkeit erhalten.

Ergebnisse

Die Ergebnisse bewerten die Validität, Zuverlässigkeit und Benutzerfreundlichkeit des Frameworks durch experimentelle Bewertung von Skill-Diskriminierung, Konstruktvalidität, prädiktiver Validität und der Wirksamkeit von Echtzeit-Rückkopplung.

Versuchsdesign

Die Experimente wurden in einer Python-Umgebung auf einem Computer mit einem 12-Kern-Intel-Prozessor, 32 GB RAM und 1 TB SSD-Speicher durchgeführt. NumPy und Pa...

Diskussion

Obwohl die bestehenden 3D-Modellierungs- und Interaktionsrahmen nur wenige sind und gelegentlich nützliche Informationen liefern können, bewerten sie die technischen Fähigkeiten bei 3D-Modellierungsaufgaben. Die meisten früheren Gestenverfolgungs- und Schnittstellenstudien¹⁹ bewerten das interaktive Verhalten statt der Bewertung der Fähigkeiten des Nutzers. Ähnlich erlangt der Lernende im Fall von VR-/haptisch-basierten Bildungssystemen²⁰ e...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
KI-unterstützte 3D-Modellierungssoftware	Materialise NV, Belgien	Mimikert KI v25.0	Verwendet für die Modellierung femoraler Stammimplantate und die Lebergefäßrekonstruktion mit KI-Segmentierung und Defekterkennung.
Eye Tracker (Desktop)	Tobii Pro Fusion	TPF-120	Erfasst Fixations- und Sakkadendaten bei 120 Hz, um die visuelle Aufmerksamkeit während der Modellierung zu quantifizieren.