Wir entwickelten und evaluierten intern ein aufmerksamkeitsbasiertes TabTransformer-Modell zur stationären Klassifikation der Osteoporose bei Erwachsenen, die sich einer wirbelsäulenneurochirurgischen Eingriffe unterziehen, unter Verwendung routinemäßig erhobener Medical Information Mart for Intensive Care IV-Klinischen Daten.
Forschungsartikel
TabTransformer-basierte Krankenhausklassifikation der Osteoporose bei Erwachsenen, die sich einer spinalen neurochirurgischen Behandlung unterziehen
* These authors contributed equally
In diesem Artikel
Zusammenfassung
Zusammenfassung
Ziel war es, ein Deep-Learning-Modell zur Klassifikation der Osteoporose im Krankenhaus bei Erwachsenen, die sich einer wirbelsäulenneurochirurgischen Eingriffe unterziehen, mithilfe routinemäßig erhobener tabellarischer klinischer Daten zu entwickeln und zu evaluieren. Diese retrospektive Studie nutzte die Medical Information Mart for Intensive Care IV (MIMIC-IV) Datenbank, um erwachsene Patienten zu identifizieren, die sich wirbelsäulenneurochirurgischen Eingriffen unterzogen hatten. Osteoporose wurde durch ICD-9/10-Diagnosecodes definiert, die während der Indexaufnahme aufgezeichnet wurden. Demografische Merkmale, Medikamentenakten, Labormessungen und Vitalwerte desselben Krankenhausaufenthalts wurden für die Modellentwicklung verwendet. Nach einer geschichteten Aufteilung in Training, Validierung und Testsets wurde das Klassenungleichgewicht nur im Trainingsset behoben. Ein auf TabTransformer basierendes Modell wurde entwickelt und mit XGBoost, LSTM_Attention und Temporal Convolutional Networks (TCN) verglichen. Die Interpretierbarkeit des Modells wurde mit SHapley Additive Explanations (SHAP) bewertet. Im Hold-out-Testset erzielte TabTransformer die beste Gesamtleistung, mit einer Fläche unter der Empfänger-Betriebscharakteristik (AUC) von 0,953 und einer durchschnittlichen Präzision (AP) von 0,799. Die entsprechenden Werte für TCN, XGBoost und LSTM_Attention waren 0,937/0,707, 0,857/0,303 bzw. 0,755/0,179. Die SHAP-Analyse identifizierte Alter, Geschlecht, Kreatinin, Breite der roten Blutkörperchen, Bicarbonat, Phosphat, Neutrophile und mehrere medikamentenbezogene Variablen als einflussreiche Faktoren für die Modellergebnisse. In dieser retrospektiven Kohorte mit nur einem Zentrum zeigte das TabTransformer-Modell eine starke diskriminierende Leistung bei der Klassifikation von Osteoporose im Krankenhaus und lieferte interpretierbare Merkmale-Assoziationen über SHAP. Da Prädiktoren und Ergebnisse innerhalb derselben Hospitalisierung definiert wurden, sollte dieses Rahmenwerk als intern validiertes exploratives Klassifikationsmodell und nicht als zeitlich explizites Werkzeug zur Zukunftsrisikovorhersage interpretiert werden.
Einleitung
Osteoporose (OP) ist eine weit verbreitete Skeletterkrankung, die durch eine verminderte Knochenmineraldichte und strukturellen Abbau des Knochengewebes gekennzeichnet ist, was zu einer erhöhten Knochenfragilität und einer höheren Wahrscheinlichkeit von Brüchen führt. Es stellt weiterhin ein erhebliches Gesundheitsproblem dar, insbesondere bei älteren Menschen und postmenopausalen Frauen2. Bei hospitalisierten Patienten, die sich einer spinalen neurochirurgischen Eingriffe unterziehen, kann die Knochengesundheit durch verminderte Mobilität, systemische Stressreaktionen, Medikamentenexposition und Störungen der metabolischen Homöostase während der Indexaufnahme beeinflusst werden. Frühere Erkenntnisse aus neurologischen Erkrankungen und Rückenmarksverletzungen deuten darauf hin, dass Immobilisierung und systemische Erkrankungen zu beschleunigtem Knochenabbaubeitragen können 3,4, obwohl osteoporosebedingte Signale in diesem spezifischen klinischen Kontext noch unzureichend charakterisiert sind.
Routinemäßig gesammelte elektronische Gesundheitsaktendaten bieten die Möglichkeit, osteoporosebedingte Muster in dieser Population anhand von bereits während der routinemäßigen Behandlung verfügbaren Variablen wie demografischen Merkmalen, Medikamentenakten, Labortests und Vitalzeichen zu untersuchen. Einige versorgungsbezogene Variablen (z. B. Medikamentenkonsummuster) können ebenfalls als indirekte Stellvertreter für den funktionellen Status oder die Mobilität fungieren. Allerdings haben sich nur relativ wenige Studien auf Erwachsene konzentriert, die sich wirbelsäulenneurochirurgischen Eingriffen mit strukturierten tabellaren klinischen Daten unterziehen. Darüber hinaus stellt die Medical Information Mart for Intensive Care IV (MIMIC-IV) Datenbank eine große retrospektive Intensivkohorte aus einem einzelnen tertiären Zentrum dar, anstatt eine breit repräsentative multizentrische Population. Daher sollten Analysen, die auf dieser Ressource basieren, im Rahmen interner Validierung und explorativer klinischer Modellierung interpretiert werden. Jüngste maschinelles Lernen haben die osteoporosebedingte Risikomodellierung verbessert, indem Biomarker mit klinischen Variablen integriert wurden, aber solche Arbeiten wurden größtenteils in nicht-neurochirurgischen Populationen durchgeführt5.
Maschinelle Lernmethoden werden zunehmend zur Analyse hochdimensionaler tabellarischer klinischer Daten eingesetzt, insbesondere wenn komplexe und nichtlineare Wechselwirkungen zwischen heterogenen Variablen bestehen können. Unter diesen Ansätzen eignet sich die TabTransformer-Architektur gut für gemischte tabellarische Eingaben, da sie kontextuelle Beziehungen zwischen Features durch Selbstaufmerksamkeit modellieren und gleichzeitig Flexibilität für kategorische und numerische Variablen erhaltenkann 6. In Kombination mit SHapley Additive Explanations (SHAP) können solche Modelle auch eine interpretierbare Beschreibung der Feature-Beiträge liefern, die eine explorative Bewertung der demografischen, laborbasierten, physiologischen und medikamentenbezogenen Variablen mit dem Modellergebnis ermöglichen.
Dementsprechend nutzten wir in dieser Studie MIMIC-IV-Daten, um ein aufmerksamkeitsbasiertes TabTransformer-Modell zur Diagnose von Osteoporose im Krankenhaus bei Erwachsenen, die während der Indexaufnahme neurochirurgische Eingriffe durchliefen, zu entwickeln und intern zu evaluieren. Anhand demografischer Variablen sowie aggregierter Medikamente, Labor- und Vitalzeichenmerkmale auf Aufnahmeniveau verglichen wir das TabTransformer-Modell mit mehreren Basismodellen und untersuchten die einflussreichsten Merkmale mittels SHAP-basierter Interpretation. Da sowohl Prädiktoren als auch Ergebnis innerhalb derselben Hospitalisierung definiert wurden, stellt diese Analyse ein gleichzeitiges Klassifikationsrahmen im Krankenhaus dar und nicht ein zeitlich explizites Zukunftsrisiko-Vorhersagemodell. Diese Arbeit ist daher als intern validierte, explorative Analyse in einer retrospektiven Intensivkohorte mit nur einem Zentrum gedacht.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Protokoll
Datenquelle
Diese Studie war eine retrospektive Analyse basierend auf der Medical Information Mart for Intensive Care IV (MIMIC-IV, Version 3.1) Datenbank, einer öffentlich zugänglichen Intensivpflegedatenbank, die auf PhysioNet (https://physionet.org/content/mimiciv/3.1/) gehostet wird. Die Datenbank wurde in Zusammenarbeit zwischen dem Massachusetts Institute of Technology Laboratory for Computational Physiology, dem Beth Israel Deaconess Medical Center und Philips entwickelt und enthält umfassende de-identifizierte klinische Daten, darunter demografische Informationen, Vitalzeichen, Labormessungen und Medikamentenakten.
Alle Patientendaten in MIMIC-IV sind gemäß dem Health Insurance Portability and Accountability Act (HIPAA) vollständig de-identifiziert, weshalb diese Studie keine Genehmigung des institutionellen Überprüfungsausschusses (IRB) benötigte. Die Nutzung der Datenbank wird durch eine Datennutzungsvereinbarung (DUA) geregelt, und der Zugang wird nur autorisierten Nutzern gewährt, die die erforderliche Schulung und Zertifizierung abgeschlossen haben. Die Autoren absolvierten die erforderliche Schulung, erhielten Zugangsdaten (PhysioNet-akkreditierter Nutzer) und führten diese Studie in Übereinstimmung mit allen relevanten Datennutzungsvorschriften durch.
Untersuchung von Population und Datenextraktion
Erwachsene Patienten (≥18 Jahre), die sich einem spinalen neurochirurgischen Eingriff unterzogen haben, wurden anhand der MIMIC-IV-Datenbank mittels verfahrensbezogener ICD-Codes identifiziert. Spinale neurochirurgische Eingriffe wurden definiert als ICD-9-Codes, beginnend mit 03 (Operationen am Rückenmark und am Rückenmarkskanal) und ICD-10-Codes, beginnend mit 00B, 00H, 00J, 00N, 00P, 00Q, 00R, 00S, 00T oder 00U (rückenmarksbezogene Verfahren). Bei Patienten mit mehreren Krankenhausaufenthalten wurde nur die erste Aufnahme mit einem qualifizierenden Verfahren beibehalten, um wiederholte Messungen derselben Person zu vermeiden.
Die Ergebnisvariable, Osteoporose, wurde anhand von ICD-9-Codes definiert, die mit 733 beginnen, und ICD-10-Codes, die mit M80, M81 oder M82 beginnen, die während der Indexaufnahme registriert wurden. Da sowohl Prädiktoren als auch Ergebnis aus demselben Krankenhausaufenthalt abgeleitet wurden, wurde die analytische Aufgabe in dieser Studie als Klassifikation innerhalb des Krankenhauses und nicht als prospektive Risikovorhersage dargestellt.
Insgesamt erfüllten 10.803 Patienten die Einschlusskriterien. Nach der stratifizierten Aufteilung wurde der Datensatz in einen Trainingssatz (n = 7.561), einen Validierungssatz (n = 1.621) und einen Testsatz (n = 1.621) unterteilt. Die Klassenverteilung war über alle Partitionen hinweg stark unausgewogen. Im Trainingsset waren 499 Patienten (6,60 %) osteoporose-positiv und 7.062 (93,40 %) osteoporose-negativ. Im Validierungssatz waren 107 Patienten (6,60 %) positiv und 1.514 (93,40 %) negativ. Der Testsatz zeigte die gleiche Verteilung, mit 107 positiven (6,60 %) und 1.514 negativen (93,40 %) Fällen.
Klinische Daten wurden mit relationaler Datenbankverwaltungssoftware von MIMIC-IV extrahiert. Extrahierte Variablen umfassten demografische Merkmale (z. B. Alter und Geschlecht), Labormessungen, Vitalzeichen und Medikamentenakten. Für jeden Patienten wurden Daten aus der Indexaufnahme für die anschließende Merkmalkonstruktion verwendet.
Um eine valide Modellbewertung sicherzustellen, wurde der Datensatz zunächst in Trainings-, Validierungs- und Testsätze mittels stratifizierter Stichprobe (70 %, 15 % und 15 %) aufgeteilt. Alle nachfolgenden Vorverarbeitungsschritte, die Verzerrungen einführen konnten, einschließlich Merkmalauswahl und Resampling, wurden ausschließlich innerhalb des Trainingssets durchgeführt. Das Ungleichgewicht der Klassen im Trainingssatz wurde durch eine Kombination aus Downsampling der Mehrheitsklasse und der Synthetic Minority Over-sampling Technique (SMOTE) behoben, während die Validierungs- und Testsätze die ursprüngliche Klassenverteilung beibehalten haben, um die reale Prävalenz widerzuspiegeln.
Feature-Engineering
Eine mehrstufige Feature-Engineering-Pipeline wurde implementiert, um die Modellleistung zu verbessern und gleichzeitig die Interpretierbarkeit zu erhalten. Für jeden Patienten wurden Medikamente-, Labor- und Vitalzeichenaufzeichnungen aus der Indexaufnahme zu Zusammenfassungsmerkmalen aggregiert (z. B. Durchschnittswerte für wiederholte Messungen und durchschnittliche Exposition für Medikamente).
Um die Funktionsknappheit zu verringern, wurden Kandidaten-Merkmalsgruppen mit mehr als 30 % fehlenden Werten ausgeschlossen. Um Datenlecks zu vermeiden, wurde dieser Filterschritt ausschließlich mit dem Trainingssatz durchgeführt, und derselbe Funktionssatz wurde dann auf die Validierungs- und Testsätze angewendet.
Anschließend wurde auf Feature-Gruppenebene ein Univariat-Merkmals-Screening mit dem Mann– Whitney-U-Test durchgeführt, um die Verteilungen zwischen osteoporose-positiven und osteoporose-negativen Patienten zu vergleichen. Feature-Gruppen wurden nach statistischer Signifikans bewertet, und die Top-k Gruppen (k = 20) wurden für die nachgelagerte Modellierung beibehalten. Dieses Auswahlverfahren wurde ebenfalls ausschließlich im Trainingsset durchgeführt, um Informationslecks zu verhindern.
Angesichts des relativ hohen Mangels zwischen den Kandidaten-Merkmalsgruppen bestand die Hauptaufgabe dieses Top-K-Auswahlschritts darin, Merkmale mit schwachen statistischen Signalen herauszufiltern, anstatt die Merkmalsdimensionalität strikt zu optimieren. In der Praxis war die Modellleistung nicht besonders empfindlich gegenüber dem exakten Wert von k innerhalb eines angemessenen Bereichs, was darauf hindeutet, dass dieser Schritt hauptsächlich als robustheitsorientiertes Screeningverfahren diente, um wenig informative Merkmale auszuschließen und klinisch relevante Signale zu erhalten.
Grundlegende demografische Merkmale wurden in allen Modellen beibehalten. Fehlende Werte in diesen demografischen Variablen wurden anhand des aus dem Trainingssatz berechneten Mittelwerts berechnet. Die mittlere Imputation wurde wegen ihrer Einfachheit und Stabilität in diesem großen Datensatz gewählt, obwohl sie die Varianz verringern und Verzerrungen einführen kann; Diese Einschränkung wird anerkannt.
Für ausgewählte Medikamente-, Labor- und Vitalzeichenmerkmale wurde das Fehlen einer aufgezeichneten Messung oder Exposition als Null kodiert, um eine konsistente numerische Eingabe für das Modelltraining zu ermöglichen. Wir erkennen an, dass dieser Ansatz wahre Nullwerte mit Fehlverhalten oder Nicht-Exposition vermischen kann, insbesondere bei Variablen, bei denen Null physiologisch nicht sinnvoll ist. Diese Kodierungsstrategie wurde jedoch in allen Stichproben konsistent angewandt und von der Z-Score-Standardisierung gefolgt, die skalenbedingte Verzerrungen mindert. Die potenzielle Auswirkung dieser Annahme wird als Einschränkung diskutiert.
Alle numerischen Merkmale wurden mittels Z-Score-Normalisierung standardisiert, basierend auf dem aus dem Trainingssatz geschätzten Mittelwert und Standardabweichung:
z = (x — μ)/σ
Dabei steht x für den rohen Merkmalswert, und μ und σ den Mittelwert und die Standardabweichung aus dem Trainingssatz bezeichnen. Kategoriale Variablen wurden numerisch codiert, um die Eingabeanforderungen der Deep-Learning-Modelle zu erfüllen.
Diese Feature-Engineering-Strategie ermöglichte eine systematische Reduzierung der Dimensionalität bei gleichzeitiger Erhaltung klinisch relevanter Bereiche, darunter Demografie, Nierenfunktion, hämatologische Indzes, Entzündungsmarker und metabolische Parameter. Detaillierte Ausgangsmerkmale der Studienpopulation über die Trainings-, Validierungs- und Testsets hinweg sind in Tabelle 1 dargestellt.
| Merkmale | Gesamt | Trainingsset | Validierungsmenge | Testsatz | P-Wert |
| (n=5238) | (n=1996) | (n=1621) | (n=1621) | ||
| Geschlecht | <0,001 | ||||
| Männlich | 2477 (47.29%) | 834 (41.78%) | 797 (49.17%) | 846 (52.19%) | |
| Weiblich | 2761 (52.71%) | 1162 (58.22%) | 824 (50.83%) | 775 (47.81%) | |
| Alter | 60.69 (48.29, 70.61) | 63.45 (52.00, 72.41) | 58.00 (46.00, 69.00) | 60.00 (46.00, 70.00) | <0,001 |
| Höhe | 165.23 (160.79, 171.21) | 164.25(161.41, 172.23) | 166.32 (161.85, 171.22) | 165.22 (161.31, 169.89) | <0,001 |
| Gewicht | 72.01 (56.77, 82.46) | 75.45 (63.22, 81.45) | 70.55 (60.22, 79.33) | 73.62 (65.22, 81.88) | <0,001 |
| Senna | 1.00 (-0.73, 8.60) | 1.00 (-0.30, 8.60) | 1.00 (-1.00, 8.60) | 1.00 (-1.00, 8.60) | <0,001 |
| Docusatnatrium | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 0.001 |
| Heparin | 5000.00 (1655.28, 5000.00) | 5000.00 (-1.00, 5000.00) | 5000.00 (1600.00, 5000.00) | 5000.00 (3750.00, 5000.00) | 0.292 |
| Natriumchlorid 0,9 % Spülung | 3.00 (1.76, 3.00) | 3.00 (3.00, 3.00) | 3.00 (-1.00, 3.00) | 3.00 (3.00, 3.00) | <0,001 |
| Rote Blutkörperchen | 3.96 (3.51, 4.35) | 3.90 (3.49, 4.28) | 4.02 (3.53, 4.40) | 3.97 (3.50, 4.38) | <0,001 |
| Hämoglobin | 11.81 (10.51, 13.02) | 11.66 (10.47, 12.82) | 11.91 (10.58, 13.14) | 11.90 (10.49, 13.15) | <0,001 |
| RDW | 13.98 (13.22, 15.15) | 14.12 (13.35, 15.24) | 13.90 (13.10, 15.06) | 13.90 (13.18, 15.13) | <0,001 |
| Hämatokrit | 35.67 (31.95, 39.00) | 35.32 (31.63, 38.50) | 36.00 (32.28, 39.37) | 35.77 (32.01, 39.25) | <0,001 |
| Spezifisches Gewicht | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | <0,001 |
| Bicarbonat | 25.72 (24.04, 27.15) | 25.86 (24.17, 27.27) | 25.65 (23.92, 27.03) | 25.62 (24.00, 27.12) | <0,001 |
| Neutrophile | 68.67 (60.52, 76.23) | 69.41 (61.90, 76.52) | 68.10 (59.60, 75.88) | 68.34 (59.75, 76.23) | <0,001 |
| Kreatinin | 0.82 (0.68, 1.02) | 0.81 (0.68, 1.00) | 0.83 (0.69, 1.02) | 0.83 (0.68, 1.03) | <0,001 |
| Phosphat | 3.29 (2.92, 3.64) | 3.27 (2.93, 3.57) | 3.30 (2.93, 3.69) | 3.30 (2.90, 3.65) | 0.002 |
| Harnstoffstickstoff | 15.43 (12.08, 20.18) | 15.74 (12.50, 20.20) | 15.00 (11.64, 19.89) | 15.48 (12.00, 20.43) | <0,001 |
| Lymphozyten | 19.12 (12.22, 26.15) | 18.81 (12.49, 25.30) | 19.36 (12.40, 27.07) | 19.24 (11.72, 26.27) | 0.001 |
| Alanin-Aminotransferase (ALT) | 20.49 (10.84, 32.82) | 20.47 (11.67, 32.06) | 20.00 (10.00, 32.93) | 21.00 (10.67, 33.67) | 0.3283 |
| MCV | 90.90 (87.50, 94.32) | 91.03 (87.64, 94.51) | 90.64 (87.43, 94.00) | 91.00 (87.40, 94.40) | <0,001 |
| MCHC | 33.14 (32.37, 33.92) | 33.11 (32.37, 33.88) | 33.16 (32.38, 33.97) | 33.16 (32.35, 33.93) | <0,001 |
| Basophile | 0.42 (0.27, 0.61) | 0.41 (0.27, 0.59) | 0.45 (0.29, 0.63) | 0.41 (0.26, 0.60) | 0.037 |
Tabelle 1. Basischarakteristika der Studienpopulation, geschichtet nach Training, Validierung und Testsätzen.
Modellarchitektur
Um komplexe Beziehungen zwischen heterogenen tabellaren klinischen Merkmalen zu modellieren, verwendeten wir eine auf TabTransformer basierende Architektur, die mit dem PyTorch-Framework6 implementiert wurde. Das Modell wurde entwickelt, um sowohl kategorische als auch numerische Variablen zu verarbeiten und kontextuelle Interaktionen zwischen Merkmalen durch einen Selbst-Aufmerksamkeitsmechanismus zu erfassen.
Eingabedarstellung
Kategoriale Variablen wurden zunächst in dichte Einbettungen umgewandelt. Jedes kategoriale Merkmal wurde auf einen Einbettungsvektor der Dimension d(embedding_dim = 256) abgebildet. Numerische Merkmale wurden mittels Z-Score-Normalisierung standardisiert und dann durch eine lineare Transformationsschicht in denselben Einbettungsraum projiziert, was eine gemeinsame Verarbeitung mit kategorialen Merkmalen ermöglichte.
Die eingebetteten Merkmalsvektoren wurden zu einer Folge von Tokens verkettet:
X = [x1,x 2,... xn]
wobei jedes xi ∈ Rd ein eingebettetes Merkmal darstellt.
Transformatorencoder
Die verketteten Feature-Einbettungen wurden durch einen Stapel von Transformer-Encoder-Schichten geleitet (num_layers = 3). Jede Schicht bestand aus Mehrkopf-Selbstaufmerksamkeit, gefolgt von einem positionsweise Feedforward-Netzwerk.
Der Multi-Head-Selbstaufmerksamkeitsmechanismus ist definiert als:
—> Achtung(Q,K,V) = softmax 
V
Dabei stehen Q, K und V für Abfrage-, Schlüssel- und Wertmatrizen. Mehrere Aufmerksamkeitsköpfe (num_heads = 8) wurden verwendet, um verschiedene Merkmalsinteraktionen zu erfassen.
Jeder Transformatorblock umfasste Multi-Head Self-Attention, Residualverbindung und Schichtnormalisierung, Feed-Forward-Netzwerk, Dropout (Rate = 0,243).
Merkmalaggregation und Klassifikation
Die Ausgabe der letzten Transformer-Schicht wurde abgeflacht und durch ein mehrschichtiges Perzeptron (MLP) zur Klassifikation geleitet. Das MLP bestand aus einer oder mehreren vollständig zusammenhängenden Schichten mit nichtlinearen Aktivierungsfunktionen.
Die finale Ausgangsschicht nutzte eine sigmoidale Aktivierungsfunktion, um die vorhergesagte Osteoporosewahrscheinlichkeit zu erzeugen:
—> 
= σ(z)
wobei z die Logit-Ausgabe ist.
Verlustfunktion und Trainingsstrategie
Das Modell wurde mit binärem Kreuzentropieverlust trainiert:
—> L = −(1/N) Σ [ yi log(ŷi) + (1 − yi) log(1 − ŷi) ]
Wobei yi das wahre Label und i die vorhergesagte Wahrscheinlichkeit bezeichnet.
Das Modell wurde mit dem Adam-Optimierer (Lernrate = 1,9e-4, Batchgröße = 64) für 100 Epochen optimiert. Frühzeitiges Stoppen wurde basierend auf der Validierungsleistung angewendet (Geduld = 15), um Überanpassungen zu verhindern. Zur Unterstützung der Reproduzierbarkeit wurden alle experimentellen Verfahren mit einem konstanten zufälligen Seed (Seed = 42) durchgeführt.
Modellinterpretierbarkeit
Um die Interpretierbarkeit zu verbessern, wurden SHapley Additive Explanations (SHAP) auf das trainierte Modell angewendet. SHAP-Werte wurden auf dem Testsatz berechnet, um den Beitrag jedes Merkmals zum vorhergesagten Ergebnis zu quantifizieren, was sowohl eine globale als auch individuelle Interpretation des Modellverhaltens ermöglichte.
Wie in Abbildung 1 dargestellt, fasst der Workflow den Prozess von der MIMIC-IV-Datenvorverarbeitung bis hin zur Modellkonstruktion und -klassifikation zusammen. Die TabTransformer-Architektur erfasst Interaktionen zwischen heterogenen tabellaren Merkmalen durch Selbstaufmerksamkeit, während SHAP-basierte Visualisierung interpretierbare Einblicke in Feature-Beiträge liefert. Dieser Rahmen ermöglicht eine intern validierte Analyse osteoporosebedingter Muster in einer heterogenen spinalen neurochirurgischen Kohorte.
Abbildung 1. Studiere Workflow und Modellarchitektur. Diese Abbildung veranschaulicht das gesamte Studiendesign, einschließlich Kohortenauswahl, Datenvorverarbeitung, Feature Engineering, Datensatzaufteilung und Modellentwicklung. Es fasst außerdem die für die Klassifikation verwendete TabTransformer-Architektur zusammen, einschließlich Merkmal-Einbettung, Transformer-Encoder-Schichten und der endgültigen Klassifikationsausgabe. Nur die erste qualifizierende Aufnahme pro Patient war enthalten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Ergebnisse
Leistungsvergleich des Modells
Wir verglichen das vorgeschlagene TabTransformer-Modell mit drei Baseline-Modellen (XGBoost, LSTM mit Aufmerksamkeit und Temporal Convolutional Networks [TCN]) im Hold-out-Testset. Wie in Abbildung 2 gezeigt, erzielte TabTransformer mit einem AEC von 0,953 (95%-KI: 0,924–0,977) die höchste diskriminierende Leistung, gefolgt von TCN (AUC = 0,937, 95%-KI: 0,903–0,967), XGBoost (AUC = 0,857, 95%-KI: 0,821–0,890...
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Diskussion
In dieser Studie entwickelten wir ein aufmerksamkeitsbasiertes TabTransformer-Modell zur Klassifikation der Osteoporose im Krankenhaus bei Erwachsenen, die sich einer wirbelsäulenneurochirurgischen Eingriffe unterziehen, und nutzten SHapley Additive Explanations (SHAP), um die Hauptvariablen zu untersuchen, die den Modelloutput steuern (Abbildung 5 und Abbildung 6). Die SHAP-Ergebnisse deuten darauf hin, dass das Alter der domin...
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Offenlegungen
Die Autoren haben keine Interessenkonflikte zu erklären.
Danksagungen
Die Autoren danken dankbar für die finanzielle Unterstützung durch das Guiding Science and Technology Program der Stadt Suqian (Zuschuss Nr. Z202342).
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| Adam-Optimierer | PyTorch | Enthalten in PyTorch | Verwendet für das TabTransformer-Training |
| Jupyter Notebook | Project Jupyter | Neueste verfügbare Version | Verwendet für Modellentwicklung und Analyse-Workflow |
| MIMIC-IV Datenbank | PhysioNet | Version 3.1; https://physionet.org/content/mimiciv/3.1/ | Öffentliche, anonymisierte Datenbank für Intensivversorgung |
| Python | Python Software Foundation | Neueste verfügbare Version | Hauptprogrammierumgebung |
| PyTorch | PyTorch Foundation | Neueste verfügbare Version | Deep-Learning-Framework, das zur Implementierung von TabTransformer verwendet wird |
| Relationale Datenbankverwaltungssoftware | Navicat | Version 17.0; https://www.navicat.com.cn/ | Verwendet für Datenextraktion aus MIMIC-IV |
| scikit-learn | scikit-learn Entwickler | Neueste verfügbare Version | Verwendet für Vorverarbeitung, Datenaufteilung und Basismodelle |
| SHAP | SHAP Entwickler | Neueste verfügbare Version | Verwendet für Modell-Interpretierbarkeitsanalyse |
| SMOTE | imbalanced-learn | Neueste verfügbare Version | Verwendet für Minoritätsklassen-Oversampling im Trainingsset |
| XGBoost | XGBoost Entwickler | Neueste verfügbare Version | Basisvergleichsmodell |
Referenzen
- Rachner, T. D., Khosla, S., Hofbauer, L. C. Osteoporosis: now and the future. Lancet. 377 (9773), 1276-1287 (2011).
- Khosla, S., Hofbauer, L. C. Osteoporosis treatment: recent developments and ongoing challenges. Lancet Diabetes Endocrinol. 5 (11), 898-907 (2017).
- Jiang, S. D., Dai, L. Y., Jiang, L. S. Osteoporosis after spinal cord injury. Osteoporos Int. 17 (2), 180-192 (2006).
- Kivrak, M., et al. The impact of the SMOTE method on machine learning and ensemble learning performance results in addressing class imbalance in data used for predicting total testosterone deficiency in type 2 diabetes patients. Diagnostics (Basel). 14 (23), 2634 (2024).
- Carvalho, F. R., Gavaia, P. J. Enhancing osteoporosis risk prediction using machine learning: a holistic approach integrating biomarkers and clinical data. Comput Biol Med. 192, 110289 (2025).
- Huang, X., Khetan, A., Cvitkovic, M., Karnin, Z. TabTransformer: tabular data modeling using contextual embeddings. arXiv. , (2020).
- Kapila, A., Takkar, A. Neurological disorders, corticosteroids, and fracture risk: hiding in the hindsight!. J Postgrad Med Educ Res. 56 (2), 61-62 (2022).
- Battaglino, R. A., Lazzari, A. A., Garshick, E., Morse, L. R. Spinal cord injury-induced osteoporosis: pathogenesis and emerging therapies. Curr Osteoporos Rep. 10 (4), 278-285 (2012).
- Landi, F., Liperoti, R., Russo, A., Giovannini, S., et al. Sarcopenia as a risk factor for falls in elderly individuals: results from the ilSIRENTE study. Clin Nutr. 31 (5), 652-658 (2012).
- Romagnani, P., et al. Chronic kidney disease. Nat Rev Dis Primers. 11 (1), 8 (2025).
- Liu, S., Liang, R. Synergistic impact of immuno-nutritional and hypoxia-metabolic disturbances on post-stroke epilepsy: a “two-hit” prediction model and web-based risk calculator. Front Nutr. 13, 1759899 (2026).
- Liu, S., Zhou, J. Trends and development of enhanced recovery after surgery programs in cranial and spinal neurosurgery. Neurochirurgie. 71 (5), 101704 (2025).
- Carvalho, F. R., Gavaia, P. J., Brito Camacho, A. OrthoMortPred: predicting one-year mortality following orthopedic hospitalization. Int J Med Inform. 192, 105657 (2024).
- Liu, S., Liang, R. Risk stratification for intracranial infection after high-grade gliomas surgery: a nomogram development and validation study. Front Oncol. 15, 1697966 (2025).
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Nachdrucke und Genehmigungen
Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden
Genehmigung beantragen