Yoğun Bakım IV klinik verilerini rutin olarak toplanan Medical Information Mart for Intensive Care IV klinik verilerini kullanarak omurga nörocerrahisi ameliyatı geçiren yetişkinler arasında osteoporozun hastane içinde sınıflandırılması için dikkat odaklı bir TabTransformer modeli geliştirdik ve dahilizde değerlendirdik.
Araştırma makalesi
TabTransformer Tabanlı Osteoporozun Hastane İçinde Sınıflandırılması, Omurga Nörocerrahisi Tedavisi Yapılan Yetişkinlerde
* These authors contributed equally
Bu makalede
Özet
Özet
Amaç, omurga nörocerrahisi işlemleri geçiren yetişkinler arasında osteoporozun hastane içinde sınıflandırılması için rutin olarak toplanan tablo tipli klinik veriler kullanılarak derin öğrenme modeli geliştirmek ve iç değerlendirmekti. Bu retrospektif çalışma, omurga nörocerrahisi ameliyatı geçiren yetişkin hastaları belirlemek için Medical Information Mart for Intensive Care IV (MIMIC-IV) veritabanını kullandı. Osteoporoz, indeks yatışı sırasında kaydedilen ICD-9/10 tanı kodlarıyla tanımlandı. Demografik özellikler, ilaç kayıtları, laboratuvar ölçümleri ve aynı hastaneye yatıştan alınan hayati belirtiler model geliştirmede kullanıldı. Eğitim, doğrulama ve test setlerine katmanlı bölünmeden sonra, sınıf dengesizliği yalnızca eğitim setinde ele alındı. TabTransformer tabanlı bir model geliştirildi ve XGBoost, LSTM_Attention ve Zamansal Konvolüsyon Ağlar (TCN) ile karşılaştırıldı. Model yorumlanabilirliği SHapley Additive ExPlanations (SHAP) kullanılarak değerlendirildi. Beklenen test setinde, TabTransformer en iyi genel performansı elde etti; alıcı çalışma karakteristik eğrisinin (AUC) altında alan 0.953 ve ortalama hassasiyet (AP) 0.799 idi. TCN, XGBoost ve LSTM_Attention için karşılık gelen değerler sırasıyla 0.937/0.707, 0.857/0.303 ve 0.755/0.179 idi. SHAP analizi, yaş, cinsiyet, kreatinin (kreatinin), kırmızı beynik dağılımının genişliği, bikarbonat, fosfat, nötrofiller ve birkaç ilaçla ilgili değişkeni model çıktısına etkili katkı sağlayan faktörler olarak belirledi. Bu tek merkezli retrospektif kohortta, TabTransformer modeli osteoporozun hastane içi sınıflandırmasında güçlü ayırtıcı performans gösterdi ve SHAP aracılığıyla yorumlanabilir özellik düzeyinde ilişkiler sağladı. Tahminciler ve sonuçlar aynı hastaneye yatış içinde tanımlandığı için, bu çerçeve, zamansal olarak açık bir gelecek riski tahmin aracı yerine iç doğrulanmış bir keşif sınıflandırma modeli olarak yorumlanmalıdır.
Giriş
Osteoporoz (OP), kemik mineral yoğunluğunun azalması ve kemik dokusunun yapısal bozulması ile işaretlenen yaygın bir iskelet durumudur; bu durum kemik kırılganlığının artmasına ve kırma olasılığının artmasına yolaçar. 1. Özellikle yaşlı bireyler ve menopoz sonrası kadınlar arasında önemli bir halk sağlığı sorunu oluşturmayadevam etmektedir 2. Omurilik nörocerrahisi işlemleri geçiren hastanede yatan hastalarda, kemik sağlığı hareket kabiliyetinin azalması, sistemik stres yanıtları, ilaç maruziyeti ve indeks yatışı sırasında metabolik homeostaz bozuklukları tarafından etkilenebilir. Nörolojik hastalıklar ve omurilik yaralanmasından elde edilen önceki kanıtlar, immobilizasyon ve sistemik hastalığın kemik kaybının hızlanmasınakatkıda bulunabileceğini göstermektedir 3,4, ancak bu özel klinik bağlamda osteoporozla ilgili sinyaller yeterince karakterize edilmemiştir.
Rutin olarak toplanan elektronik sağlık kayıt verileri, bu popülasyonda osteoporozla ilgili kalıpları, rutin bakım sırasında zaten mevcut olan demografik özellikler, ilaç kayıtları, laboratuvar testleri ve hayati belirtiler gibi değişkenleri kullanarak inceleme fırsatı sunar. Bazı bakımla ilgili değişkenler (örneğin, ilaç kullanım kalıpları) fonksiyonel durum veya hareketlilik için dolaylı olarak da görev yapabilir. Ancak, nispeten az sayıda çalışma, yapılandırılmış tablo klinik veriler kullanılarak omurga nörocerrahisi ameliyatları geçiren yetişkinlere odaklanmıştır. Ayrıca, Yoğun Bakım IV için Tıbbi Bilgi Merkezi (MIMIC-IV) veritabanı, geniş temsilli çok merkezli bir popülasyon yerine tek bir üçüncü sınıf merkezinden büyük bir retrospektif yoğun bakım grubunu temsil etmektedir. Bu nedenle, bu kaynağa dayalı analizler iç doğrulama ve keşif klinik modelleme kapsamında yorumlanmalıdır. Son makine öğrenimi çalışmaları, biyobelirteçleri klinik değişkenlerle entegre ederek osteoporozla ilgili risk modellemesini geliştirmiştir, ancak bu çalışmalar büyük ölçüde nörocerrahi olmayan popülasyonlarda yapılmıştır5.
Makine öğrenimi yöntemleri, özellikle heterojen değişkenler arasında karmaşık ve doğrusal olmayan etkileşimler mevcut olduğunda, yüksek boyutlu tablo klinik verilerin analizinde giderek daha fazla kullanılmaktadır. Bu yaklaşımlar arasında, TabTransformer mimarisi, özellikler arasındaki bağlamsal ilişkileri öz-dikkat yoluyla modelleyebildiği ve hem kategorik hem de sayısal değişkenler için esnekliği koruyabildiği için karışık tablo girdiler için çok uygundur6. SHapley Additive ExPlanations (SHAP) ile birleştirildiğinde, bu modeller özellik katkılarının yorumlanabilir bir tanımını da sağlayabilir ve demografik, laboratuvar, fizyolojik ve ilaçla ilgili değişkenlerin model çıktısıyla nasıl ilişkilendirildiğine dair keşif değerlendirmesine olanak tanır.
Buna göre, bu çalışmada MIMIC-IV verilerini kullanarak endeks yolundayı sırasında omurga nörocerrahisi işlemleri geçiren yetişkinler arasında osteoporozun hastanede tanımlanması için dikkat odaklı bir TabTransformer modeli geliştirdik ve dahilde değerlendirdik. Demografik değişkenleri kabul düzeyindeki toplu ilaçlar, laboratuvar ve hayati işaret özellikleriyle birlikte kullanarak, TabTransformer modelini birkaç temel modelle karşılaştırdık ve en etkili özellikleri SHAP tabanlı yorumlama yoluyla inceledik. Hem tahmin ediciler hem de sonuçlar aynı hastaneye yatış içinde tanımlandığı için, bu analiz zamansal olarak açık bir gelecek riski tahmin modeli yerine eşzamanlı bir hastane içi sınıflandırma çerçevesini temsil eder. Bu çalışma, tek merkezli retrospektif yoğun bakım kohortunda iç doğrulanmış, keşif amaçlı bir analiz olarak tasarlanmıştır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
Veri kaynağı
Bu çalışma, Physical Net (https://physionet.org/content/mimiciv/3.1/) üzerinde barındırılan halka açık bir kritik bakım veritabanı olan Medical Information Mart for Intensive Care IV (MIMIC-IV, sürüm 3.1) veritabanına dayanan retrospektif bir analizdir. Veritabanı, Massachusetts Teknoloji Enstitüsü Hesaplamalı Fizyoloji Laboratuvarı, Beth Israel Deaconess Tıp Merkezi ve Philips arasında iş birliği ile geliştirilmiştir ve demografik bilgiler, hayati belirtiler, laboratuvar ölçümleri ve ilaç kayıtları dahil olmak üzere kapsamlı kimliği yok edilmiş klinik verileri içerir.
MIMIC-IV'teki tüm hasta verileri Sağlık Sigortası Taşınabilirlik ve Hesap Verebilirlik Yasası (HIPAA) uyarınca tamamen dekimliği altına alınmıştır ve bu nedenle bu çalışma kurumsal inceleme kurulu (IRB) onayı gerektirmemiştir. Veritabanının kullanımı, veri kullanım anlaşması (DUA) ile yönetilir ve erişim yalnızca gerekli eğitim ve sertifikayı tamamlamış yetkili kullanıcılara verilir. Yazarlar gerekli eğitimi tamamlayıp erişim kimlik belgeleri (PhysioNet yetkili kullanıcı) almış ve bu çalışmayı tüm ilgili veri kullanım düzenlemelerine uygun şekilde yürütmüştürler.
Çalışma popülasyonu ve veri çıkarımı
Omurilik nörocerrahisi işlemleri geçiren yetişkin hastalar (≥18 yaş) prosedürle ilgili ICD kodları kullanılarak MIMIC-IV veritabanından tespit edildi. Omurilik beyin cerrahisi işlemleri, 03 ile başlayan ICD-9 kodları (omurilik ve omurilik kanalı operasyonları) ve 00B, 00H, 00J, 00N, 00P, 00Q, 00R, 00S, 00T veya 00U (omurilik ile ilgili işlemler) ile başlayan ICD-10 kodları olarak tanımlandı. Birden fazla hastaneye yatışı olan hastalarda, aynı kişiden tekrar ölçümlerin kaçınılması için yalnızca nitelikli bir prosedür içeren ilk kabul tutuldu.
Sonuç değişkeni osteoporoz, indeks başvurusu sırasında kaydedilen 733 ile başlayan ICD-9 kodları ve M80, M81 veya M82 ile başlayan ICD-10 kodlarına dayanarak tanımlandı. Hem tahmin ediciler hem de sonuçlar aynı hastaneye yatıştan türetildiği için, bu çalışmadaki analitik görev prospektif risk tahmini yerine hastane içi sınıflandırma olarak çerçevelendi.
Toplamda 10.803 hasta dahil etme kriterlerini karşıladı. Katmanlı bölünmeden sonra, veri seti bir eğitim kümesi (n = 7.561), bir doğrulama kümesi (n = 1.621) ve bir test kümesi (n = 1.621) olarak bölündü. Tüm bölümler arasında sınıf dağılımı oldukça dengesizdi. Eğitim setinde 499 hasta (%6,60) osteoporoz pozitif ve 7.062 hasta (%93,40) osteoporoz negatifti. Doğrulama setinde 107 hasta (%6,60) pozitif, 1.514 hasta (%93,40) negatif çıktı. Test seti aynı dağılımı gösterdi; 107 pozitif (%6,60) ve 1.514 negatif (%93,40) vaka vardı.
Klinik veriler, MIMIC-IV'ten ilişkisel veritabanı yönetim yazılımı kullanılarak çıkarıldı. Çıkarılan değişkenler arasında demografik özellikler (örneğin yaş ve cinsiyet), laboratuvar ölçümleri, hayati belirtiler ve ilaç kayıtları yer aldı. Her hasta için, indeks kabulünden elde edilen veriler sonraki özellikler oluşturma için kullanıldı.
Geçerli model değerlendirmesini sağlamak için, veri seti önce stratifikasyonlu örnekleme (%70, %15 ve %15) kullanılarak eğitim, doğrulama ve test setlerine ayrılmıştır.3,7. Öne çıkan önyargı getirebilecek tüm sonraki ön işleme adımları, özellik seçimi ve yeniden örnekleme dahil, yalnızca eğitim seti içinde gerçekleştirildi. Eğitim setindeki sınıf dengesizliği, çoğunluk sınıfının aşağı örneklemesi ve Sentetik Azınlık Aşırı Örnekleme Tekniği (SMOTE) kombinasyonuyla ele alındı; doğrulama ve test setleri ise gerçek dünya yaygınlığını yansıtmak için orijinal sınıf dağılımını korudu.
Özellik mühendisliği
Model performansını artırmak ve yorumlanabilirliği korumak için çok aşamalı bir özellik mühendisliği boru hattı uygulandı. Her hasta için, indeks başvurusundan elde edilen ilaçlar, laboratuvar ve hayati işaret kayıtları özet düzeyinde özelliklere (örneğin, tekrarlayan ölçümler için ortalama değerler ve ilaçlar için ortalama maruziyet) toplandı.
Özellik seyrekliğini azaltmak için, %30'dan fazla eksik değeri olan aday özellik grupları hariç tutuldu. Veri sızıntısını önlemek için bu filtreleme adımı yalnızca eğitim seti kullanılarak gerçekleştirildi ve aynı özellik seti doğrulama ve test setlerine uygulandı.
Daha sonra, osteoporoz pozitif ve osteoporoz negatif hastalar arasındaki dağılımları karşılaştırmak için Mann–Whitney U testi kullanılarak özellik grubu düzeyinde tek değişkenli özellik taraması yapıldı. Özellik grupları istatistiksel anlamlılığa göre sıralandı ve en üst k grupları (k = 20) aşağı akış modelleme için korundu. Bu seçim prosedürü de bilgi sızıntısını önlemek için yalnızca eğitim seti içinde gerçekleştirilmiştir.
Aday özellik grupları arasında nispeten yüksek eksiklik derecesi göz önüne alındığında, bu üst-k seçim adımının birincil rolü, özellik boyutluluğunu kesin optimize etmek yerine zayıf istatistiksel sinyallere sahip özellikleri filtrelemekti. Pratikte, model performansı makul bir aralıkta k'nın tam değerine çok duyarlı değildi; bu adımın esas olarak düşük bilgilendirici özellikleri dışlayan ve klinik olarak ilgili sinyalleri koruyan sağlamlık odaklı bir tarama prosedürü olduğunu düşündürmektedir.
Tüm modellerde temel demografik özellikler korundu. Bu demografik değişkenlerdeki eksik değerler, eğitim setinden hesaplanan ortalama değer kullanılarak hesaplandı. Ortalama ödünleşme, bu büyük veri setinde sadeliği ve istikrarı nedeniyle seçilmiştir, ancak varyansı azaltabilir ve yanlılık yaratabilir; Bu sınırlama kabul edilmektedir.
Seçilmiş ilaç, laboratuvar ve hayati işaret özellikleri için, kaydedilmiş bir ölçüm veya maruziyetin olmaması, model eğitimi için tutarlı sayısal girdi sağlamak amacıyla sıfır olarak kodlandı. Bu yaklaşımın, gerçek sıfır değerlerini, özellikle sıfırın fizyolojik olarak anlamlı olmadığı değişkenler için, eksiklik veya poz vermeme ile karıştırabileceğini kabul ediyoruz. Ancak bu kodlama stratejisi tüm örneklerde tutarlı şekilde uygulanmış ve ardından ölçekle ilgili bozulmayı azaltan Z-puan standartlaştırması uygulanmıştır. Bu varsayımın potansiyel etkisi bir sınırlama olarak tartışılmaktadır.
Tüm sayısal özellikler, eğitim setinden tahmin edilen ortalama ve standart sapmaya dayalı Z-puanı normalizasyonu kullanılarak standartlaştırıldı:
z = (x — μ)/σ
Burada x, ham özellik değerini, μ ve σ ise eğitim kümesinden hesaplanan ortalama ve standart sapmayı gösterir. Kategorik değişkenler, derin öğrenme modellerinin giriş gereksinimlerini karşılamak için sayısal olarak kodlanmıştır.
Bu özellik mühendisliği stratejisi, demografi, böbrek fonksiyonu, hematolojik indeksler, inflamatuar belirteçler ve metabolik parametreler gibi klinik olarak ilgili alanları korurken boyutluluğun sistematik olarak azaltılmasını mümkün kıldı. Çalışmanın eğitim popülasyonunun eğitim, doğrulama ve test setleri boyunca ayrıntılı temel özellikleri Tablo 1'de sunulmaktadır.
| Özellikler | Toplam | Eğitim seti | Doğrulama kümesi | Test seti | P değeri |
| (n=5238) | (n=1996) | (n=1621) | (n=1621) | ||
| Cinsiyet | <0.001 | ||||
| Erkek | 2477 (47.29%) | 834 (41.78%) | 797 (49.17%) | 846 (52.19%) | |
| Kadın | 2761 (52.71%) | 1162 (58.22%) | 824 (50.83%) | 775 (47.81%) | |
| Yaş | 60.69 (48.29, 70.61) | 63.45 (52.00, 72.41) | 58.00 (46.00, 69.00) | 60.00 (46.00, 70.00) | <0.001 |
| Boy | 165.23 (160.79, 171.21) | 164.25(161.41, 172.23) | 166.32 (161.85, 171.22) | 165.22 (161.31, 169.89) | <0.001 |
| Ağırlık | 72.01 (56.77, 82.46) | 75.45 (63.22, 81.45) | 70.55 (60.22, 79.33) | 73.62 (65.22, 81.88) | <0.001 |
| Senna | 1.00 (-0.73, 8.60) | 1.00 (-0.30, 8.60) | 1.00 (-1.00, 8.60) | 1.00 (-1.00, 8.60) | <0.001 |
| Docusate Sodyum | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 0.001 |
| Heparin | 5000.00 (1655.28, 5000.00) | 5000.00 (-1.00, 5000.00) | 5000.00 (1600.00, 5000.00) | 5000.00 (3750.00, 5000.00) | 0.292 |
| Sodyum klorür %0,9 Flush | 3.00 (1.76, 3.00) | 3.00 (3.00, 3.00) | 3.00 (-1.00, 3.00) | 3.00 (3.00, 3.00) | <0.001 |
| Kırmızı Kan Hücreleri | 3.96 (3.51, 4.35) | 3.90 (3.49, 4.28) | 4.02 (3.53, 4.40) | 3.97 (3.50, 4.38) | <0.001 |
| Hemoglobin | 11.81 (10.51, 13.02) | 11.66 (10.47, 12.82) | 11.91 (10.58, 13.14) | 11.90 (10.49, 13.15) | <0.001 |
| RDW | 13.98 (13.22, 15.15) | 14.12 (13.35, 15.24) | 13.90 (13.10, 15.06) | 13.90 (13.18, 15.13) | <0.001 |
| Hematokrit | 35.67 (31.95, 39.00) | 35.32 (31.63, 38.50) | 36.00 (32.28, 39.37) | 35.77 (32.01, 39.25) | <0.001 |
| Özgül Ağırlık | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | <0.001 |
| Bikarbonat | 25.72 (24.04, 27.15) | 25.86 (24.17, 27.27) | 25.65 (23.92, 27.03) | 25.62 (24.00, 27.12) | <0.001 |
| Nötrofiller | 68.67 (60.52, 76.23) | 69.41 (61.90, 76.52) | 68.10 (59.60, 75.88) | 68.34 (59.75, 76.23) | <0.001 |
| Kreatinin | 0.82 (0.68, 1.02) | 0.81 (0.68, 1.00) | 0.83 (0.69, 1.02) | 0.83 (0.68, 1.03) | <0.001 |
| Fosfat | 3.29 (2.92, 3.64) | 3.27 (2.93, 3.57) | 3.30 (2.93, 3.69) | 3.30 (2.90, 3.65) | 0.002 |
| Urea Azotu | 15.43 (12.08, 20.18) | 15.74 (12.50, 20.20) | 15.00 (11.64, 19.89) | 15.48 (12.00, 20.43) | <0.001 |
| Lenfositler | 19.12 (12.22, 26.15) | 18.81 (12.49, 25.30) | 19.36 (12.40, 27.07) | 19.24 (11.72, 26.27) | 0.001 |
| Alanin Aminotransferaz (ALT) | 20.49 (10.84, 32.82) | 20.47 (11.67, 32.06) | 20.00 (10.00, 32.93) | 21.00 (10.67, 33.67) | 0.3283 |
| MCV | 90.90 (87.50, 94.32) | 91.03 (87.64, 94.51) | 90.64 (87.43, 94.00) | 91.00 (87.40, 94.40) | <0.001 |
| MCHC | 33.14 (32.37, 33.92) | 33.11 (32.37, 33.88) | 33.16 (32.38, 33.97) | 33.16 (32.35, 33.93) | <0.001 |
| Basofiller | 0.42 (0.27, 0.61) | 0.41 (0.27, 0.59) | 0.45 (0.29, 0.63) | 0.41 (0.26, 0.60) | 0.037 |
Tablo 1. Çalışma popülasyonunun temel özellikleri, eğitim, doğrulama ve test setleriyle katmanlandırılmıştır.
Model mimarisi
Heterojen tablo klinik özellikler arasındaki karmaşık ilişkileri modellemek için, PyTorch framework6 kullanılarak uygulanan TabTransformer tabanlı bir mimari kullandık. Model, hem kategorik hem de sayısal değişkenleri işlemek ve özellikler arasındaki bağlamsal etkileşimleri öz-dikkat mekanizması aracılığıyla yakalamak üzere tasarlandı.
Giriş temsili
Kategorik değişkenler ilk olarak yoğun gömmelere dönüştürülmüştür. Her kategorik özellik, boyutu d(embedding_dim = 256) bir göme vektörüne eşlenmiştir. Sayısal özellikler, Z-skor normalizasyonu kullanılarak standartlaştırıldı ve ardından aynı göme alanına doğrusal dönüşüm katmanı aracılığıyla yansıtıldı, böylece kategorik özelliklerle ortak işlem yapılmasını mümkün kıldı.
Gömülü özellik vektörleri, bir token dizisi oluşturmak üzere birleştirildi:
X = [x1,x 2,... xn]
burada her xi ∈ Rd gömülü bir özelliği temsil eder.
Transformatör kodlayıcı
Birleştirilmiş özellik gömmeleri, Transformer kodlayıcı katmanlarından oluşan bir yığın üzerinden geçirildi (num_layers = 3). Her katman, çoklu başlı öz-dikkatle takip edilen konum bazında bir aktarma ağından oluşuyordu.
Çok başlı öz-dikkat mekanizması şöyle tanımlanır:
—> Dikkat(Q,K,V) = softmax 
V
Burada Q, K ve V sorgu, anahtar ve değer matrislerini gösterir. Birden fazla dikkat başlığı (num_heads = 8) çeşitli özellik etkileşimlerini yakalamak için kullanıldı.
Her transformatör bloğu, çoklu başlık öz-dikkat, kalıntı bağlantı ve katman normalizasyonu, besleme ağı ve katlama (oran = 0.243) içeriyordu.
Özellik toplanması ve sınıflandırması
Son Transformatör katmanının çıktısı düzleştirildi ve sınıflandırma için çok katmanlı bir perceptron (MLP) üzerinden geçirildi. MLP, doğrusal olmayan aktivasyon fonksiyonlarına sahip bir veya daha fazla tam bağlantılı katmandan oluşuyordu.
Son çıkış katmanı, osteoporoz olasılığını öngören bir sigmoid aktivasyon fonksiyonu kullanarak üretildi:
—> 
= σ(z)
Burada z logit çıktısıdır.
Kayıp fonksiyonu ve eğitim stratejisi
Model, ikili çapraz entropi kaybı kullanılarak eğitilmiştir:
—> L = −(1/N) Σ [ yi log(ŷi) + (1 − yi) log(1 − ŷi)]
Burada yi gerçek etiketi ve i tahmin edilen olasılığı belirtir.
Model, Adam optimizatörü kullanılarak (öğrenme oranı = 1.9e-4, parti büyüklüğü = 64) 100 dönem için optimize edildi. Erken durdurma, doğrulama performansına göre uygulandı (sabır = 15) ve aşırı fitin önlenmesi için. Tekrarlanabilirliği desteklemek için tüm deneysel prosedürler sabit rastgele bir tohum kullanılarak gerçekleştirildi (tohum = 42).
Model yorumlanabilirliği
Yorumlanabilirliği artırmak için, eğitilen modele SHapley Additive açıklamaları (SHAP) uygulanmıştır. SHAP değerleri, her özelliğin tahmin edilen sonuca katkısını niceliklendirmek için test setinde hesaplandı; böylece model davranışının hem küresel hem de bireysel düzeyde yorumlanmasını mümkün kılmıştır.
Şekil 1'de gösterildiği gibi, iş akışı MIMIC-IV veri ön işlemesinden model oluşturma ve sınıflandırmaya kadar süreci özetler. TabTransformer mimarisi, heterojen tablo özellikler arasındaki etkileşimleri öz-dikkat yoluyla yakalarken, SHAP tabanlı görselleştirme özellik katkılarına yorumlanabilir içgörüler sağlar. Bu çerçeve, heterojen bir omurga nörocerrahi kohortunda osteoporozla ilgili kalıpların içsel olarak doğrulanmış analizini mümkün kılar.
Şekil 1. İş akışı ve model mimarisi inceleyin. Bu şekil , kohort seçimi, veri ön işleme, özellik mühendisliği, veri seti bölmesi ve model geliştirme dahil olmak üzere genel çalışma tasarımını göstermektedir. Ayrıca, sınıflandırma için kullanılan TabTransformer mimarisini, özellik gömme, Transformer kodlayıcı katmanları ve nihai sınıflandırma çıktısını özetlemektedir. Hasta başına yalnızca ilk nitelikli kabul kabul edildi. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Model performans karşılaştırması
Önerilen TabTransformer modelini, tutulan test setinde üç temel model (XGBoost, LSTM ile dikkatle ve Zamansal Konvolüsyon Ağlar [TCN]) ile karşılaştırdık. Şekil 2'de gösterildiği gibi, TabTransformer 0,953 (%95 GA: 0,924–0,977) ile en yüksek ayırtıcı performansı elde etti, ardından TCN (AUC = 0,937, %95 CI: 0,903–0,967), XGBoost (AUC = 0,857, %95 CI: 0,821–0,890) ve LSTM_Attention (AUC = 0,755, %95 CI: 0,7...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Bu çalışmada, omurga nörocerrahisi işlemleri geçiren yetişkinler arasında hastanede osteoporozun sınıflandırılması için dikkat odaklı bir TabTransformer modeli geliştirdik ve model çıktısını yönlendiren ana değişkenleri incelemek için SHapley Additive ExPlanations (SHAP) kullandık (Şekil 5 ve Şekil 6). SHAP sonuçları, yaşın baskın katkı sağladığını, ardından böbrek ve metabolik belirteçlerden, hematolojik indekslerden, seçilmiş ...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarların beyan edecek çıkar çatışmaları yoktur.
Teşekkürler
Yazarlar, Suqian Şehri Rehber Bilim ve Teknoloji Programı'ndan (Hibe No. Z202342) alınan mali desteği minnettarlıkla takdir etmektedir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| Adam optimizer | PyTorch | PyTorch'da bulunur | TabTransformer eğitimi için kullanılır |
| Jupyter Notebook | Project Jupyter | En son mevcut sürüm | Model geliştirme ve analiz iş akışı için kullanılır |
| MIMIC-IV veritabanı | PhysioNet | sürüm 3.1; https://physionet.org/content/mimiciv/3.1/ | Kamu kişiliği gizli kritik bakım veritabanı |
| Python | Python Software Foundation | En son mevcut sürüm | Ana programlama ortamı |
| PyTorch | PyTorch Foundation | En son mevcut sürüm | TabTransformer'ı uygulamak için kullanılan derin öğrenme çerçevesi |
| İlişkisel veritabanı yönetim yazılımı | Navicat | sürüm 17.0; https://www.navicat.com.cn/ | MIMIC-IV'den veri çıkarmak için kullanılır |
| scikit-learn | scikit-learn geliştiricileri | En son mevcut sürüm | Ön işleme, veri bölme ve temel modeller için kullanılır |
| SHAP | SHAP geliştiricileri | En son mevcut sürüm | Model yorumlanabilirlik analizi için kullanılır |
| SMOTE | imbalanced-learn | En son mevcut sürüm | Eğitim setinde azınlık sınıf aşırı örnekleme için kullanılır |
| XGBoost | XGBoost geliştiricileri | En son mevcut sürüm | Temel karşılaştırma modeli |
Kaynaklar
- Rachner, T. D., Khosla, S., Hofbauer, L. C. Osteoporosis: now and the future. Lancet. 377 (9773), 1276-1287 (2011).
- Khosla, S., Hofbauer, L. C. Osteoporosis treatment: recent developments and ongoing challenges. Lancet Diabetes Endocrinol. 5 (11), 898-907 (2017).
- Jiang, S. D., Dai, L. Y., Jiang, L. S. Osteoporosis after spinal cord injury. Osteoporos Int. 17 (2), 180-192 (2006).
- Kivrak, M., et al. The impact of the SMOTE method on machine learning and ensemble learning performance results in addressing class imbalance in data used for predicting total testosterone deficiency in type 2 diabetes patients. Diagnostics (Basel). 14 (23), 2634 (2024).
- Carvalho, F. R., Gavaia, P. J. Enhancing osteoporosis risk prediction using machine learning: a holistic approach integrating biomarkers and clinical data. Comput Biol Med. 192, 110289 (2025).
- Huang, X., Khetan, A., Cvitkovic, M., Karnin, Z. TabTransformer: tabular data modeling using contextual embeddings. arXiv. , (2020).
- Kapila, A., Takkar, A. Neurological disorders, corticosteroids, and fracture risk: hiding in the hindsight!. J Postgrad Med Educ Res. 56 (2), 61-62 (2022).
- Battaglino, R. A., Lazzari, A. A., Garshick, E., Morse, L. R. Spinal cord injury-induced osteoporosis: pathogenesis and emerging therapies. Curr Osteoporos Rep. 10 (4), 278-285 (2012).
- Landi, F., Liperoti, R., Russo, A., Giovannini, S., et al. Sarcopenia as a risk factor for falls in elderly individuals: results from the ilSIRENTE study. Clin Nutr. 31 (5), 652-658 (2012).
- Romagnani, P., et al. Chronic kidney disease. Nat Rev Dis Primers. 11 (1), 8 (2025).
- Liu, S., Liang, R. Synergistic impact of immuno-nutritional and hypoxia-metabolic disturbances on post-stroke epilepsy: a “two-hit” prediction model and web-based risk calculator. Front Nutr. 13, 1759899 (2026).
- Liu, S., Zhou, J. Trends and development of enhanced recovery after surgery programs in cranial and spinal neurosurgery. Neurochirurgie. 71 (5), 101704 (2025).
- Carvalho, F. R., Gavaia, P. J., Brito Camacho, A. OrthoMortPred: predicting one-year mortality following orthopedic hospitalization. Int J Med Inform. 192, 105657 (2024).
- Liu, S., Liang, R. Risk stratification for intracranial infection after high-grade gliomas surgery: a nomogram development and validation study. Front Oncol. 15, 1697966 (2025).
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Yeniden basım ve izinler
Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste
İzin iste