Summary
Randomize kontrollü çalışmalar mümkün olmadığında, Askeri Sağlık Sistemi Veri Deposu gibi kapsamlı bir sağlık veri kaynağı retrospektif analizler için cazip bir alternatif sağlar. Ulusal ölüm endeksinden ölüm verilerinin birleştirilmesi ve eğilim ağırlığı kullanan gruplar arasındaki farklılıkların dengelenmesi, retrospektif tasarımlarda ortaya çıkan önyargıların azaltılmasına yardımcı olur.
Abstract
Randomize kontrollü çalışmalar mümkün olmadığında, büyük verileri kullanan retrospektif çalışmalar, tedavi seçimi önyargısı açısından risk altında olmalarına rağmen etkin ve uygun maliyetli bir alternatif sağlar. Tedavi seçimi, sonuçla ilişkili tedavi öncesi özelliklere dayandığı zaman randomize olmayan bir çalışmada ortaya çıkar. Bu tedavi öncesi özellikler veya kurucular, bir tedavinin sonuç üzerindeki etkisinin değerlendirilmesini etkileyebilir. Eğilim puanları tedavi grupları arasında bilinen kurucuları dengeleyerek bu önyargıyı en aza indirir. Eğilim puanı analizleri yapmak için eğilim puanı, eğilim eşleştirme ve tedavi ağırlıklandırmasının ters olasılığı (IPTW) dahil olmak üzere birkaç yaklaşım vardır. Burada açıklanan IPTW kullanımı ABD Askeri Sağlık Sistemi Veri Deposu (MDR) içinde hastaların bir kohort temel komorbiditeleri dengelemek için. MDR, uygun yararlanıcılar için yatarak ve ayakta tedavi hizmetleri hakkında neredeyse eksiksiz bilgilerin sunulduğu, içerdiği bir kohort sağladığından, nispeten optimal bir veri kaynağıdır. Aşağıda özetlenen sağlam mortalite verileri sağlamak için ulusal ölüm endeksi nden bilgi ile desteklenen MDR kullanımıdır. Ayrıca, yönetim verilerini kullanmak için öneriler de sağlanır. Son olarak, protokol, bilinen kurucuları dengelemek ve ilgi nin sonucu için kümülatif insidans işlevini çizmek için IPTW'yi kullanmak için bir SAS kodunu paylaşır.
Introduction
Randomize, plasebo kontrollü çalışmalar tedavinin etkinliğini ölçmek için en güçlü çalışma tasarımı, ama her zaman maliyet ve zaman gereksinimleri veya tedavi grupları arasında eşitlik eksikliği nedeniyle mümkün değildir1. Bu gibi durumlarda, büyük ölçekli yönetim verileri ("büyük veri") kullanan retrospektif bir kohort tasarımı genellikle etkin ve uygun maliyetli bir alternatif sağlar, ancak randomizasyon eksikliği tedavi seçimi önyargı2'yiortaya çıkarır. Tedavi kararı ilgi sonucu ile ilişkili tedavi öncesi özelliklere bağlı olduğunda tedavi seçimi önyargı randomize olmayan çalışmalarda ortaya çıkar. Bu özellikler kafa karıştırıcı faktörler olarak bilinir.
Eğilim puanları tedavi grupları arasında bilinen kurucuları dengeleyerek bu önyargıyı en aza indirgediği için, giderek daha popüler hale gelmiştir3. Propensity skorları cerrahi yaklaşımlarkarşılaştırmak için kullanılmıştır 4 ve tıbbi rejimler5. Son zamanlarda, abd askeri sağlık sistemi veri deposu (MDR) koroner arter kalsiyum varlığı ve şiddetine dayalı kardiyovasküler sonuçların birincil önleme statinlerin etkisini değerlendirmek için verilerin bir eğilim analizi kullandık6.
MDR, daha az sıklıkta Medicare ve VA veri setleri araştırma amaçlı kullanılan, aktif görev askeri, emekliler ve diğer Savunma Bakanlığı (DoD) sağlık yararlanıcıları ve bağımlıları için sağlanan yataklı ve ayakta tedavi hizmetleri kapsamlı idari ve tıbbi talep bilgileri içerir. Veritabanı, dünya çapında ABD askeri arıtma tesislerinde veya DoD'ye fatura edilen sivil tesislerde sağlanan hizmetleri içermektedir. Veritabanı 1 Ekim 2001'den bu yana tüm eczane verilerini içerir. Laboratuvar verileri 2009'dan itibaren mevcuttur, ancak sadece askeri arıtma tesisleri ile sınırlıdır. MDR içinde, kohortlar tanı kodlarının (örn. diabetes mellitus7)veya prosedür kodlarının (örn. artroskopik cerrahi8)kullanımı gibi yöntemlerle tanımlanmıştır. Alternatif olarak, bir kayıt defteri gibi uygun yararlanıcıların harici tanımlanmış bir kohort, temel ve takip verileri elde etmek için MDR eşleşebilir9. Medicare aksine, MDR her yaştan hasta içerir. Bağımlıları içerdiğinden, va veritabanına göre erkeklere karşı daha az önyargılıdır. Ancak MDR'ye erişim sınırlıdır. Genel olarak, sadece Askeri Sağlık Sistemi üyesi olan müfettişler, VA veritabanının kullanımı için gerekli liklere benzer şekilde erişim talep edebilirler. Askeri Sağlık Sistemleri verilerine erişmek isteyen sivil toplum araştırmacıları bunu bir hükümet sponsoru gözetiminde bir veri paylaşım anlaşması yoluyla yapmalıdır.
Herhangi bir yönetim veri kümesi kullanırken, bu sınırlamalar yanı sıra idari kodlama güçlü akılda tutmak önemlidir. Kodun duyarlılığı ve özgüllüğü, birincil veya ikincil tanı veya yatarak veya ayakta nisbar dosyası olsun, ilgili tanıya bağlı olarak değişebilir. Akut miyokard enfarktüsü için yatarak kodlar genellikle doğru% 9010üzerinde pozitif tahmin değerleri ile bildirilmiştir, ancak tütün kullanımı genellikle11undercoded olduğunu . Bu tür undercoding olabilir veya bir çalışmanın sonuçları üzerinde anlamlı bir etkisi olmayabilir12. Ayrıca, belirli bir durum için çeşitli kodlar soru13hastalık için korelasyon değişen düzeylerde mevcut olabilir. Bir araştırma ekibi, uygun kodların çalışmaya dahil edilmesini sağlamak için Uluslararası Hastalık Sınıflandırması, Dokuzuncu Revizyon, Klinik Modifikasyon (ICD-9-CM) ve/veya ICD-10-CM kodlama kılavuzlarının kapsamlı bir literatür taraması ve incelemesini yapmalıdır.
Komorbid koşulları tanımlamak için tanı kodlarının duyarlılığını ve doğruluğunu artırmak için çeşitli yöntemler kullanılabilir. Temel komorbiditeleri belirlemek için uygun bir "geri dönüş" dönemi eklenmelidir. Geri dönüş süresi, eğitime başlamadan önce sağlanan yatarak ve ayakta tedavi hizmetlerini içerir. Bir yıllık bir süre en uygun14olabilir. Ayrıca, tek bir talep yerine iki ayrı talep gerektiren özgüllüğü artırabilir, farmasötik verilerle kodlama verileri tamamlayan duyarlılık artırabilir15. Kodlama stratejisinin doğruluğunu doğrulamak için verilerin bir bölümünde ki manuel grafik denetimlerini seçin.
Komorbiditeler tanımlandıktan ve söz konusu kohort için değerlendirildikten sonra, tedavi grupları arasındaki kovariatfarklılıkları dengelemek için bir eğilim skoru kullanılabilir. Eğilim puanı, hastanın bilinen kovariatlara dayalı bir tedaviye atanması olasılığından türetilir. Bu eğilim tedavi için muhasebe covariates tedavi atama üzerindeki etkisini azaltır ve sonuç üzerinde tedavi etkisinin daha gerçek bir tahmin oluşturmaya yardımcı olur. Eğilim puanları mutlaka çok değişkenli modellere üstün sonuçlar sağlamaz iken, onlar tedavi ve tedavi edilmeyen grupların eğilim puanıuygulandıktansonra karşılaştırılabilir olup olmadığının değerlendirilmesi için izin yok 3 . Çalışma araştırmacıları, bilinen kurucuların gruplar arasında dengelenmiş olmasını sağlamak için, eğilim eşleştirmesinden önce ve sonra veya tedavi ağırlıklandırmasının (IPTW) ters olasılıklarını analiz edebilirler. Daha da önemlisi, bilinmeyen kurucular dengeli olmayabilir ve kalıntı kafa karıştırıcı potansiyelinin farkında olmak gerekir.
Düzgün yürütüldüğünde, eğilim puanları tahmin ve randomize kontrollü çalışmaların sonuçlarını çoğaltmak güçlü bir araçtır16. Mevcut eğilim-skor teknikleri, eşleştirme ve IPTW genellikle17tercih edilir. IPTW içinde, hastalar tedavi eğilimi veya olasılık tarafından ağırlıklı. Stabilizasyon ağırlıkları genellikle ham ağırlıklar üzerinde tavsiye edilir, ağırlıkların kırpma da kabul edilebilir iken18,19,20,21.
Çalışma grupları dengelendikten sonra ilgi nin sonucuna kadar takip edilebilirler. İdari verileri kullanan çalışmalar, geri kabul oranları ve olay zamanı analizleri gibi sonuçlarla ilgilenebilir. Mortalite ile ilgili çalışmalarda, Askeri Sağlık Sistemi Veri Deposu daha da ulusal ölüm endeksi (NDI)22,23kullanılarak artırılabilir hayati durum için bir alan içerir. NDI, Hastalık Kontrol Merkezi tarafından yönetilen devlet dairelerinden gelen ölüm kaydı bilgilerinin merkezi bir veritabanıdır. Müfettişler ölüm belgesine dayanarak temel hayati durum ve/veya belirli ölüm nedenini talep edebilirler.
Aşağıdaki protokol, NDI'nin mortalite bilgileriyle artırılmış MDR kullanarak bir idari veritabanı çalışması yürütme sürecini ayrıntılarıyla açıklar. SAS kodu ve örnek çıktı dahil olmak üzere iki tedavi grubu arasındaki temel farklılıkları dengelemek için IPTW kullanımını ayrıntıları.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Aşağıdaki protokol kurumsal insan etik komitelerimizin yönergelerini izler.
1. Kohortun tanımlanması
- 1) bir kayıt defteri veya 2) tanılar veya prosedürler için idari kodlar (yani ikiden fazla olan tüm hastalar) gibi MDR'den çıkarılabilen veri noktalarını kullanarak planlanan kohortun dahil etme ve dışlama kriterlerini belirleyin ve net bir şekilde tanımlayın ayakta nasyonale tanı konulması veya atriyal fibrilasyonun yatarak tanısı).
- Bir kayıt defteri kullanıyorsanız, tıbbi kayıt numarası (patuniq ve edipn olarak farklı veri kümelerinde listelenen), tam adı, doğum tarihi ve/veya sponsorun sosyal güvenlik numarası gibi Askeri Sağlık Sistemi Veri Deposu ile doğru eşleştirme için iki veya daha fazla hasta tanımlayıcısı ekleyin.
NOT: Kişisel sağlık bilgilerini kullanan tüm çalışmalarda olduğu gibi, güvenlik önlemleri alınması ve uyulması gerekmektedir. Toplama işlemi sırasında uygun şifreleme ve veri yönetimi kullanılmalıdır ve bilgiler mümkün olan en kısa sürede tanımdan arındırılmalıdır.
NOT: Sponsorun sosyal güvenlik numarasına (sponssn) atıfta bulunurken, tüm hastalar, sponsor, eş ve çocuklar için bir tanımlayıcı da dahil olmak üzere askeri üye (veya sponsor) ile olan ilişkileri açısından listelenir. Hastalar yetişkin olduklarında ve evlendiklerinde veya boşandıklarında, ilişki kodu ve sponsorun sosyal güvenlik numarasının veri setinde zaman içinde değişebileceğini unutmayın. Böylece, birden fazla hasta tanımlayıcıları doğruluğu sağlamak için yardımcı olur. - İdari kodlama yoluyla kohortları tanımlıyorsanız, ilgi çekici kodları potansiyel olarak doğrulamış önceki çalışmaları tanımlamak için kapsamlı bir literatür araştırması gerçekleştirin. Uygun kod aralığının kullanıldığından emin olmak için kod tanımlarını ve komşu kodları netleştirmek için ICD-9-CM24 ve/veya ICD-10-CM25 kılavuzlarını gözden geçirin. Ayrıca, ekleme/hariç tutma için ek kodların değerlendirilmesi için kılavuzlarda yer alan çapraz başvuru tablolarını gözden geçirin. Önceki doğrulama çalışmaları, çeşitli idari kodlama stratejileri için pozitif tahmin değeri, duyarlılık ve özgüllük raporlarını içerir. Kohort seçiminin optimizasyonuna ve sonuç tanımlamasında bu yardımlar.
- Bir kayıt defteri kullanıyorsanız, tıbbi kayıt numarası (patuniq ve edipn olarak farklı veri kümelerinde listelenen), tam adı, doğum tarihi ve/veya sponsorun sosyal güvenlik numarası gibi Askeri Sağlık Sistemi Veri Deposu ile doğru eşleştirme için iki veya daha fazla hasta tanımlayıcısı ekleyin.
- Veri isteğine dahil edilmesi istenen kohort veya diğer dışlama kriterlerinde kısıtlamalar (örn. yaşa bağlı olarak) olup olmadığını belirleyin.
- Temel kodiatların (genellikle idari veri araştırmalarında 12 ay) toplanması için indeks tarihinden önceki zamanı ve çalışma bitiş tarihini içerecek şekilde çalışma süresini tanımlayın.
2. Kovariatların ve sonuçların tanımlanması
- Yukarıdaki adım 1.1.2'de yapıldığı gibi, literatür aramaları ve ICD-9-CM24 ve/veya ICD-10-CM25 kılavuzlarının kullanımı yoluyla kafa karıştırıcı koşullar için yönetim kodlarını tanımlayın.
- Demografi, ilaç ve laboratuvar verileri de dahil olmak üzere diğer gerekli covariates belirleyin.
- Burada MDR Veri Sözlüğü'nde kullanılabilir veri alanları gözden geçirin: https://health.mil/Military-Health-Topics/Technology/Support-Areas/MDR-M2-ICD-Functional-References-and-Specification-Documents.
3. MDR için bir istek gönderme
- Kurumsal İnceleme Kurulu'nun onayını alın.
- Burada bulunan bir veri paylaşım anlaşması uygulamasını tamamlayın: https://health.mil/Military-Health-Topics/Privacy-and-Civil-Liberties/Submit-a-Data-Sharing-Application?type=All#RefFeed. Uygulamanın bir parçası olarak, DRT Askeri Sağlık Sistemi Veri Deposu (MDR) Çıkarma çalışma sayfasında (başvuru formuna bağlı) veri alanlarını ve dosyaları belirtin. Takımın ham verileri bir veri analisti isteyip istemeyeceğini veya takımın MDR'ye doğrudan erişip erişmeyeceğini belirtin. Ayrıca, isteğin tek seferlik bir veri çekimi için mi yoksa günlük, aylık veya yıllık düzenli çekme ler isteyip istenmediğini de belirtin.
NOT: Herhangi bir yöntemle MDR verilerini elde etmek için, genellikle araştırmacı ekibinin bir üyesi olan bir devlet çalışanı (aktif görev askeri veya GS) olan bir sponsor olmalıdır. - MDR'ye doğrudan erişiyorsanız, burada bulunan "MDR Yetki İstek Formu" ve "MDR CS 2875 Formu"nu doldurun: https://health.mil/Military-Health-Topics/Technology/Support-Areas/MDR-M2-ICD-Functional-References-and-Specification-Documents.
4. MDR'ye erişim ve ilgili verilerin ayıklanması
- Doğrudan MDR'ye erişiyorsanız, yazılım gereksinimleri ve "MDR Kullanım Kılavuzu" ve "MDR Fonksiyonel Kılavuzu"nda bulunan örnek SAS programları da dahil olmak üzere MDR'ye erişim ve kullanma yönergelerini izleyin: https://health.mil/Military-Health-Topics/Technology/Support-Areas/MDR-M2-ICD-Functional-References-and-Specification-Documents.
NOT: Dosyalar SAS formatında kaydedilir ve genellikle macun.exe yanı sıra bir ftp programı kullanılarak bir unix kabuk üzerinden erişilir. SAS bilgisi gereklidir. - MDR kurulumuna yararlı bir genel bakış için, MHS Veri https://health.mil/Reference-Center/Publications/2012/10/10/Guide-for-DoD-Researchers-on-Using-MHS-Data kullanma konusunda DOD Araştırmacıları için DOD Kılavuzu'nuinceleyin.
- Adım 2.3'te yapıldığı gibi, kullanılabilir tüm veri dosyaları hakkında ayrıntılı bilgi için MDR Veri Sözlüğü'https://health.mil/Military-Health-Topics/Technology/Support-Areas/MDR-M2-ICD-Functional-References-and-Specification-Documentsgözden geçirin.
NOT: Tüm veri dosyaları eşleştirme/birleştirme için tüm hasta tanımlayıcılarını içermez. Veri sözlüğü, her veri dosyası için kullanılabilen tanımlayıcıları listelemesine yardımcı olur. Örneğin, "patuniq" veya "edipn" olarak da adlandırılan DOD kimlik numarası, eczane bilgilerini ayıklamak için gereklidir. Bu nedenle, veri madenciliği adımında tüm uygun hasta tanımlayıcılarına sahip olmak, birden fazla yıl ve birden çok veri kümesi boyunca tüm hasta bilgilerini eşleştirme olanağı sağlamak için önemlidir. PHI içeren araştırmalarda, gerekli onayı aldıktan sonra veri koruma prosedürlerine sıkı bir şekilde uyulması gerektiğini ve PHI'nin artık ihtiyaç duyulmadıktan sonra imha edilmesi gerektiğini yinelemek önemlidir. - VM6 yararlanıcı verilerine (Eylül 2002-günümüz) veya pben dosyasına (Eylül 2000-Eylül 2002) erişerek kohort için gerekli hasta tanımlayıcılarını edinin.
- VM6 verilerini kohort dosyasıyla eşleştirmek için aşağıdaki makroyu veya benzer bir programı kullanın. Bu durumda, kod zaten bir kohort dosyasında olan belirli bir hasta sosyal hasta tıbbi kayıt numaraları (MRNs) bulmak için yazılı olarak kullanılabilir. Daha sonra hataları kontrol yardımcı olmak için hasta adları ve doğum tarihleri için vm6 veri çizmek ve kohort dosyalarında farklı değişken adları kullanın. PHI'yi korumak için, verileri servis düğümünde hasta tanımlayıcılarla veri isteğinin bir parçası olarak sağlanan alanda saklayın (Bkz. MDR Kullanım Kılavuzu).
NOT: MRN'lar MDR'de DOD KIMLIK numarası, PATUNIQ veya EDIPN olarak adlandırılır).
- Veritabanı girişleri hiçbir zaman hatasız olmadığı için, program günlüğünü ve çıktısını olası endişeleriçin denetlemeye ek olarak her büyük adımdan sonra hata denetimleri yapın. Yukarıdaki kodla olası uyuşmazlıkları gözden geçirmek için aşağıdaki veri adımını kullanın (hasta dosyaları hasta/yararlanıcı sosyal temel alınarak eşleşir). Kohort dosyasındaki adları (soyadı, ad) vm6 dosyasıyla (last_name, first_name) karşılaştırırken, yalnızca dosyalar arasındaki yazım/boşluk farklılıklarıyla ortaya çıkan yanlış hataları azaltmak için ilk üç harfle eşleşir.
- Hata veri dosyalarını gözden geçirin ("denetim adı"). Noktalama işaretinden kaynaklanan hataları yoksay (O'Reilly vs. OReilly). Sağlık kaydının manuel olarak gözden geçirilmesi yle ilgili diğer hataları kontrol edin veya önemli hatalar varsa ve doğrulama mümkün değilse ilgili hasta/hasta bilgilerini atmayı düşünün.
- VM6 verilerini kohort dosyasıyla eşleştirmek için aşağıdaki makroyu veya benzer bir programı kullanın. Bu durumda, kod zaten bir kohort dosyasında olan belirli bir hasta sosyal hasta tıbbi kayıt numaraları (MRNs) bulmak için yazılı olarak kullanılabilir. Daha sonra hataları kontrol yardımcı olmak için hasta adları ve doğum tarihleri için vm6 veri çizmek ve kohort dosyalarında farklı değişken adları kullanın. PHI'yi korumak için, verileri servis düğümünde hasta tanımlayıcılarla veri isteğinin bir parçası olarak sağlanan alanda saklayın (Bkz. MDR Kullanım Kılavuzu).
- MDR'den kalan gerekli verileri ayıklayın.
- Gerekirse, vm6ben dosyalarından ırk ve cinsiyet elde edin (Eylül 2002'den önce pben dosyaları), kohort dosyasıyla birleştirin ve yukarıda yapılan hataları kontrol edin:
- Death master dosyasından ölüm verileri alın, kohort dosyasıyla birleştirin ve yukarıda yapılan hataları denetleyin:
- Çözümleme için gereken ek veri dosyalarını edinin (veri konumu ve ek yararlı SAS makroları ve kodu için MDR Fonksiyonel Kullanım Kılavuzu'na bakın).
NOT: Veriler, doğrudan askeri sağlık sistemi tarafından sağlanıp sağlanmadığına veya başka bir yere teslim edilip edilmediğine bağlı olarak ayrı dosyalarda saklanır ve askeri sağlık sistemine fatura edilir. Örnek dosyalar aşağıda gösterilmiştir.
CAPER – fy 2004-günümüz doğrudan bakım, ayakta tedavi dosyaları
SADR – 1998-2005 yılları arasında doğrudan bakım, ayakta tedavi dosyaları
SIDR – 1989-günümüz doğrudan bakım, yatarak yatış (doğrudan bakım)
TEDI – faturalı bakım, kurumsal talep dosyaları fy 2001-günümüz
HCSRI – faturalı bakım, kurumsal talepler fy 1994-2005
TEDNI – faturalı bakım, kurumsal olmayan talepler fy 2001-günümüz
HCSRNI – faturalı bakım, kurumsal olmayan talepler fy 1994-2005
PDTS – münferit reçeteli eczane dosyası fy 2002-günümüz
- Gerekirse, vm6ben dosyalarından ırk ve cinsiyet elde edin (Eylül 2002'den önce pben dosyaları), kohort dosyasıyla birleştirin ve yukarıda yapılan hataları kontrol edin:
5. Verileri birleştirme ve toplama dosyaları oluşturma
- Yukarıdaki bölüm 4'te yapıldığı gibi veri analistinden veya doğrudan MDR'den elde edilip edilmediğine bakılmaksızın, analiz dosyasını oluşturmak için veri dosyalarının biraraya getirilip birleştirilmesi gerekir. İşlem boyunca, hata denetimleri ve daha önce de tartışıldığı gibi günlüklerin ve çıktıların gözden geçirilmesi de dahil olmak üzere veri doğruluğunu artıran yöntemlerden yararlanın.
- Verileri birleşirken, herhangi bir alanda hatalar olabileceğinden, güçlü bir eşleşme (tıbbi kayıt numarası ve doğum tarihi gibi) sağlamak için mümkün olduğunda en az iki hasta tanımlayıcısı kullanın. Veri birleştirmeden sonra, beklenen sonuçları sağlamak için verileri gözden geçirin. Başka bir tanımlayıcıya veya iki tanımlayıcıya ek olarak adın ilk üç harfinin eşleşip uygun eşleşmeleri doğrulamak için yararlı olduğundan emin olmak için kodu çalıştırın (bkz. adım 4.5.1).
NOT: Hastanın söz konusu süre içinde evli olup olmadığı soyadı eşleşmeyebilir. Ad alanlarında, yazım hatalarının yanı sıra apostrophes veya boşluk nedeniyle küçük varyasyonlar da bulunabilir. - Sonuçlar alabilen hastaları tanımlamak gibi süreçte kibritlere özellikle dikkat edin.
- Verileri birleşirken, herhangi bir alanda hatalar olabileceğinden, güçlü bir eşleşme (tıbbi kayıt numarası ve doğum tarihi gibi) sağlamak için mümkün olduğunda en az iki hasta tanımlayıcısı kullanın. Veri birleştirmeden sonra, beklenen sonuçları sağlamak için verileri gözden geçirin. Başka bir tanımlayıcıya veya iki tanımlayıcıya ek olarak adın ilk üç harfinin eşleşip uygun eşleşmeleri doğrulamak için yararlı olduğundan emin olmak için kodu çalıştırın (bkz. adım 4.5.1).
- IcD-9-CM veya ICD-10-CM kodlarını kullanarak indeks tarihinden önceki dönemden, hastanın çalışmaya girdiği tarihten alın. Genellikle, komorbiditeleri tanımlamak için indeks tarihinden 12 ay önce kullanın.
- Hastaların temel süre boyunca askeri sağlık sistemine uygunluğundan emin olun (vm6ben dosyasında aylık olarak doğrulanabilir).
- İndeks tarihinden önceki 12 aylık dönemde temel komorbiditeleri belirlemek için ayakta ve/veya yatarak yatan dosyalarda temel tanı kodlarını arayın. Bölüm 1'de yer alan ICD-9-CM veya ICD-10-CM kodlarını kullanın. Elixhauser komorbiditelerini kullanıyorsanız, HCUP'ın mevcut yazılımlarını kullanarak tanı değişkenlerinin ve dosyaların adlarını gerektiği gibi değiştirdiğinizden emin olun. (https://www.hcup-us.ahrq.gov/toolssoftware/comorbidity/comorbidity.jsp#download)
- IcD-9-CM veya ICD-10-CM kodları tarafından tanımlanan ilgi sonuçları için indeks tarihinden sonra yatarak ve/veya yatarak tedavi dosyaları arama( birincil tanı olarak miyokard infarktüsü için hastaneye yatış gibi (SIDR'de 410.x1'i arayın).
- İlginin sonucunu gösteremeyen hastalar için takip için bir kesit olarak tüm hastalar için bir çalışma bitiş tarihi belirleyin. Çalışma bitiminden önce hangi hastaların sansürlenmeleri gerektiğini belirleyin.
- Çalışma bitiş tarihi boyunca sağlık hizmetlerine uygunluğu sağlamak için vm6ben dosyasını arayın.; aksi takdirde, uygunluk kaybı sırasında hasta sansür.
- Çalışmanın, eczanenin aktif kullanıcıları gibi uygunluktan bağımsız sağlık sisteminin aktif kullanıcılarıyla sınırlandırmak önemliyse, veri dosyaları içindeki son sağlık bağlantısını (son ilaç dolgusu gibi) belirleyin ve o tarih.
NOT: Bir ölüm meydana geldikten sonra sağlık kayıtlarında bulunabileceğinden veya lehtarın sağlık sisteminden başka bir şekilde çıkmış olması durumunda telefon karşılaşmalarını kullanırken dikkatli olun.
6. Ulusal ölüm endeksi (NDI) maç
- Kohortun tamamı belirlendikten sonra, ölüm oranı nın bir bitiş noktası olup olmadığını eşleştirmek için bilgileri ulusal ölüm endeksine gönderin.
- İlk olarak, MDR veri ve IRB onayı isteklerine NDI ile eşleşme niyetini ekleyin. Korumalı sistem durumu bilgilerini (PHI) eşleştirme için NDI'ye göndermeden önce onay dan emin olun ve tamamlanan tüm veri şifreleme adımlarını tamamlayın.
- "Ulusal Ölüm Endeksi (NDI) Başvuru Formu" ve Ulusal Ölüm Endeksi'nden ölüm verilerini istemek için yol tarifine buradan https://www.cdc.gov/nchs/ndi/index.htm.
- Parola korumalı CD'deki verileri gece postası ile NDI'ye gönderin. Sonuçlar yaklaşık 2 hafta sonra aynı şekilde geri gönderilecektir.
- NDI sonuçlarını aldıktan sonra, olası dahil etme/dışlama için kısmi eşleşmeleri gözden geçirin.
- "Bölüm 4 - NDI Çıktısının Değerlendirilmesi" sonuçları gözden geçirmeye yardımcı bir genel bakış sağlar ve aynı web sayfasında bulunabilir: https://www.cdc.gov/nchs/ndi/index.htm. Sosyal güvenlik numarası ndaki maçlar genellikle en güçlü eşleşmeyi sağlar.
- Gerektiğinde, doğruluğu artırmak için Sosyal Güvenlik Ölüm Endeksi ve / veya Gaziler İşleri Yararlanıcı Kimlik Kayıtları Locator Alt Sistemi (BIRLS) ölümleri çapraz kontrol. Denizaşırı ülkelerde ölen hizmet üyelerinin büyük olasılıkla Bir NDI aramasında görünmeyeceğini, ancak genellikle MDR hayati durum dosyasında veya VA BIRLS'de tanındığını unutmayın.
- İncelemeyi tamamladıktan sonra ölüm dosyasını ana kohort dosyasıyla birleştirin.
7. Verilerin tanımlanması
- Gerekli tüm bilgiler elde ediledikten sonra PHI'nin korunmasına yardımcı olmak için veri dosyalarını tanımlayın. "Ranuni" kullanarak her hasta için rastgele bir hasta tanımlayıcısı oluşturun (Bkz. MDR Fonksiyonel Kullanım Kılavuzu). Hastanın sosyal, tıbbi kayıt numarasını, doğum tarihini (işlem çağından sonra) veri dosyalarından kaldırın. Gerekirse (ve onaylanırsa), rastgele hasta tanımlayıcısını PHI'ye güvenli bir şekilde SCE düğümünde bağlayan bir anahtar saklayın.
8. Bilgisayar eğilimi puanı18,19,26
- Tedavi olasılığını modellemek için lojistik regresyon kullanın (SAS proc lojistik).
- Örnekte veri dosyasını ("dat" belirtin).
- Kategorik değişkenleri belirtmek için sınıf deyimini kullanın. Referans değeri olarak en düşük değeri (0 gibi) belirtmek için "ref = first" kullanın.
- Model deyiminde, tedavi değişkenini bağımlı değişken (Rx) olarak belirtin ve "olay" değerini tedavi alma değeri olarak ayarlayın (bu durumda 1).
- Modelde covariates olarak tedavi alma olası öngörüler dahil, özellikle de sonucun belirleyicileri olabilir (ölüm gibi). Terimler arasındaki etkileşimlerin tedaviyi etkiedip etkilemeyebileceğini göz önünde bulundurun. "*" (erkek*ckd gibi) kullanarak veya aşağıdaki "|" kodiatlar arasına "|" ve sonunda "@2" ekleyerek belirli bir modele uygun olarak 2 x 2 etkileşimin tümlerini belirterek sözdizimini kullanarak modele ekleyin.
- Öngörülen tedavi olasılığının (prob) "ps" ile tanımlanacağını ve "ps_data" dosyasına çıktı olacağını belirtmek için çıktı deyimini kullanın.
NOT: Modeldeğişkenleri: erkek: erkek cinsiyeti (ikili), ckd: kronik böbrek hastalığı (ikili), karaciğer: kronik karaciğer hastalığı (ikili), diyabet (ikili), koah: kronik obstrüktif akciğer hastalığı (ikili), chf: kalp yetmezliği (ikili), cad: koroner arter hastalığı (ikili), cvd: serebrovasküler hastalık (ikili), ped: periferik arter hastalığı (ikili), yaş (sürekli).
- Öngörülen olasılık (eğilim puanı) ağırlıkları hesaplamak. Hasta tedavi gördüyse (Rx = 1), eğilim puanı ağırlığı 1/(propensity skoru) olur. Hasta tedavi görmediyse, eğilim puanı nın ağırlığı 1/(1 - propensity skorudur).
- Ortalama ağırlıkla bölerek eğilim puanını stabilize edin. Aşağıdaki kodda Proc, "m" veri dosyasındaki "mn_wt" değişkenine ortalama ağırlığı çıktıolarak ifade eder. "m" veri dosyasından mn_wt koruyan aşağıdaki veri kümesi, her gözlem için stabilize eğilim puanlarını (st_ps_weight) hesaplar.
- Tedavi ağırlıklama ters olasılık uyguladıktan sonra dengeleme doğrulayın.
- Stddiff makro, SAS'da ağırlıklandırmadan önce ve sonra covariates için standartlaştırılmış ortalama farklılıklarını basitleştirir. Makronun kodunu burada bulabilirsiniz: http://www.lerner.ccf.org/qhs/software/lib/stddiff.sas.
- Ağırlıklandırmadan önce standartlaştırılmış ortalama farkını hesaplayın. Tüm makrolarda olduğu gibi, makro kodu aramadan önce SAS'ta çalıştırılmalıdır. İlgi çekici lerle birlikte örnek bir çağrı deyimi aşağıda verilmiştir.
Inds - giriş veri seti, groupvar - çalışma grupları, charvars tanımlayan değişken - kategorik değişkenler, numvars - sürekli değişkenler, stdfmt – standart fark biçimi, outds - çıkış veri seti. - Ağırlıklandırmadan sonra standartlaştırılmış ortalama farkı hesaplamak için stddiff makroyu tekrar arayın. "Wtvar", standartlaştırılmış eğilim puanını içeren değişkeni belirtir ve makro çağrı deyimine eklenir. Standartlaştırılmış farkların tümü 0,1'den küçük veya eşitse, dengeleme başarılı kabul edilir.
- Ağırlıklandırma öncesi ve sonrası ASD tabular veya grafik biçiminde raporlanabilir. Bir arsa oluşturmak için bir SAS makro kullanmak için yol tarifi için, Ek Malzemelerbakın.
- IPTW tarafından ayarlanan veriler, ölçülen kurucuların dengelenmesi sağlandıktan sonra tek değişkenli bir analizde kullanılabilir.
9. Sonuç modelini oluşturma ve kümülatif insidansı fonksiyonunun bir arsa oluşturma
- Bir hayatta kalma komplosu oluşturmak için proc lifetest'in kullanılması da dahil olmak üzere, ortaya çıkan olay-olay analizinin çizilen birkaç yolu vardır. Standartlaştırılmış eğilim ağırlığını belirtmek için ağırlık deyimini kullanın.
- Bir eğilim ağırlığı kullanarak bir cif çizimoluşturmak için proc phreg kullanın.
- Proc phreg'te, çizim oluştururken kullanılacak covariate değerlerini belirtmek için bir covariate dosyasına başvurun. Bu durumda, covariate dosyası yalnızca 1 veya 0 olabilir tek değişken Rx içerir.
- Ods grafiklerini titretin. Grafik veya dosya türü için çıktı dosyalarını belirtmek için gerektiğinde ek deyimler kullanın (jpeg, vb.; bkz. https://support.sas.com/documentation/cdl/en/statug/63962/HTML/default/viewer.htm#statug_odsgraph_sect014.htm).
- Proc phreg sözdiziminde, standartlaştırılmış eğilim puanı değişkenini belirtmek için ağırlık deyimini kullanın. Kümülatif insidans işlevini çizebilmek için taban çizgisi deyimini kullanarak taban çizgisi kodları için değerleri belirtin. "Rowid" (bu durumda RX 1 vs 0) kullanarak arsa için kullanılacak katmanları belirtin. Sonuç değişkenini ("olay") izleyen parantez içinde sayı, sansürlenme tarihini ve rakip olayları içermesi gereken sansürlü değişkenin değerini(ler) belirtir. Bu durumda, 0 sansürlü ve 1 gerçek bir olaydır.
- Proc phreg'te, çizim oluştururken kullanılacak covariate değerlerini belirtmek için bir covariate dosyasına başvurun. Bu durumda, covariate dosyası yalnızca 1 veya 0 olabilir tek değişken Rx içerir.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
IPTW tamamlandıktan sonra, tablolar veya mutlak standart farklar çizimleri sırasıyla stddiff makro kodu veya asdplot makro kodu kullanılarak oluşturulabilir. Şekil 1, asdplot makroyu kullanarak 10.000 katılımcıdan oluşan büyük bir kohortta uygun dengeleme örneğini göstermektedir. Eğilim puanının uygulanmasından sonra, mutlak standart farklar önemli ölçüde azaltıldı. Mutlak standartfark için kullanılan kesme biraz rasgele, 0.1 genellikle kullanılır ve iki grup arasında ihmal edilebilir fark gösterir rağmen. Küçük bir kohortta, doğru dengelemeelde etmek daha zordur. Şekil 2, 100 katılımcıdan oluşan bir kohortta kovariatları dengelemeye çalışmanın başarısız sonuçlarını göstermektedir.
Standartlaştırılmış eğilim puanı oluşturulduktan sonra, çalışma ekibi sonuç analizine devam edebilir. Hayatta kalma analizi genellikle eşit olmayan takip bilgileri ile katılımcıların sansür ihtiyacı nedeniyle istihdam edilir ve Şekil 3 kümülatif insidans fonksiyonu (CIF) arsa oluşturmak için standart eğilim puanı ağırlıkları ile proc phreg kullanımı bir örnek göstermektedir. CIF arsa zaman içinde olayların artan sayıda tasvir eder. Bu durumda, tedavi edilmeyen veya kontrol edilen grup (No Rx) daha fazla sayıda olaya sahiptir ve tedavi edilen gruptan (Rx) nispeten daha kötüdür.
Şekil 1: Başarılı dengeleme örneği. Büyük bir kohortta (n = 10.000), IPTW tüm mutlak standartlaştırılmış farklarla kovariatların 0,1'in altında dengelenmesi sağladı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: Başarısız dengeleme örneği. Küçük bir kohortta (n = 100), IPTW 0,1'den büyük olan birçok mutlak standart farkla kovariatların dengelenmesi ne başaramadı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Tedavi gruplarını karşılaştıran kümülatif insidans fonksiyonu çizimi örneği. Zaman içinde, tedavi edilmeyen grupta (No Rx) daha yüksek olmasına rağmen, her iki grupta da kümülatif mortalite insidansı artmaktadır. Böylece, bu örnekte, tedavi edilen grup sağkalım gelişmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Tamamlayıcı Malzemeler. Bu dosyayı görüntülemek için lütfen buraya tıklayın (İndirmek için sağ tıklatın).
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Büyük yönetimsel veri kümeleri kullanılarak yapılan retrospektif analizler, randomize kontrollü denemeler mümkün olmadığında etkin ve uygun maliyetli bir alternatif sağlar. Uygun veri seti nüfusve ilgi değişkenlerine bağlıdır, ancak MDR Medicare verileri ile görülen yaş kısıtlamaları olmayan cazip bir seçenektir. Herhangi bir veri seti ile, onun düzeni ve veri sözlüğü yakından aşina olmak önemlidir. Tam verilerin yakalanmasını ve verilerin doğru bir şekilde eşleştirilip birleştirilmesini sağlamak için yol boyunca dikkatli olunmalıdır.
Tanı kodları, atanan tanıların değerini en üst düzeye çıkarmak için mevcut literatür ve ICD-9-CM ve ICD-10-CM kodlama sisteminin kapsamlı bir şekilde anlaşılması kullanılarak tanımlanmalıdır. Elixhauser27 veya rafine Charlson komorbidite indeksi28,29dahil olmak üzere mevcut komorbidite kodları, mevcut setleri ilgi sonucunu etkileyebilecek komorbid koşulları tanımlamak için kullanılabilir. Aynı şekilde, yönetim verilerinde doğrulanmış kodlama algoritmaları ve kaldıraçlı olmalıdır. Çok çeşitli hastalıkların doğru sınıflandırılmayı en üst düzeye çıkarmak için ICD-9-CM ve ICD-10-CM kodlama algoritmalarının en iyi kullanımı hakkında öğrenme devam ettiği için doğrulama aktif bir araştırma alanı olarak kalmalıdır.
Eğilim puanları herhangi bir retrospektif analizde doğasında olan sapmayı gidermek için kullanılabilir. Etkin eğilim puanı ağırlıklandırma veya eşleştirme, genellikle 0,1 olarak belirlenen mutlak standartlaştırma farkını (ASD) istenilen eşiğin altına düşürmelidir. Uygun dengeleme, tedavi gruplarının bilinen kurucularla karşılaştırılabilirliğini sağlamaya yardımcı olur ve randomize deneme sonuçlarını başarılı bir şekilde çoğaltmak için uygun şekilde kullanılan eğilim puanı teknikleri kullanılmıştır. Bir kez düzgün dengeli, tedavi grupları univariate zaman-to-olay veya diğer analiz ile karşılaştırılabilir.
Uygun dengeleme bile, kalıntı kafa karıştırıcı3için potansiyel vardır, bu nedenle soruşturma ekibi ölçülmemiş confounders etkisini sınırlamak gerekir. Ayrıca, tedavi seçimi üzerinde covariates etkileri güçlü ise, önyargı hala30kalabilir. Küçük kohortlarda, eğilim puanları nın tüm değişkenler için ASD'yi 0,1'in altına düşürmesi olası değildir ve regresyon ayarı artık dengesizliği ortadan kaldırmaya yardımcı olmak için kullanılabilir31. Regresyon ayarı, uygun bakiye artık garanti olmadığında alt grup analizinde de kullanılabilir.
Doğru yapıldığında, idari verilerle yapılan araştırmalar, randomize klinik çalışmaların yokluğunda önemli klinik sorulara zamanında yanıt vermektedir. Tüm önyargıları gözlemsel çalışmalardan çıkarmak mümkün olmasa da, eğilim puanları ve kalan titiz analizler kullanılarak önyargı sınırlandırılabilir.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Bu yayında yer alan araştırma, UL1 TR002345 ödül numarası altında Ulusal Sağlık Enstitüleri'nin Çeviri Bilimleri Geliştirme Merkezi tarafından desteklenmiştir. İçerik sadece yazarların sorumluluğundadır ve Ulusal Sağlık Enstitüleri'nin resmi görüşlerini temsil etmek zorunda değildir.
Yasal Uyarı: Ayrıca, bu makalede ifade edilen görüşler sadece yazarın görüşleridir ve Amerika Birleşik Devletleri Hükümeti, Amerika Birleşik Devletleri Savunma Bakanlığı (DoD) veya Amerika Birleşik Devletleri Bakanlığı'nın Ordu. Belirli ürünlerin veya bilimsel enstrümantasyonun tanımlanması bilimsel çabanın ayrılmaz bir parçası olarak kabul edilir ve yazar, DoD veya herhangi bir bileşen ajansı adına onay veya zımni ciro teşkil etmez.
Materials
| Name | Company | Catalog Number | Comments |
| CD Burner (for NDI Request) | |||
| Computer | |||
| Putty.exe | Putty.org | ||
| SAS 9.4 | SAS Institute Cary, NC | ||
| WinSCP or other FTP software | https://winscp.net/eng/index.php |
References
- Concato, J., Shah, N., Horwitz, R. I. Randomized, controlled trials, observational studies, and the hierarchy of research designs. New England Journal of Medicine. 342 (25), 1887-1892 (2000).
- Austin, P. C., Platt, R. W. Survivor treatment bias, treatment selection bias, and propensity scores in observational research. Journal of Clinical Epidemiology. 63 (2), 136-138 (2010).
- Sturmer, T., Wyss, R., Glynn, R. J., Brookhart, M. A. Propensity scores for confounder adjustment when assessing the effects of medical interventions using nonexperimental study designs. Journal of Internal Medicine. 275 (6), 570-580 (2014).
- Schermerhorn, M. L., et al. Long-Term Outcomes of Abdominal Aortic Aneurysm in the Medicare Population. New England Journal of Medicine. 373 (4), 328-338 (2015).
- Williams, R. J. II, et al. A Propensity-Matched Analysis Between Standard Versus Tapered Oral Vancomycin Courses for the Management of Recurrent Clostridium difficile Infection. Open Forum Infectious Diseases. 4 (4), (2017).
- Mitchell, J. D., et al. Impact of Statins on Cardiovascular Outcomes Following Coronary Artery Calcium Scoring. Journal of the American College of Cardiology. 72 (25), 3233-3242 (2018).
- Rush, T., McGeary, M., Sicignano, N., Buryk, M. A. A plateau in new onset type 1 diabetes: Incidence of pediatric diabetes in the United States Military Health System. Pediatric Diabetes. 19 (5), 917-922 (2018).
- Rhon, D. I., Greenlee, T. A., Marchant, B. G., Sissel, C. D., Cook, C. E. Comorbidities in the first 2 years after arthroscopic hip surgery: substantial increases in mental health disorders, chronic pain, substance abuse and cardiometabolic conditions. British Journal of Sports Medicine. , (2018).
- Mitchell, J., Paisley, R., Moon, P., Novak, E., Villines, T. Coronary Artery Calcium Score and Long-term Risk of Death, Myocardial Infarction and Stroke: The Walter Reed Cohort Study. Journal of the American College of Cardiology: Cardiovascular Imaging. , (2017).
- McCormick, N., Lacaille, D., Bhole, V., Avina-Zubieta, J. A. Validity of myocardial infarction diagnoses in administrative databases: a systematic review. PLoS ONE. 9 (3), e92286 (2014).
- Huo, J., Yang, M., Tina Shih, Y. -C. Sensitivity of Claims-Based Algorithms to Ascertain Smoking Status More Than Doubled with Meaningful Use. Value in Health. , Available from: https://doi.org/10.1016/j.jval.2017.09.002 (2017).
- Nayan, M., et al. The value of complementing administrative data with abstracted information on smoking and obesity: A study in kidney cancer. Canadian Urological Association Journal. 11 (6), 167-171 (2017).
- Birman-Deych, E., et al. Accuracy of ICD-9-CM codes for identifying cardiovascular and stroke risk factors. Medical Care. 43 (5), 480-485 (2005).
- Preen, D. B., Holman, C. D., Spilsbury, K., Semmens, J. B., Brameld, K. J. Length of comorbidity lookback period affected regression model performance of administrative health data. Journal of Clinical Epidemiology. 59 (9), 940-946 (2006).
- Rector, T. S., et al. Specificity and sensitivity of claims-based algorithms for identifying members of Medicare+Choice health plans that have chronic medical conditions. Health Services Research. 39 (6 Pt 1), 1839-1857 (2004).
- Hernán, M. A., et al. Observational studies analyzed like randomized experiments: an application to postmenopausal hormone therapy and coronary heart disease. Epidemiology (Cambridge, Mass.). 19 (6), 766-779 (2008).
- Austin, P. C. The relative ability of different propensity score methods to balance measured covariates between treated and untreated subjects in observational studies. Medical Decision Making. 29 (6), 661-677 (2009).
- Robins, J. M., Hernan, M. A., Brumback, B. Marginal structural models and causal inference in epidemiology. Epidemiology. 11 (5), 550-560 (2000).
- Robins, J.
- Thoemmes, F., Ong, A. D. A Primer on Inverse Probability of Treatment Weighting and Marginal Structural Models. Emerging Adulthood. 4 (1), 40-59 (2016).
- Xu, S., et al. Use of stabilized inverse propensity scores as weights to directly estimate relative risk and its confidence intervals. Value in Health: the Journal of the International Society for Pharmacoeconomics and Outcomes Research. 13 (2), 273-277 (2010).
- Cowper, D. C., Kubal, J. D., Maynard, C., Hynes, D. M. A primer and comparative review of major US mortality databases. Annals of Epidemiology. 12 (7), 462-468 (2002).
- Skopp, N. A., et al. Evaluation of a methodology to validate National Death Index retrieval results among a cohort of U.S. service members. Annals of epidemiology. 27 (6), 397-400 (2017).
- Buck, C. J. 2015 ICD-9-CM for Hospitals, Volumes 1, 2, & 3, Professional Edition. , Elsevier Saunders. (2015).
- Buck, C. J. 2018 ICD-10-CM for Hospitals, Professional Edition. , Elsevier Saunders. (2018).
- Guo, S., Fraser, W. M. Propensity Score Analysis: Statistical Methods and Applications, Second Edition. , Sage Publications. (2015).
- Elixhauser, A., Steiner, C., Harris, D. R., Coffey, R. M. Comorbidity measures for use with administrative data. Medical Care. 36 (1), 8-27 (1998).
- Charlson, M. E., Pompei, P., Ales, K. L., MacKenzie, C. R. A new method of classifying prognostic comorbidity in longitudinal studies: development and validation. Journal of Chronic Diseases. 40 (5), 373-383 (1987).
- Deyo, R. A., Cherkin, D. C., Ciol, M. A. Adapting a clinical comorbidity index for use with ICD-9-CM administrative databases. Journal of Clinical Epidemiology. 45 (6), 613-619 (1992).
- Austin, P. C., Stuart, E. A. The performance of inverse probability of treatment weighting and full matching on the propensity score in the presence of model misspecification when estimating the effect of treatment on survival outcomes. Statistical Methods in Medical Research. 26 (4), 1654-1670 (2017).
- Austin, P. C. Balance diagnostics for comparing the distribution of baseline covariates between treatment groups in propensity-score matched samples. Statistics in Medicine. 28 (25), 3083-3107 (2009).
