Classificação Hospitalar da Osteoporose Baseada em TabTransformer em Adultos Submetidos a Procedimentos Neurocirúrgicos da Couna

Resumo

Desenvolvemos e avaliamos internamente um modelo TabTransformer baseado em atenção para a classificação hospitalar da osteoporose entre adultos submetidos a procedimentos neurocirúrgicos da coluna, utilizando dados clínicos do Medical Information Mart para a Terapia Intensiva IV coletados rotineiramente.

Resumo

O objetivo era desenvolver e avaliar internamente um modelo de aprendizado profundo para classificação hospitalar da osteoporose entre adultos submetidos a procedimentos neurocirúrgicos da couna espinhal, utilizando dados clínicos tabulares coletados rotineiramente. Este estudo retrospectivo utilizou o banco de dados Medical Information Mart for Intensive Care IV (MIMIC-IV) para identificar pacientes adultos que passaram por procedimentos neurocirúrgicos na comedia. A osteoporose foi definida pelos códigos de diagnóstico ICD-9/10 registrados durante a admissão do índice. Características demográficas, registros de medicação, medições laboratoriais e sinais vitais da mesma hospitalização foram usados para o desenvolvimento do modelo. Após a divisão estratificada em conjuntos de treinamento, validação e teste, o desequilíbrio de classes foi tratado apenas no conjunto de treinamento. Um modelo baseado em TabTransformer foi desenvolvido e comparado com XGBoost, LSTM_Attention e Redes Convolucionais Temporais (TCN). A interpretabilidade do modelo foi avaliada usando as Explicações Aditivas SHapley (SHAP). No conjunto de testes estendido, o TabTransformer alcançou o melhor desempenho geral, com uma área abaixo da curva característica de operação do receptor (AUC) de 0,953 e uma precisão média (AP) de 0,799. Os valores correspondentes para TCN, XGBoost e LSTM_Attention foram 0,937/0,707, 0,857/0,303 e 0,755/0,179, respectivamente. A análise SHAP identificou idade, sexo, creatinina, largura da distribuição de glóbulos vermelhos, bicarbonato, fosfato, neutrófilos e várias variáveis relacionadas a medicamentos como contribuintes influentes para a produção do modelo. Nessa coorte retrospectiva de centro único, o modelo TabTransformer mostrou forte desempenho discriminativo para classificação hospitalar da osteoporose e forneceu associações interpretáveis em nível de características por meio do SHAP. Como preditores e desfechos foram definidos dentro da mesma hospitalização, esse arcabouço deve ser interpretado como um modelo de classificação exploratória validado internamente, em vez de uma ferramenta de previsão de risco futuro temporalmente explícita.

Introdução

A osteoporose (OP) é uma condição esquelética generalizada caracterizada pela diminuição da densidade mineral óssea e degradação estrutural do tecido ósseo, levando a maior fragilidade óssea e maior probabilidade de^fraturas. Continua representando uma preocupação significativa de saúde pública, especialmente entre idosos e mulheres^{pós-menopáusicas 2}. Em pacientes hospitalizados que passam por procedimentos neurocirúrgicos da coluna, a saúde óssea pode ser influenciada pela mobilidade reduzida, respostas ao estresse sistêmico, exposição a medicamentos e distúrbios na homeostase metabólica durante a internação indexada. Evidências anteriores de condições neurológicas e lesão da medula espinhal sugerem que a imobilização e a doença sistêmica podem contribuir para a perda óssea^{acelerada 3,4}, embora sinais relacionados à osteoporose nesse contexto clínico específico permaneçam insuficientemente caracterizados.

Dados eletrônicos de prontuários coletados rotineiramente oferecem a oportunidade de examinar padrões relacionados à osteoporose nessa população usando variáveis já disponíveis durante o cuidado rotineiro, como características demográficas, registros de medicação, exames laboratoriais e sinais vitais. Algumas variáveis relacionadas ao cuidado (por exemplo, padrões de uso de medicamentos) também podem atuar como proxies indiretos para o estado funcional ou mobilidade. No entanto, relativamente poucos estudos focaram em adultos submetidos a procedimentos neurocirúrgicos da coluna vertebral utilizando dados clínicos tabulares estruturados. Além disso, o banco de dados Medical Information Mart for Intensive Care IV (MIMIC-IV) representa uma grande coorte retrospectiva de UTI de um único centro terciário, em vez de uma população multicêntrica amplamente representativa. Portanto, análises baseadas nesse recurso devem ser interpretadas dentro do escopo da validação interna e da modelagem clínica exploratória. Estudos recentes de aprendizado de máquina melhoraram a modelagem de risco relacionada à osteoporose ao integrar biomarcadores com variáveis clínicas, mas esse trabalho tem sido realizado em grande parte em populações não^{neurocirúrgicas 5}.

Métodos de aprendizado de máquina são cada vez mais usados para analisar dados clínicos tabulares de alta dimensão, especialmente quando interações complexas e não lineares podem existir entre variáveis heterogêneas. Entre essas abordagens, a arquitetura TabTransformer é bem adequada para entradas tabulares mistas porque pode modelar relações contextuais entre características por meio da autoatenção, preservando flexibilidade tanto para variáveis categóricas quanto^{numéricas 6}. Quando combinados com as SHapley Additives ExPlanations (SHAP), tais modelos também podem fornecer uma descrição interpretável das contribuições das características, permitindo uma avaliação exploratória de como variáveis demográficas, laboratoriais, fisiológicas e relacionadas a medicamentos estão associadas à produção do modelo.

Assim, neste estudo usamos dados MIMIC-IV para desenvolver e avaliar internamente um modelo TabTransformer baseado em atenção para identificação hospitalar da osteoporose em adultos que passaram por procedimentos neurocirúrgicos na coluna durante a internação indexada. Utilizando variáveis demográficas juntamente com características agregadas de medicação, laboratório e sinais vitais em nível de admissão, comparamos o modelo TabTransformer com vários modelos de referência e examinamos as características mais influentes por meio de interpretação baseada em SHAP. Como tanto preditores quanto desfechos foram definidos dentro da mesma hospitalização, essa análise representa um quadro de classificação hospitalar concorrente, em vez de um modelo de previsão de risco futuro temporalmente explícito. Portanto, este trabalho se destina a ser uma análise exploratória internamente validada em uma coorte retrospectiva de UTI de centro único.

Protocolo

Fonte dos dados
Este estudo foi uma análise retrospectiva baseada no banco de dados Medical Information Mart for Intensive CARE IV (MIMIC-IV, versão 3.1), um banco de dados público de cuidados críticos hospedado no PhysioNet (https://physionet.org/content/mimiciv/3.1/). O banco de dados foi desenvolvido por meio de uma colaboração entre o Laboratório de Fisiologia Computacional do Instituto de Tecnologia de Massachusetts, o Beth Israel Deaconess Medical Center e a Philips, e contém dados clínicos abrangentes e desidentificados, incluindo informações demográficas, sinais vitais, medições laboratoriais e registros de medicação.

Todos os dados dos pacientes no MIMIC-IV foram totalmente desidentificados de acordo com a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA), e, portanto, este estudo não exigiu aprovação do conselho de revisão institucional (IRB). O uso do banco de dados é regido por um acordo de uso de dados (DUA), e o acesso é concedido apenas a usuários autorizados que tenham concluído o treinamento e a certificação necessários. Os autores completaram o treinamento necessário, obtiveram credenciais de acesso (usuário credenciado pela PhysioNet) e conduziram este estudo em conformidade com todas as regulamentações relevantes de uso de dados.

Estudo da população e extração de dados
Pacientes adultos (≥18 anos) que passaram por procedimentos neurocirúrgicos da coluna foram identificados a partir do banco de dados MIMIC-IV usando códigos de CID relacionados ao procedimento. Procedimentos neurocirúrgicos da coluna foram definidos como códigos CID-9 começando com 03 (operações na medula espinhal e canal espinhal) e códigos CID-10 começando com 00B, 00H, 00J, 00N, 00P, 00Q, 00R, 00S, 00T ou 00U (procedimentos relacionados à medula espinhal). Para pacientes com múltiplas internações hospitalares, apenas a primeira internação contendo um procedimento qualificante foi mantida para evitar medições repetidas pelo mesmo indivíduo.

A variável de resultado, osteoporose, foi definida com base nos códigos CID-9 começando com 733 e nos códigos CID-10 começando com M80, M81 ou M82 registrados durante a admissão indexada. Como tanto os preditores quanto o desfecho foram derivados da mesma hospitalização, a tarefa analítica deste estudo foi enquadrada como classificação hospitalar, e não como previsão de risco prospectiva.

Um total de 10.803 pacientes atendeu aos critérios de inclusão. Após a divisão estratificada, o conjunto de dados foi dividido em um conjunto de treinamento (n = 7.561), um conjunto de validação (n = 1.621) e um conjunto de teste (n = 1.621). A distribuição de classes era altamente desequilibrada em todas as partições. No conjunto de treinamento, 499 pacientes (6,60%) eram osteoporose positivas e 7.062 (93,40%) eram osteoporose negativas. No conjunto de validação, 107 pacientes (6,60%) foram positivos e 1.514 (93,40%) foram negativos. O conjunto de testes apresentou a mesma distribuição, com 107 casos positivos (6,60%) e 1.514 negativos (93,40%).

Os dados clínicos foram extraídos usando software de gerenciamento de banco de dados relacional do MIMIC-IV. As variáveis extraídas incluíram características demográficas (por exemplo, idade e sexo), medições laboratoriais, sinais vitais e registros de medicação. Para cada paciente, os dados da admissão índice foram usados para a construção subsequente das características.

Para garantir uma avaliação válida do modelo, o conjunto de dados foi primeiro dividido em conjuntos de treinamento, validação e teste usando amostragem estratificada (70%, 15% e 15%)^3,7. Todas as etapas subsequentes de pré-processamento que poderiam introduzir viés, incluindo seleção de características e reamostragem, foram realizadas exclusivamente dentro do conjunto de treinamento. O desequilíbrio de classes no conjunto de treinamento foi corrigido usando uma combinação de amostragem reduzida da classe majoritária e Técnica de Superamostragem Sintética de Minorias (SMOTE), enquanto os conjuntos de validação e teste mantiveram a distribuição original de classes para refletir a prevalência do mundo real.

Engenharia de características
Um pipeline de engenharia de características em múltiplos estágios foi implementado para melhorar o desempenho do modelo mantendo a interpretabilidade. Para cada paciente, registros de medicamentos, laboratório e sinais vitais da admissão índice foram agregados em características de nível sumário (por exemplo, valores médios para medições repetidas e exposição média para medicamentos).

Para reduzir a escassez de características, grupos candidatos de características com valores faltantes de mais de 30% foram excluídos. Para evitar vazamento de dados, essa etapa de filtragem era realizada exclusivamente usando o conjunto de treinamento, e o mesmo conjunto de recursos era então aplicado aos conjuntos de validação e teste.

Posteriormente, foi realizada triagem de características univariadas no nível do grupo de características usando o teste Mann–Whitney U para comparar distribuições entre pacientes positivos e negativos para osteoporose. Os grupos de características foram classificados de acordo com a significância estatística, e os k grupos top-k (k = 20) foram mantidos para modelagem posterior. Esse procedimento de seleção também foi realizado exclusivamente dentro do conjunto de treinamento para evitar vazamento de informações.

Dado o grau relativamente alto de ausência entre grupos de características candidatas, o papel principal dessa etapa de seleção top-k era filtrar características com sinais estatísticos fracos, em vez de otimizar estritamente a dimensionalidade das características. Na prática, o desempenho do modelo não foi altamente sensível ao valor exato de k dentro de uma faixa razoável, sugerindo que essa etapa serviu principalmente como um procedimento de triagem orientado para robustez para excluir características pouco informativas, preservando sinais clinicamente relevantes.

Características demográficas básicas foram mantidas em todos os modelos. Valores ausentes nessas variáveis demográficas foram imputados usando o valor médio calculado a partir do conjunto de treinamento. A imputação de média foi escolhida por sua simplicidade e estabilidade nesse grande conjunto de dados, embora possa reduzir a variância e introduzir viés; Essa limitação é reconhecida.

Para características selecionadas de medicação, laboratório e sinais vitais, a ausência de medição ou exposição registrada foi codificada como zero para permitir uma entrada numérica consistente para o treinamento do modelo. Reconhecemos que essa abordagem pode confundir valores verdadeiros de zero com ausência ou não exposição, especialmente para variáveis onde zero não é fisiologicamente significativo. No entanto, essa estratégia de codificação foi aplicada de forma consistente em todas as amostras e seguida pela padronização Z-score, que mitiga a distorção relacionada à escala. O impacto potencial dessa suposição é discutido como uma limitação.

Todas as características numéricas foram padronizadas usando normalização Z-score baseada na média e desvio padrão estimados do conjunto de treinamento:

z = (x — μ)/σ

Onde x representa o valor bruto da característica, e μ e σ denotam a média e o desvio padrão calculados do conjunto de treinamento. Variáveis categóricas foram codificadas numericamente para atender aos requisitos de entrada dos modelos de aprendizado profundo.

Essa estratégia de engenharia de características permitiu a redução sistemática da dimensionalidade enquanto preservava domínios clinicamente relevantes, incluindo demografia, função renal, índices hematológicos, marcadores inflamatórios e parâmetros metabólicos. Características detalhadas da linha de base da população do estudo nos conjuntos de treinamento, validação e teste são apresentadas na Tabela 1.

Características	Total	Conjunto de treinamento	Conjunto de validação	Conjunto de testes	Valor P
	(n=5238)	(n=1996)	(n=1621)	(n=1621)
Gênero					<0,001
Masculino	2477 (47.29%)	834 (41.78%)	797 (49.17%)	846 (52.19%)
Feminino	2761 (52.71%)	1162 (58.22%)	824 (50.83%)	775 (47.81%)
Idade	60.69 (48.29, 70.61)	63.45 (52.00, 72.41)	58.00 (46.00, 69.00)	60.00 (46.00, 70.00)	<0,001
Altura	165.23 (160.79, 171.21)	164.25(161.41, 172.23)	166.32 (161.85, 171.22)	165.22 (161.31, 169.89)	<0,001
Peso	72.01 (56.77, 82.46)	75.45 (63.22, 81.45)	70.55 (60.22, 79.33)	73.62 (65.22, 81.88)	<0,001
Senna	1.00 (-0.73, 8.60)	1.00 (-0.30, 8.60)	1.00 (-1.00, 8.60)	1.00 (-1.00, 8.60)	<0,001
Docusato de sódio	100.00 (100.00, 100.00)	100.00 (100.00, 100.00)	100.00 (100.00, 100.00)	100.00 (100.00, 100.00)	0.001
Heparina	5000.00 (1655.28, 5000.00)	5000.00 (-1.00, 5000.00)	5000.00 (1600.00, 5000.00)	5000.00 (3750.00, 5000.00)	0.292
Cloreto de sódio com 0,9% de lavagem	3.00 (1.76, 3.00)	3.00 (3.00, 3.00)	3.00 (-1.00, 3.00)	3.00 (3.00, 3.00)	<0,001
Glóbulos Vermelhos	3.96 (3.51, 4.35)	3.90 (3.49, 4.28)	4.02 (3.53, 4.40)	3.97 (3.50, 4.38)	<0,001
Hemoglobina	11.81 (10.51, 13.02)	11.66 (10.47, 12.82)	11.91 (10.58, 13.14)	11.90 (10.49, 13.15)	<0,001
RDW	13.98 (13.22, 15.15)	14.12 (13.35, 15.24)	13.90 (13.10, 15.06)	13.90 (13.18, 15.13)	<0,001
Hematócrito	35.67 (31.95, 39.00)	35.32 (31.63, 38.50)	36.00 (32.28, 39.37)	35.77 (32.01, 39.25)	<0,001
Gravidade Específica	1.01 (1.01, 1.02)	1.01 (1.01, 1.02)	1.01 (1.01, 1.02)	1.01 (1.01, 1.02)	<0,001
Bicarbonato	25.72 (24.04, 27.15)	25.86 (24.17, 27.27)	25.65 (23.92, 27.03)	25.62 (24.00, 27.12)	<0,001
Neutrófilos	68.67 (60.52, 76.23)	69.41 (61.90, 76.52)	68.10 (59.60, 75.88)	68.34 (59.75, 76.23)	<0,001
Creatinina	0.82 (0.68, 1.02)	0.81 (0.68, 1.00)	0.83 (0.69, 1.02)	0.83 (0.68, 1.03)	<0,001
Fosfato	3.29 (2.92, 3.64)	3.27 (2.93, 3.57)	3.30 (2.93, 3.69)	3.30 (2.90, 3.65)	0.002
Nitrogênio de ureia	15.43 (12.08, 20.18)	15.74 (12.50, 20.20)	15.00 (11.64, 19.89)	15.48 (12.00, 20.43)	<0,001
Linfócitos	19.12 (12.22, 26.15)	18.81 (12.49, 25.30)	19.36 (12.40, 27.07)	19.24 (11.72, 26.27)	0.001
Aminotransferase Alanina (ALT)	20.49 (10.84, 32.82)	20.47 (11.67, 32.06)	20.00 (10.00, 32.93)	21.00 (10.67, 33.67)	0.3283
MCV	90.90 (87.50, 94.32)	91.03 (87.64, 94.51)	90.64 (87.43, 94.00)	91.00 (87.40, 94.40)	<0,001
MCHC	33.14 (32.37, 33.92)	33.11 (32.37, 33.88)	33.16 (32.38, 33.97)	33.16 (32.35, 33.93)	<0,001
Basófilos	0.42 (0.27, 0.61)	0.41 (0.27, 0.59)	0.45 (0.29, 0.63)	0.41 (0.26, 0.60)	0.037

Tabela 1. Características de base da população do estudo estratificadas por conjuntos de treinamento, validação e teste.

Arquitetura do modelo
Para modelar relações complexas entre características clínicas tabulares heterogêneas, empregamos uma arquitetura baseada em TabTransformer implementada usando o framework^{PyTorch 6}. O modelo foi projetado para processar tanto variáveis categóricas quanto numéricas e capturar interações contextuais entre características por meio de um mecanismo de autoatenção.

Representação de entrada
As variáveis categóricas foram primeiro transformadas em embeddings densos. Cada característica categórica foi mapeada para um vetor de imersão de dimensão d(embedding_dim = 256). As características numéricas foram padronizadas usando normalização Z-score e então projetadas no mesmo espaço de incorporação por meio de uma camada de transformação linear, permitindo o processamento conjunto com características categóricas.

Os vetores de características embutidos foram concatenados para formar uma sequência de tokens:

X = [x_{1,x 2},... x_n]

onde cada x_i ∈ R^d representa uma característica embutida.

Codificador de transformador
As incorporações de características concatenadas foram passadas por uma pilha de camadas de codificadores Transformer (num_layers = 3). Cada camada consistia em autoatenção multi-cabeça seguida por uma rede de avanço por posição.

O mecanismo de autoatenção multi-cabeça é definido como:

—> Atenção(Q,K,V) = softmax V

Onde Q, K e V denotam matrizes de consulta, chave e valor. Múltiplas cabeças de atenção (num_heads = 8) foram usadas para capturar diversas interações de características.

Cada bloco de transformador incluía autoatenção multi-cabeça, conexão residual e normalização de camadas, rede feed-forward, dropout (taxa = 0,243).

Agregação e classificação de características
A saída da camada final do Transformer era achatada e passada por um perceptron multicamada (MLP) para classificação. O MLP consistia em uma ou mais camadas totalmente conectadas com funções de ativação não lineares.

A camada final de saída utilizava uma função de ativação sigmoide para produzir a probabilidade prevista de osteoporose:

—> = σ(z)

Onde z é a saída logit.

Função de perda e estratégia de treinamento
O modelo foi treinado usando perda binária de entropia cruzada:

—> L = −(1/N) Σ [ y_i log(ŷ_i) + (1 − y_i) log(1 − ŷ_i) ]

Onde y_i denota o rótulo verdadeiro e _i a probabilidade prevista.

O modelo foi otimizado usando o otimizador Adam (taxa de aprendizado = 1,9e-4, tamanho do lote = 64) para 100 épocas. A parada precoce foi aplicada com base no desempenho de validação (paciência = 15) para evitar o excesso de ajuste. Para apoiar a reprodutibilidade, todos os procedimentos experimentais foram realizados usando uma semente aleatória constante (semente = 42).

Interpretabilidade do modelo
Para melhorar a interpretabilidade, as Explicações Aditivas SHapley (SHAP) foram aplicadas ao modelo treinado. Os valores do SHAP foram calculados no conjunto de teste para quantificar a contribuição de cada característica para o resultado previsto, permitindo interpretação tanto global quanto individual do comportamento do modelo.

Como ilustrado na Figura 1, o fluxo de trabalho resume o processo desde o pré-processamento de dados do MIMIC-IV até a construção e classificação do modelo. A arquitetura TabTransformer captura interações entre características tabulares heterogêneas por meio da autoatenção, enquanto a visualização baseada em SHAP fornece insights interpretáveis sobre as contribuições das características. Esse quadro possibilita uma análise internamente validada dos padrões relacionados à osteoporose em uma coorte neurocirúrgica da coluna heterogênea.

Figura 1. Estude o fluxo de trabalho e a arquitetura do modelo. Esta figura ilustra o desenho geral do estudo, incluindo seleção de coortes, pré-processamento de dados, engenharia de características, divisão de conjuntos de dados e desenvolvimento de modelos. Também resume a arquitetura TabTransformer usada para classificação, incluindo embedding de características, camadas de codificadores Transformer e saída final de classificação. Apenas a primeira admissão qualificada por paciente foi incluída. Por favor, clique aqui para ver uma versão ampliada desta figura.

Resultados

Comparação de desempenho de modelos
Comparamos o modelo proposto do TabTransformer com três modelos de referência (XGBoost, LSTM com atenção e Redes Convolucionais Temporais [TCN]) no conjunto de teste estendido. Como mostrado na Figura 2, o TabTransformer alcançou o maior desempenho discriminativo com um AUC de 0,953 (IC 95%: 0,924–0,977), seguido por TCN (AUC = 0,937, IC 95%: 0,903–0,967), XGBoost (AUC = 0,857, IC 95%: 0,821–0,890) e LS...

Discussão

Neste estudo, desenvolvemos um modelo TabTransformer baseado em atenção para classificação hospitalar da osteoporose em adultos submetidos a procedimentos neurocirúrgicos na coluna e usamos SHapley Additives ExPlanations (SHAP) para explorar as principais variáveis que impulsionam a saída do modelo (Figuras 5 e Figura 6). Os resultados do SHAP sugerem que a idade foi o principal contribuidor, seguida por sinais recorrentes de ma...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Adam optimizer	PyTorch	Incluído no PyTorch	Usado para treinamento do TabTransformer
Jupyter Notebook	Project Jupyter	Versão mais recente disponível	Usado para desenvolvimento de modelos e fluxo de trabalho de análise
MIMIC-IV database	PhysioNet	versão 3.1; https://physionet.org/content/mimiciv/3.1/	Banco de dados público de cuidados críticos, com dados desidentificados
Python	Python Software Foundation	Versão mais recente disponível	Ambiente de programação principal
PyTorch	PyTorch Foundation	Versão mais recente disponível	Framework de aprendizado profundo usado para implementar o TabTransformer
Software de gerenciamento de banco de dados relacional	Navicat	versão 17.0; https://www.navicat.com.cn/	Usado para extração de dados do MIMIC-IV
scikit-learn	desenvolvedores do scikit-learn	Versão mais recente disponível	Usado para pré-processamento, divisão de dados e modelos de linha de base
SHAP	desenvolvedores do SHAP	Versão mais recente disponível	Usado para análise de interpretabilidade do modelo
SMOTE	imbalanced-learn	Versão mais recente disponível	Usado para oversampling de classe minoritária no conjunto de treinamento
XGBoost	desenvolvedores do XGBoost	Versão mais recente disponível	Modelo de comparação de linha de base