我们开发并内部评估了一种基于注意力机制的TabTransformer模型，利用常规收集的重症监护医疗信息仓库IV临床数据，对接受脊柱神经外科手术的成年患者进行院内骨质疏松症分类。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
研究文章
基于TabTransformer的成人脊柱神经外科手术患者院内骨质疏松分类
* These authors contributed equally
本文内容
摘要
摘要
本研究旨在利用常规收集的表格化临床数据，开发并进行内部评估一种深度学习模型，用于对接受脊柱神经外科手术的成年患者进行院内骨质疏松症分类。这项回顾性研究使用重症监护医学信息库 IV（Medical Information Mart for Intensive Care IV, MIMIC-IV）数据库，识别接受脊柱神经外科手术的成年患者。骨质疏松症的定义依据索引住院期间记录的 ICD-9/10 诊断代码。模型开发所用变量包括人口学特征、用药记录、实验室检测结果以及同一次住院期间的生命体征数据。在将数据按分层方式划分为训练集、验证集和测试集后，仅对训练集中的类别不平衡问题进行处理。开发了一种基于 TabTransformer 的模型，并与 XGBoost、LSTM_Attention 和时序卷积网络（Temporal Convolutional Networks, TCN）进行比较。采用 SHapley 加性解释（SHapley Additive exPlanations, SHAP）方法评估模型的可解释性。在独立保留的测试集上，TabTransformer 表现出最优的整体性能，其受试者工作特征曲线下面积（AUC）为 0.953，平均精度（AP）为 0.799。TCN、XGBoost 和 LSTM_Attention 对应的数值分别为 0.937/0.707、0.857/0.303 和 0.755/0.179。SHAP 分析识别出年龄、性别、肌酐、红细胞分布宽度、碳酸氢盐、磷酸盐、中性粒细胞以及多个与用药相关的变量是影响模型输出的重要因素。在该单中心回顾性队列研究中，TabTransformer 模型在院内骨质疏松症分类方面表现出较强的区分能力，并通过 SHAP 提供了可解释的特征层面关联。由于预测变量与结局均定义于同一次住院期间，该框架应被视为一种内部验证的探索性分类模型，而非具有明确时间顺序的未来风险预测工具。
引言
骨质疏松症（OP）是一种常见的骨骼疾病，其特征是骨矿物质密度降低和骨组织结构退化，导致骨脆性增加，骨折风险升高1。该病仍然是重要的公共卫生问题，尤其在老年人群和绝经后女性中更为突出2。在接受脊柱神经外科手术的住院患者中，住院期间的活动减少、全身应激反应、药物暴露以及代谢稳态紊乱等因素可能影响骨骼健康。既往关于神经系统疾病和脊髓损伤的研究表明，制动和全身性疾病可导致骨量加速流失3,4，但在这一特定临床背景下，与骨质疏松相关的信号仍缺乏充分表征。
常规收集的电子健康记录数据为研究该人群中的骨质疏松相关模式提供了机会，可利用常规临床诊疗中已有的变量，如人口学特征、用药记录、实验室检查和生命体征。某些与医疗护理相关的变量（例如用药模式）也可能作为功能状态或活动能力的间接替代指标。然而，目前针对接受脊柱神经外科手术的成年患者，使用结构化表格化临床数据的研究仍相对较少。此外，重症监护医疗信息集市数据库第四版（MIMIC-IV）代表的是来自单一三级医疗中心的大规模回顾性重症监护病房队列，而非广泛具有代表性的多中心人群。因此，基于该资源的分析应局限于内部验证和探索性临床建模的范围内进行解读。近年来，机器学习研究通过将生物标志物与临床变量相结合，改进了骨质疏松相关风险建模，但此类工作主要在非神经外科人群中开展5。
机器学习方法正越来越多地用于分析高维表格型临床数据，尤其是在异质变量之间可能存在复杂且非线性相互作用的情况下。在这些方法中，TabTransformer 架构非常适合处理混合类型的表格数据，因为它能够通过自注意力机制建模特征之间的上下文关系，同时保持对分类变量和数值变量的灵活性6。当此类模型与 SHapley Additive exPlanations（SHAP）相结合时，还可以提供对特征贡献的可解释性描述，从而探索性地评估人口统计学、实验室指标、生理参数以及与药物相关变量如何影响模型输出。
因此，在本研究中，我们利用 MIMIC-IV 数据开发并内部评估了一种基于注意力机制的 TabTransformer 模型，用于在住院期间识别接受脊柱神经外科手术的成年患者中的骨质疏松症。通过结合人口统计学变量以及入院层面汇总的药物、实验室检查和生命体征特征，我们将 TabTransformer 模型与多个基线模型进行了比较，并通过基于 SHAP 的解释方法分析了最具影响力的特征。由于预测变量和结局均在同一次住院期间定义，本分析属于一种同步的院内分类框架，而非具有明确时间顺序的未来风险预测模型。因此，本研究旨在作为一个单中心回顾性 ICU 队列中的内部验证、探索性分析。
访问受限。请登录或开始试用以查看此内容。
方案
数据来源
本研究是一项基于重症监护医疗信息集市数据库第四版（MIMIC-IV，版本3.1）的回顾性分析，该数据库是一个公开的重症监护数据库，托管于PhysioNet（https://physionet.org/content/mimiciv/3.1/）。该数据库由麻省理工学院计算生理学实验室、贝斯以色列女执事医疗中心和飞利浦公司合作开发，包含全面的去标识化临床数据，如人口统计学信息、生命体征、实验室检测结果和用药记录。
MIMIC-IV 中的所有患者数据均已根据《健康保险可携性与责任法案》（Health Insurance Portability and Accountability Act, HIPAA）进行了完全去标识化处理，因此本研究无需经过机构审查委员会（IRB）批准。数据库的使用受数据使用协议（DUA）的约束，仅向完成必要培训和认证的授权用户授予访问权限。作者已完成必要的培训并获得访问凭证（PhysioNet 认证用户），并在遵守所有相关数据使用规定的情况下开展本研究。
研究人群与数据提取
通过与手术相关的 ICD 编码，从 MIMIC-IV 数据库中识别接受过脊柱神经外科手术的成年患者（≥18 岁）。脊柱神经外科手术定义为以 03 开头的 ICD-9 编码（脊髓和椎管手术）以及以 00B、00H、00J、00N、00P、00Q、00R、00S、00T 或 00U 开头的 ICD-10 编码（与脊髓相关的手术）。对于多次住院的患者，仅保留首次包含符合条件手术的住院记录，以避免同一患者重复测量。
结局变量骨质疏松症是根据索引住院期间记录的以733开头的ICD-9编码以及以M80、M81或M82开头的ICD-10编码来定义的。由于预测变量和结局均来源于同一次住院，本研究的分析任务被设定为院内分类，而非前瞻性风险预测。
共有10,803名患者符合纳入标准。经过分层划分后，数据集被分为训练集（n = 7,561）、验证集（n = 1,621）和测试集（n = 1,621）。所有数据子集中的类别分布均高度不平衡。在训练集中，499名患者（6.60%）骨质疏松症检测呈阳性，7,062名患者（93.40%）呈阴性。在验证集中，107名患者（6.60%）为阳性，1,514名患者（93.40%）为阴性。测试集的分布相同，其中阳性病例107例（6.60%），阴性病例1,514例（93.40%）。
使用MIMIC-IV的关联数据库管理软件提取临床数据。提取的变量包括人口学特征（如年龄和性别）、实验室检测指标、生命体征以及用药记录。针对每位患者，均采用其索引住院期间的数据进行后续特征构建。
为确保模型评估的有效性，首先采用分层抽样方法将数据集划分为训练集、验证集和测试集（比例分别为70%、15%和15%）3,7。所有可能引入偏差的后续预处理步骤（包括特征选择和重采样）均仅在训练集内进行。训练集中的类别不平衡问题通过多数类下采样与合成少数类过采样技术（SMOTE）相结合的方法予以解决，而验证集和测试集则保留原始的类别分布，以反映真实世界中的类别 prevalence。
特征工程
采用多阶段的特征工程流程，在提升模型性能的同时保持其可解释性。对于每位患者，将索引住院期间的用药、实验室检查和生命体征记录汇总为摘要级别特征（例如，重复测量指标的均值和药物的平均暴露量）。
为了减少特征稀疏性，排除了缺失值超过30%的候选特征组。为了避免数据泄露，此过滤步骤仅使用训练集进行，然后将相同的特征集应用于验证集和测试集。
随后，在特征组水平上使用Mann–Whitney U 检验进行单变量特征筛选，以比较骨质疏松阳性患者与骨质疏松阴性患者之间的分布差异。根据统计学显著性对特征组进行排序，并保留排名前k的组（k = 20）用于后续建模。该筛选过程同样仅在训练集中进行，以防止信息泄露。
鉴于候选特征组中存在相对较高的缺失程度，该 top-k 选择步骤的主要作用是过滤掉统计信号较弱的特征，而非严格优化特征维度。实际上，在合理范围内，模型性能对 k 的具体取值并不敏感，这表明该步骤主要作为一种面向稳健性的筛选程序，用以排除信息量较低的特征，同时保留具有临床相关性的信号。
所有模型均保留了基本的人口统计学特征。这些人口统计学变量中的缺失值通过训练集计算出的均值进行填补。由于该大规模数据集的简单性和稳定性，本研究选择均值填补法，尽管该方法可能降低方差并引入偏差；本文已承认此局限性。
对于选定的药物、实验室检查和生命体征特征，未记录的测量值或暴露情况被编码为零，以提供模型训练所需的统一数值输入。我们承认，这种方法可能将真实的零值与数据缺失或无暴露情况混淆，尤其对于零值在生理学上无意义的变量而言。然而，该编码策略在所有样本中均一致应用，并随后进行Z分数标准化，以减轻量纲差异带来的扭曲。这一假设可能带来的影响已在局限性部分予以讨论。
所有数值特征均使用基于训练集估计的均值和标准差的Z分数标准化方法进行标准化：
z = (x — µ)/σ
其中 x 表示原始特征值，µ 和 σ 表示从训练集中计算得到的均值和标准差。分类变量经过数值编码，以满足深度学习模型的输入要求。
这种特征工程策略能够在保留人口统计学、肾功能、血液学指标、炎症标志物和代谢参数等临床相关领域的同时，系统性地降低数据维度。训练集、验证集和测试集中研究人群的详细基线特征见表1。
| 特征 | 总计 | 训练集 | 验证集 | 测试集 | P 值 |
| (n=5238) | (n=1996) | (n=1621) | (n=1621) | ||
| 性别 | <0.001 | ||||
| 男性 | 2477 (47.29%) | 834 (41.78%) | 797 (49.17%) | 846 (52.19%) | |
| 女性 | 2761 (52.71%) | 1162 (58.22%) | 824 (50.83%) | 775 (47.81%) | |
| 年龄 | 60.69 (48.29, 70.61) | 63.45 (52.00, 72.41) | 58.00 (46.00, 69.00) | 60.00 (46.00, 70.00) | <0.001 |
| 身高 | 165.23 (160.79, 171.21) | 164.25(161.41, 172.23) | 166.32 (161.85, 171.22) | 165.22 (161.31, 169.89) | <0.001 |
| 体重 | 72.01 (56.77, 82.46) | 75.45 (63.22, 81.45) | 70.55 (60.22, 79.33) | 73.62 (65.22, 81.88) | <0.001 |
| Senna | 1.00 (-0.73, 8.60) | 1.00 (-0.30, 8.60) | 1.00 (-1.00, 8.60) | 1.00 (-1.00, 8.60) | <0.001 |
| 多库酯钠 | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 0.001 |
| 肝素 | 5000.00 (1655.28, 5000.00) | 5000.00 (-1.00, 5000.00) | 5000.00 (1600.00, 5000.00) | 5000.00 (3750.00, 5000.00) | 0.292 |
| 0.9% 氯化钠冲洗液 | 3.00 (1.76, 3.00) | 3.00 (3.00, 3.00) | 3.00 (-1.00, 3.00) | 3.00 (3.00, 3.00) | <0.001 |
| 红细胞 | 3.96 (3.51, 4.35) | 3.90 (3.49, 4.28) | 4.02 (3.53, 4.40) | 3.97 (3.50, 4.38) | <0.001 |
| 血红蛋白 | 11.81 (10.51, 13.02) | 11.66 (10.47, 12.82) | 11.91 (10.58, 13.14) | 11.90 (10.49, 13.15) | <0.001 |
| 红细胞分布宽度（RDW） | 13.98 (13.22, 15.15) | 14.12 (13.35, 15.24) | 13.90 (13.10, 15.06) | 13.90 (13.18, 15.13) | <0.001 |
| 血细胞比容 | 35.67 (31.95, 39.00) | 35.32 (31.63, 38.50) | 36.00 (32.28, 39.37) | 35.77 (32.01, 39.25) | <0.001 |
| 比重 | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | <0.001 |
| 碳酸氢盐 | 25.72 (24.04, 27.15) | 25.86 (24.17, 27.27) | 25.65 (23.92, 27.03) | 25.62 (24.00, 27.12) | <0.001 |
| 中性粒细胞 | 68.67 (60.52, 76.23) | 69.41 (61.90, 76.52) | 68.10 (59.60, 75.88) | 68.34 (59.75, 76.23) | <0.001 |
| 肌酐 | 0.82 (0.68, 1.02) | 0.81 (0.68, 1.00) | 0.83 (0.69, 1.02) | 0.83 (0.68, 1.03) | <0.001 |
| 磷酸盐 | 3.29 (2.92, 3.64) | 3.27 (2.93, 3.57) | 3.30 (2.93, 3.69) | 3.30 (2.90, 3.65) | 0.002 |
| 尿素氮 | 15.43 (12.08, 20.18) | 15.74 (12.50, 20.20) | 15.00 (11.64, 19.89) | 15.48 (12.00, 20.43) | <0.001 |
| 淋巴细胞 | 19.12 (12.22, 26.15) | 18.81 (12.49, 25.30) | 19.36 (12.40, 27.07) | 19.24 (11.72, 26.27) | 0.001 |
| 丙氨酸氨基转移酶（ALT） | 20.49 (10.84, 32.82) | 20.47 (11.67, 32.06) | 20.00 (10.00, 32.93) | 21.00 (10.67, 33.67) | 0.3283 |
| 平均红细胞体积（MCV） | 90.90 (87.50, 94.32) | 91.03 (87.64, 94.51) | 90.64 (87.43, 94.00) | 91.00 (87.40, 94.40) | <0.001 |
| 平均红细胞血红蛋白浓度（MCHC） | 33.14 (32.37, 33.92) | 33.11 (32.37, 33.88) | 33.16 (32.38, 33.97) | 33.16 (32.35, 33.93) | <0.001 |
| 嗜碱性粒细胞 | 0.42 (0.27, 0.61) | 0.41 (0.27, 0.59) | 0.45 (0.29, 0.63) | 0.41 (0.26, 0.60) | 0.037 |
表1. 按训练集、验证集和测试集分层的研究人群基线特征。
模型架构
为了建模异质性表格临床特征之间的复杂关系，我们采用基于 TabTransformer 的架构，并使用 PyTorch 框架实现6。该模型旨在处理分类变量和数值变量，并通过自注意力机制捕捉特征之间的上下文交互关系。
输入表示
分类变量首先被转换为密集嵌入。每个分类特征被映射到一个维度为 d（embedding_dim = 256）的嵌入向量。数值特征通过 Z-score 标准化进行标准化处理，然后通过一个线性变换层投影到相同的嵌入空间中，从而实现与分类特征的联合处理。
将嵌入的特征向量连接起来，形成一个令牌序列：
X = [x1,x2,…xn]
其中每个 xi ∈ Rd 表示一个嵌入特征。
Transformer 编码器
拼接后的特征嵌入被输入到一个由多层 Transformer 编码器组成的堆栈中（层数 = 3）。每一层包含多头自注意力机制，后接一个按位置的前馈神经网络。
多头自注意力机制定义如下：
—> 注意力(Q,K,V) = softmax 
V
其中 Q、K 和 V 分别表示查询、键和值矩阵。采用多个注意力头（num_heads = 8）以捕获多样化的特征交互。
每个变换器模块包含多头自注意力机制、残差连接和层归一化、前馈网络以及丢弃层（丢弃率 = 0.243）。
特征聚合与分类
最终 Transformer 层的输出被展平后，通过一个多层感知机（MLP）进行分类。该 MLP 由一个或多个带有非线性激活函数的全连接层组成。
最终输出层采用 S 型激活函数，以生成骨质疏松症的预测概率：
—> 
= σ(z)
其中 z 为 logit 输出。
损失函数与训练策略
模型采用二元交叉熵损失函数进行训练：
—> L = −(1/N) Σ [ yi log(ŷi) + (1 − yi) log(1 − ŷi) ]
其中 yi 表示真实标签，i 表示预测概率。
采用 Adam 优化器（学习率 = 1.9e-4，批量大小 = 64）对模型进行优化，共训练 100 个轮次。根据验证集性能应用早停策略（耐心值 = 15），以防止过拟合。为支持结果可重复性，所有实验过程均使用固定的随机种子（种子 = 42）进行。
模型可解释性
为了提高可解释性，对训练好的模型应用了SHapley加性解释（SHAP）方法。在测试集上计算SHAP值，以量化每个特征对预测结果的贡献，从而实现对模型行为的全局和个体层面的解释。
如图1所示，该工作流程总结了从MIMIC-IV数据预处理到模型构建与分类的全过程。TabTransformer架构通过自注意力机制捕捉异质表格特征之间的相互作用，而基于SHAP的可视化方法则提供了对特征贡献的可解释性洞察。该框架实现了对异质性脊柱神经外科队列中骨质疏松相关模式的内部验证分析。
图1．研究工作流程与模型架构。 本图展示了整体研究设计，包括队列选择、数据预处理、特征工程、数据集划分和模型开发。同时总结了用于分类任务的TabTransformer架构，包括特征嵌入、Transformer编码器层以及最终的分类输出。每位患者仅纳入其首次符合条件的住院记录。请点击此处查看该图的放大版本。
访问受限。请登录或开始试用以查看此内容。
结果
模型性能比较
我们在保留的测试集上将所提出的 TabTransformer 模型与三种基线模型（XGBoost、带注意力机制的 LSTM 和时间卷积网络 [TCN]）进行了比较。如图2所示，TabTransformer 取得了最高的区分性能，AUC 为 0.953（95% CI：0.924–0.977），其次是 TCN（AUC = 0.937，95% CI：0.903–0.967）、XGBoost（AUC = 0.857，95% CI：0.821–0.890）和 LSTM_Attention（AUC = 0.755，95% CI：0.707–0.799）。
精确率-召回率分析如图3所示。TabTransformer取得了最高的平均精确率（AP = 0.799），其次是TCN（AP = 0.707）、XGBoost（AP = 0.303）和LSTM_Attention（AP = 0.179）。虚线基线对应于原始测试集中正类样...
访问受限。请登录或开始试用以查看此内容。
讨论
本研究中，我们开发了一种基于注意力机制的 TabTransformer 模型，用于对接受脊柱神经外科手术的成年患者进行院内骨质疏松症分类，并采用 SHapley 加性解释（SHAP）方法探究驱动模型输出的主要变量（图5 和 图6）。SHAP 分析结果表明，年龄是最重要的贡献因素，其次为肾脏和代谢标志物、血液学指标、部分药物变量以及基本人口学特征的重复信号。这些发现应被理解为在索引住院期间由模型推导出的关联性，而非具有时间验证性的未来风险预测证据或直接因果关系。
图...
访问受限。请登录或开始试用以查看此内容。
披露
作者声明无任何利益冲突。
致谢
作者衷心感谢宿迁市科技引导计划项目（项目编号：Z202342）提供的经费支持。
访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Adam 优化器 | PyTorch | 包含在 PyTorch 中 | 用于 TabTransformer 模型训练 |
| Jupyter Notebook | Project Jupyter | 最新可用版本 | 用于模型开发与分析流程 |
| MIMIC-IV 数据库 | PhysioNet | 版本 3.1；https://physionet.org/content/mimiciv/3.1/ | 公开的去标识重症监护数据库 |
| Python | Python 软件基金会 | 最新可用版本 | 主要编程环境 |
| PyTorch | PyTorch 基金会 | 最新可用版本 | 用于实现 TabTransformer 的深度学习框架 |
| 关系型数据库管理软件 | Navicat | 版本 17.0；https://www.navicat.com.cn/ | 用于从 MIMIC-IV 中提取数据 |
| scikit-learn | scikit-learn 开发团队 | 最新可用版本 | 用于数据预处理、数据集划分和基线模型构建 |
| SHAP | SHAP 开发团队 | 最新可用版本 | 用于模型可解释性分析 |
| SMOTE | imbalanced-learn | 最新可用版本 | 用于训练集中少数类样本的过采样 |
| XGBoost | XGBoost 开发团队 | 最新可用版本 | 作为基线比较模型 |
参考文献
- Rachner, T. D., Khosla, S., Hofbauer, L. C. Osteoporosis: now and the future. Lancet. 377 (9773), 1276-1287 (2011).
- Khosla, S., Hofbauer, L. C. Osteoporosis treatment: recent developments and ongoing challenges. Lancet Diabetes Endocrinol. 5 (11), 898-907 (2017).
- Jiang, S. D., Dai, L. Y., Jiang, L. S. Osteoporosis after spinal cord injury. Osteoporos Int. 17 (2), 180-192 (2006).
- Kivrak, M., et al. The impact of the SMOTE method on machine learning and ensemble learning performance results in addressing class imbalance in data used for predicting total testosterone deficiency in type 2 diabetes patients. Diagnostics (Basel). 14 (23), 2634 (2024).
- Carvalho, F. R., Gavaia, P. J. Enhancing osteoporosis risk prediction using machine learning: a holistic approach integrating biomarkers and clinical data. Comput Biol Med. 192, 110289 (2025).
- Huang, X., Khetan, A., Cvitkovic, M., Karnin, Z. TabTransformer: tabular data modeling using contextual embeddings. arXiv. , (2020).
- Kapila, A., Takkar, A. Neurological disorders, corticosteroids, and fracture risk: hiding in the hindsight!. J Postgrad Med Educ Res. 56 (2), 61-62 (2022).
- Battaglino, R. A., Lazzari, A. A., Garshick, E., Morse, L. R. Spinal cord injury-induced osteoporosis: pathogenesis and emerging therapies. Curr Osteoporos Rep. 10 (4), 278-285 (2012).
- Landi, F., Liperoti, R., Russo, A., Giovannini, S., et al. Sarcopenia as a risk factor for falls in elderly individuals: results from the ilSIRENTE study. Clin Nutr. 31 (5), 652-658 (2012).
- Romagnani, P., et al. Chronic kidney disease. Nat Rev Dis Primers. 11 (1), 8 (2025).
- Liu, S., Liang, R. Synergistic impact of immuno-nutritional and hypoxia-metabolic disturbances on post-stroke epilepsy: a “two-hit” prediction model and web-based risk calculator. Front Nutr. 13, 1759899 (2026).
- Liu, S., Zhou, J. Trends and development of enhanced recovery after surgery programs in cranial and spinal neurosurgery. Neurochirurgie. 71 (5), 101704 (2025).
- Carvalho, F. R., Gavaia, P. J., Brito Camacho, A. OrthoMortPred: predicting one-year mortality following orthopedic hospitalization. Int J Med Inform. 192, 105657 (2024).
- Liu, S., Liang, R. Risk stratification for intracranial infection after high-grade gliomas surgery: a nomogram development and validation study. Front Oncol. 15, 1697966 (2025).
访问受限。请登录或开始试用以查看此内容。