在临床预测模型的建立过程中，变量筛选和模型构建只是前期准备的一部分。而模型的真正价值和可靠性，则需要通过严格的评价来确保。在这一关键的第三步，我们将深入探讨如何有效地评估临床预测模型的性能。这不仅涉及模型的准确性和可靠性，还包括对其稳健性和适用性的全面考量。通过深入分析模型的评价结果，我们将为临床实践提供更为可靠的指导。
校准图calibrate及Hosmer-Lemeshow检验
校准曲线（Calibration Curve）：
校准曲线用于评估预测模型的预测性能。它显示了观察到的事件发生率与模型预测的概率之间的关系。通常，这个曲线是通过将数据集分成几个子组（例如，根据预测概率分组），并计算每个子组中观察到的事件率与模型预测的平均概率之间的关系来绘制的。
理想情况下，校准曲线应该与理想的45度对角线相匹配，这意味着模型的预测概率与实际观察到的概率完全一致。如果校准曲线偏离对角线，说明模型在某些预测概率下的校准性能较差。
Hosmer-Lemeshow检验：
Hosmer-Lemeshow检验是一种常用的统计检验，用于评估二分类模型的校准性能。该检验基于将观察值分组，并比较每个组中观察到的事件率与模型预测的事件率之间的差异。
Hosmer-Lemeshow检验的基本思想是比较观察到的事件率与预期的事件率之间的差异是否显著。如果差异显著，则表明模型的校准性能可能不佳，即模型的预测概率与实际观察到的概率之间存在系统性偏差。
总的来说，校准曲线和Hosmer-Lemeshow检验都是用来评估模型的校准性能的工具。校准性能好的模型会有校准曲线接近45度对角线，并且Hosmer-Lemeshow检验的p值较大，表明观察到的事件率与模型预测的事件率之间没有显著差异。
混淆矩阵（Confusion Matrix）是评估二分类问题模型性能的一种表格形式的工具，通常用于临床预测模型的评估。混淆矩阵将模型的预测结果与实际结果进行对比，从而提供了对模型性能的详细了解。
决策曲线分析（Decision Curve Analysis，DCA）是一种用于评估预测模型在临床决策中的实用性和效用的方法。DCA基于患者的真实假设和决策制定者的偏好，通过比较不同预测模型或治疗策略的净效用来帮助决策者做出最佳决策。净效用是指通过采用某种预测模型或治疗策略而获得的效用减去避免不良结果所带来的成本。在DCA中，净效用曲线显示了在不同决策阈值下，采用预测模型所能获得的净效用。通过分析净效用曲线，可以识别出在特定决策阈值下哪种预测模型或治疗策略具有最大的净效用。这有助于决策者在不同决策阈值下权衡风险和收益，并选择最适合实际临床应用的预测模型或治疗策略。
临床影响曲线（ linical Impact Curve）是一种图形工具，用于评估某种预测模型在临床实践中的实际效果。它有助于理解模型的预测结果如何影响患者的临床决策。它显示了在不同决策阈值下，采用预测模型对患者做出积极干预（例如，进行治疗）的患者人数与不采取积极干预的患者人数之间的差异。换句话说，它反映了使用预测模型进行分类时，针对不同风险水平的患者进行干预的潜在收益。临床影响曲线的横轴通常是决策阈值，即对于预测结果的概率阈值，超过该阈值的患者将被分类为积极干预组，而低于该阈值的患者将被分类为不积极干预组。纵轴是积极干预组和不积极干预组之间的人数差异，或者可以表示为绝对风险减少（Absolute Risk Reduction）或相对风险减少（Relative Risk Reduction）等指标。通过该曲线，医生和决策者可以确定在不同决策阈值下采用预测模型进行积极干预的患者比例，以及这种干预对于患者的实际临床结果的潜在影响。这有助于指导临床实践中的决策制定，从而更好地利用预测模型提供的信息来改善患者的预后和治疗效果。
本文谨慎地探讨了临床预测模型评价的各个方面，强调了准确性、可靠性、稳健性和适用性的综合考量。介绍了一系列评价工具和方法，如ROC曲线与AUC、校准图与Hosmer-Lemeshow检验、混淆矩阵、决策曲线分析（DCA）以及临床影响曲线（CIA），这些工具构成了对临床预测模型进行全面评估的框架。
参考文献：
1、 Meng X, Wang N, Yu M, Kong D, Zhang Z, Chang X, Guo Y, Li Y. Development of a nomogram for predicting grade 2 or higher acute hematologic toxicity of cervical cancer after the pelvic bone marrow sparing radiotherapy. Front Public Health. 2022 Sep 9;10:993443. doi: 10.3389/fpubh.2022.993443. PMID: 36159246; PMCID: PMC9501870.
2、 Mu F, Wang M, Zeng X, Wang F. Predicting risk of subsequent pregnancy loss among women with recurrent pregnancy loss: An immunological factor-based multivariable model. Am J Reprod Immunol. 2024 Mar;91(3):e13837. doi: 10.1111/aji.13837. PMID: 38514448.
3、 Li Y, Wu IXY, Wang X, Song J, Chen Q, Zhang W. Immunological parameters of maternal peripheral blood as predictors of future pregnancy outcomes in patients with unexplained recurrent pregnancy loss. Acta Obstet Gynecol Scand. 2024 Mar 21. doi: 10.1111/aogs.14832. Epub ahead of print. PMID: 38511530.
上一篇：运动指数玩出新花样，看看这篇二区文章干了啥？
下一篇：怀孕期间鱼油补充与儿童代谢健康的长期影响：一项随机临床试验的研究
