内镜下和组织学缓解（ER、HR）是溃疡性结肠炎（UC）的治疗靶点。虚拟染色内镜（VCE）改进了内镜评估和组织学预测；然而，观察者间的变异性限制了标准化的内镜评估。我们的目的是开发一种人工智能（AI）工具来区分ER/活动，并从白光内镜检查（WLE）和VCE视频中预测组织学结果和风险。

溃疡性结肠炎（UC）是一种慢性免疫介导疾病，其特征是活动和缓解。在过去的十年里，UC的治疗目标发生了演变，从临床到更客观的结果测量。第一个STRIDE共识确立了内镜缓解（ER）对维持长期临床缓解的重要性，更新的STRIDE II引入了组织学缓解（HR）的概念作为一种有用的辅助措施。支持这些建议的证据来自于更深的粘膜愈合和改善的临床结果之间的一致关联。

利用283例患者的1090个内镜视频（67 280帧）建立卷积神经网络（CNN）。专家使用溃疡性结肠炎内镜严重程度指数（UCEIS）和帕丁顿国际虚拟色细胞核内镜扫描（PICaSSO）对UC内镜活动进行分级。CNN被训练区分内镜视频上的ER/活动，再训练预测根据多个指标定义，并预测结果；测量CNN和人类的一致性。

患者在2016年9月至2019年11月期间从11个国际中心招募。纳入标准是UC超过1年的既定诊断和内镜评估的指征，无论疾病活动如何。对记录进行编辑，将WLE和VCE中的部分分成两个不同的片段，并由PICaSSO研究人员组的经验丰富的内镜师进行注释和评分[9]。在HD-WLE视频中，根据UCEIS评估内镜活动，ER被定义为UCEIS≤1[5]，而VCE视频由PICaSSO评估，ER被定义为PICaSSO≤3[9]。此外，根据相关内镜发现的可见性和清晰度，每个视频剪辑被分为高质量和低质量（LQ）。最后，编辑后的视频被分成三组，用于训练（n=484）、验证（n=120）和测试（n=486）WLE和VCE系统，以预测ER和HR（图1）。

图1. 人工智能（AI）系统的开发首先编辑所有内镜检查，将白光内镜（WLE）和虚拟色内镜（VCE）分开，然后根据UCEIS AICaSSO，并预测NHI指数、RHI指数和PICaSSO指数（PHRI）定义的组织学缓解，以及未来的结果。

使用HD-WLE和VCE视频剪辑开发了一个用于分析内镜视频并组成患者范围内炎症概率的人工智能系统。该架构的特点总结在图2中。简而言之，该系统基于使用ResNet-50深度残余卷积神经网络（CNN）的迁移学习方法；该网络在从视频中提取的所有帧上进行训练，这些帧被标记为包含与PICaSSO>3或UCEIS>1相对应的任何内镜活动迹象。当应用于内镜视频时，该网络在获取时分析每一帧，并在视频获取期间组成帧分数，以提供患者范围的评估。为了评估组织学活动并预测临床结果，使用与新的基本事实相关的相同视频重新训练相同的模型：根据病理学家阅读的组织学分数，以及随访记录的临床事件的发生（图2；视频1）。

图2. 在人工智能（AI）架构中，训练预先训练的ResNet50复杂神经网络分类器在视频帧上检测愈合或活动炎症，训练两个独立的网络根据UCEIS和PICaSSO分别从高清白光内镜（HD-WLE）和虚拟色内镜（VCE）视频帧中检测内镜缓解/活动。例子显示了HD-WLE和VCE图像的特征，用于训练模型，以及AI输出的例子。

视频1. 人工智能（AI）系统在高清晰度白光内镜（HD-WLE）和虚拟彩色内镜（VCE）视频上检测内镜缓解或活动的例子。所有人工智能输出都实时提供。

AI系统在WLE视频中检测ER（UCEIS≤1），灵敏度为72%，特异性为87%，AUROC为0.85；在VCE视频中检测ER（PICaSSO≤3），灵敏度为79%，特异性为95%，AUROC为0.94。WLE和VCE视频对HR的预测相似（准确率在80%至85%之间）。该模型对风险的分层与医生评估的内镜评分相似。

研究对象的人口统计学特征见表 1。简而言之，我们共纳入283名患者，平均年龄为48.2岁（标清14.8）。根据活检位置和组织学评分的不同，约三分之二的患者为HR患者。

在测试集中，系统在VCE视频中检测到内镜缓解/活性（PICaSSO≤3或>3），灵敏度为79%（95%CI 63%-90%），特异性为95%（95%CI 91%-98%），PPV为77%（95%CI 64%-86%），NPV为96%（95%CI 92%-97%），准确率为92%（95%CI 88%-95%），AUROC为0.94（95%CI 0.91-0.97）（表2）。当将分析限制在高质量视频时，灵敏度提高到86%（95%CI 68%-95%），其余指标略有改善。

表1. 纳入研究的283名患者的人口统计学和特征。

表2. 使用PICaSSO（≤3或> 3）预测虚拟色内镜（VCE）和使用UCEIS（≤1或> 1）预测高清晰度白光内镜（HD-WLE）的内镜愈合的诊断性能。

我们的CAD系统分析了来自VCE的相同视频，能够预测HR，根据RHI、NHI和PHRI定义，准确率分别为83%（95%CI 78%-88%）、81%（95%CI 75%-86%）和83%（95%CI 78%-88%），具体取决于所使用的分数，对于相同的分析，AUROCs为0.83（95%CI 0.75-0.90）、0.81（95%CI 0.74-0.88）和0.81（95%CI 0.73-0.88）。无论HR的定义如何，当仅限于高质量视频时，准确率提高了2%-3%（表3）。

表3. 在测试队列中，不同评分在使用虚拟色内镜（VCE）预测组织学愈合方面的诊断表现。

在纳入研究的283名患者中，232名患者完成了12个月的随访。其中，87人出现一种或多种预先指定的不良临床结果（UC相关住院、结肠切除术和复发导致的UC治疗改变）。图3根据人类内镜师评估的PICaSSO（图3c）和人工智能系统（图3d），显示了人类内镜师与活动患者结局风险的强关联（HR 4.59,95%CI 1.88-11.2）；人工智能评估的内镜活动与相同的结果类似相关（HR 4.05,95%CI 1.71-9.57）。根据UCEISHD-WLE对缓解/活动进行分类获得的相同分析产生了较低的危险比（人类病理学家为3.64,95%CI 1.66-8.0；人工智能评估内镜检查为2.86,95%CI 1.37-5.97）（图3a，b）。

图3. 两组患者的Kaplan-Meier生存曲线（内镜下缓解和活动）来评估的累积风险发生任何指定的不良临床结果（手术、住院、药物改变或优化）12个月内的内镜评分预测： a，c内镜医生；b，d人工智能（AI）模型。

我们的系统准确地区分了结肠镜视频中的ER/活性和预测的HR和临床结果。这是第一个使用PICaSSO检测VCE炎症/愈合的计算机模型，也是第一个提供内镜、组织学和临床评估的计算机工具。

这项研究旨在开发一个人工智能(AI)系统,用于检测溃疡性结肠炎(UC)患者的内镜和组织学缓解,并预测临床结果。研究人员使用卷积神经网络(CNN)分析了283名患者的白光内镜(WLE)和虚拟染色内镜(VCE)视频。AI系统能够准确检测WLE和VCE视频中的内镜缓解(ER),具有高灵敏度和特异性。与医生评估的内镜评分相比,它在预测组织学缓解(HR)和疾病复发风险方面也表现出类似的准确性。这是第一个开发用于使用PICaSSO评分检测VCE上炎症和愈合的计算机模型,也是第一个提供综合内镜、组织学和临床评估的模型。

• 该研究开发了一个使用卷积神经网络的AI系统，用于分析内镜视频并评估溃疡性结肠炎的疾病活动。

• 该AI系统能够准确检测白光内镜(WLE)和虚拟染色内镜(VCE)视频中的内镜缓解(ER)。

• 该AI系统还能准确预测组织学缓解(HR)和疾病复发的风险，与医生评估的内镜评分相似。

• 这是第一个用于检测使用PICaSSO评分的VCE上的炎症和愈合的计算机模型，也是第一个提供综合内镜、组织学和临床评估的模型。