作者：先声诊断

本期《精准前沿》栏目分享纽约大学Joel Saltz研究团队发表于Cell Reports（IF =9.423）上的一篇研究[1]，研究展示了基于 13 种 TCGA 肿瘤类型的 H&E 图像训练卷积神经网络对图像块进行分类后得出的肿瘤浸润淋巴细胞（TIL）的mapping。使用亲和传播聚类揭示了TIL mapping中的局部空间结构与总生存期的相关性，接着，使用标准病理学参数对TIL mapping空间结构进行分类。

研究背景

尽管对人类的研究表明，慢性炎症可以促进肿瘤发生，但宿主免疫系统同样能够通过激活适应性和先天免疫机制来控制肿瘤生长。这种肿瘤内过程通常被统称为免疫编辑，这种选择性压力会导致肿瘤细胞的出现，从而逃脱免疫监视，并最终导致肿瘤进展。 同时，许多观察结果表明，高密度的肿瘤浸润淋巴细胞（TIL）与有利的临床结果相关，例如在多种癌症类型中更长的无病生存期或改善的总生存期 （OS）。

最近的研究进一步表明，就涉及肿瘤中心和/或侵袭性边缘的免疫浸润而言，空间背景的重要性和肿瘤微环境的细胞异质性的性质也与癌症预后相关.。预后因素，尤其是可量化不同肿瘤区域的这种空间 TIL 密度这种免疫评分，具有很高的预后价值，可以显着补充甚至有时甚至取代某些环境中的标准 TNM 分类和分期。鉴于这一点以及免疫疗法在当代癌症治疗中的核心作用，这些对肿瘤相关淋巴细胞的评估在病理学载玻片的临床评估以及对这些淋巴细胞群体作用的转化研究中都变得越来越重要。

使用数字病理学和数字化的全切片诊断组织图像，机器学习和深度学习方法可以创建“计算染色”（computational stain）。这允许识别和量化图像特征以制定超越简单密度（例如，TIL）的高阶关系，以探索淋巴细胞聚集模式的定量评估，以及 TIL 和肿瘤区域之间相互关系的表征。

TILs 和 TILs 的空间表征在诊断和预后环境中显示出重要价值，并且已证明从诊断组织中量化 TILs 的能力要求很高、成本高、难以规模化，并且受到主观性的困扰。对诊断组织的人工审查对于传统诊断非常有效，但是是定性的，因此容易出现观察者之间和观察者内部的差异，特别是在试图量化或可重复特征丰富的现象时，例如肿瘤相关的淋巴细胞浸润。

这项研究代表了使用基于数字病理学的量化的一个重要里程碑，因为该文章能够为大约 5,000 名患有 13 种癌症类型的患者提供与空间和分子肿瘤免疫特征相关的结果。作者提出的空间特征是高分辨率的，在 50 微米分辨率的wsi图像中评估了 TIL 浸润，所有 TIL map都可供科学界进一步探索。FDA 批准将全切片成像用于初级诊断，这导致数字全切片成像得到更广泛的采用。

研究设计

本次研究纳入了4612名患者，共13个癌种，其中女性2655人，男性1957人。TCGA 的目标是描述成人肿瘤的特征；因此，绝大多数参与者都在 18 岁以上。这些患者的详细临床、病理学和分子特征，以及纳入标准和质量控制程序之前已针对每种 TGCA 癌症类型发表过。

研究使用了诊断图像，其中一些来自冷冻组织样本的图像用于分析与分子估计的差异。图像以原始图像格式下载，即 Aperio SVS 文件，并在其中进行了扫描。SVS 文件以多种分辨率存储图像，包括捕获图像数据的最高分辨率；例如，在以 40 倍放大倍率采集的图像中，每个像素约为 0.25 × 0.25 微米。OpenSlide (http://openslide.org/formats/aperio/)被用来为本研究提取最高分辨率的图像数据。在研究中分析了 13 种 TCGA 肿瘤类型的 5455 张诊断载玻片。临床和分子数据从 PanCancer Atlas 联盟的处理和质量控制文件中获得(https://gdc.cancer.gov/about-data/publications/ pancanatlas)。

图1. 研究流程设计

文中使用了一共两个 CNN：淋巴细胞分类 CNN（淋巴细胞 CNN）和坏死分割 CNN（坏死 CNN）。淋巴细胞 CNN 将输入图像的小块分类为有淋巴细胞浸润的和没有淋巴细胞浸润的。它是一个半监督 CNN，由无监督卷积自动编码器 (CAE)为基本框架。坏死 CNN 分割坏死区域，旨在消除坏死区域的假阳性，其中细胞核可能具有与淋巴细胞浸润区域相似的特征。通过将两个CNN的结果以及病理学专家的反馈进行修正以及整合得出病理学图片的TIL map。

图2. 模型训练，开发以及后续TIL map的工作流程

研究使用APcluster 算法对TIL map进行了亲和力传播算法得到了免疫浸润的局部空间结构。通过将定性描述和半定量评分，将免疫浸润的空间结构分为了五类：

a) “不活跃、局灶”表示“非常弱”但存在最低限度的免疫反应，肿瘤区域内存在淋巴细胞但密度低。

b) “不活跃、多灶”表示免疫反应较弱，在肿瘤的几个区域有松散分散的 TIL，面积占肿瘤的5%-30%。

c) “活跃、弥漫”代表淋巴细胞的分布相对密集且分散，淋巴细胞分在至少 30% 的肿瘤区域。

d) “活跃，带状”表现为在淋巴细胞呈带状分布，面积占肿瘤面积不到 30% 的情况。

e) “无浸润型”则代表淋巴细胞存在于少于 1% 的肿瘤区域中。

研究结果

1. 使用卷积神经网络生成肿瘤浸润淋巴细胞图的准确性

使用来自 TCGA 肺腺癌 (LUAD) 病例的一组 WSI，研究团队将自己开发的两个神经网络模型的性能预测与流行且广泛使用的 CNN（称为 VGG16）的性能预测进行比较。淋巴细胞 CNN 的训练集由 20,876个贴片（patch）组成。每个贴片通常包含 0 到 30个细胞核，并由病理学家注释为淋巴细胞浸润或未浸润淋巴细胞。坏死分割 CNN 的训练集由 1800个贴片组成。每个贴片都用由病理学家分割的坏死区域掩码进行注释。本文采样了 2,480个贴片来创建测试数据集。ROC 曲线显示，在 ROC 曲线下面积 (AUROC) 指标方面，作者的方法略优于 VGG16 3.1%。

图3. 淋巴细胞分类器的ROC曲线

作者还通过对 8 × 8 TIL贴片组成的“超级贴片”进行评分，直接比较了模型对超级贴片的评分与经验丰富的病理学家的对超级贴片的评估。三位病理学家评估了 400个超级贴片的 TIL 并分为了三类：淋巴细胞含量低、淋巴细胞含量中等或者淋巴细胞含量高，而通过计算 在超级贴片中TIL 阳性贴片的数量（范围从 0 到 64）得到了模型对超级贴片评估的分数。通过对 100个超级补丁进行重新评分评估，每位病理学家的一致性都很高（> 80%）。

图4. 病理学家和模型对超级贴片的 TIL 分数比较

2. TIL 空间分数的评估和相关性

TIL 的空间分数被定义为 TIL 阳性贴片在组织样本上识别的贴片总数中的分数。在 TCGA 肿瘤类型中可以看到广泛的空间浸润（图 5A），胃癌（STAD）的高浸润率平均为 14.6%，直肠癌（READ）为 13.0%，鳞状细胞肺癌（LUSC)为 11.6%，而葡萄膜黑色素瘤 (UVM) 的估计 TIL 分数仅为 1%，这与其作为阴性对照的包含一致。根据免疫反应的性质对肿瘤进行的分组之间也存在很大差异（图5B）。最具免疫活性的免疫亚型（例如 C1、C2）往往具有最大的淋巴细胞空间浸润。在以肿瘤细胞中的特定分子变化为特征的TCGA 亚型中也可以看到明显的差异。EBV 阳性胃癌特别富含 TIL，平均25% 的空间区域被 TIL 浸润（图 5C）。肺鳞状细胞分泌亚型也特别富含浸润（17%，图 5D），子宫内膜癌的富含突变的 POLE 亚型也是如此。在乳腺癌肿瘤中，基底亚型具有最大的浸润（图 5E），与其他研究中观察到的一致。总之，这些数据表明浸润的性质与肿瘤微环境的各个方面有很强的联系，并且浸润的性质可能反映了肿瘤细胞的特定分子畸变状态。

图5. 肿瘤分类的 TIL 分数

将 TIL 的空间分数与来自分子基因组学分析的 TIL 含量的分子估计值进行比较。TIL 部分的分子估计值是通过将基于 DNA 甲基化阵列的总白细胞部分的估计值与通过将 CIBERSORT 应用于 RNA 测序数据获得的免疫室内淋巴细胞比例的估计值相乘而获得的。在成像和分子估计之间可以看到一致性（图 6A），Spearman 相关值大部分在 0.20 到 0.45 之间，并伴有高度显着的 p 值，而 UVM 是阴性对照，显示没有相关性。分子估计值和空间 TIL 分数之间存在差异的原因包括：(1) 从用于生成诊断 H&E 图像的福尔马林固定石蜡包埋 (FFPE) 样本附近的新鲜冷冻组织切片中提取分子数据，但确切的空间关系是未知的；(2)分子估计与淋巴细胞数量成正比，而TILs的空间分数由组织面积估计；(3) 空间分析和 TIL 分数是对淋巴细胞浸润组织的评估，也可以包括诊断载玻片上的非肿瘤区域；(4) 以肿瘤高度富集的冷冻切片获得分子定量作为项目纳入标准。研究团队进一步检查了异常病例（见图 6B 和 6C），这些病例在分子和空间图像衍生的 TIL 估计数之间存在高度不一致，包括 BRCA、SKCM、LUAD、LUSC、STAD 和 READ。作者确定非肿瘤区域的空间 TIL 似乎起着主要的解释作用。未来的努力将包括尝试通过手动负掩蔽和/或基于 CNN 的肿瘤识别自动化来排除这些区域，以减少来自肿瘤高度富集的样本的分子估计与源自的空间 TIL 估计之间的不一致。诊断 H&E 图像。

图6. WSI病理切片和分子估计的 TIL 比例比较

3. 自动评估 TIL 浸润中的局部结构以及与分子和临床读数的关联

成像数据的一个独特特征是能够超越总淋巴细胞浸润负荷来评估淋巴细胞浸润模式。为了识别这种模式，研究团队首先使用亲和力传播来寻找 TIL 图像块的空间连接和相干区域（簇）。图 7A-5D 中显示了 H&E 图像、TIL 图和聚类的示例，其中选定的病例示例了稀疏和密集的淋巴细胞浸润。对于每张WSI病理切片，不仅使用简单计数和范围统计的度量来表征生成的聚类模式，而且使用了聚类指数（clustering indices）来评估更复杂的特征，例如聚类形状。

图7. TIL map结构模式示例

文章包括聚类数量 Ncluster、聚类 NP 中 TIL贴片的平均数、聚类簇内分散 WCD 的平均值以及聚类空间范围 CE 的平均值（参见图 8） . 就给定聚类中心的 TIL 贴片距离而言，离散度与其方差有关，而空间范围类似于最大距离。在整个队列中，Ncluster 的范围从 2 到 46（4,480 例，不包括非肿瘤切片），中位数为 12，平均集群成员为 293 TIL 补丁。研究作者计算了 Ball -Hall指数、Banfield-Raftery指数 、C 聚类指数和行列式比率指数（determinant ratio index）。Ball-Hall 指数是通过所有簇的离散度平均值，相当于簇中点相对于其中心的平方距离的平均值。在研究队列中，Ball-Hall 指数与平均聚类范围 CE 相关（ρSpearman = 0.95）。Banfield-Raftery 指数是平均聚类离散度的对数的加权和，在研究地列中与 Ncluster 相关（ρSpearman = 0.95）。研究团队发现了几个不同分数之间的相似性（图 S4A），包括一些聚类指数的总体趋势与更简单的度量，如 Ncluster 和 TIL 分数。C 指数是从成对距离推导出来的，并且不随任何度量进行缩放。图 7A-7D 中描述的案例的这些分数值如图8所示。聚类指数在wsi病理切片上差异很大，如图 9 中 Ball-Hall 指数所示。该指数值相对较高的肿瘤，如 BRCA 和 PRAD，不属于总浸润率最高的肿瘤（图 5A）。由于 Ball-Hall 指数与集群范围大致成比例，这意味着在这些肿瘤类型中的一些中度浸润肿块中，形成了空间范围相对较大的 TIL 集群。总之，这意味着在某些肿瘤类型中，与其他肿瘤类型相比，TIL 的局部聚集可能是比整体 TIL 浸润更显着的特征。

图8. 图7所示的WSI对应的度量标准展示

图9.各个癌种中的Ball-Hall 指数分析

4. 局部 TIL 空间结构与生存的相关性

研究团队验证了 TIL 分数可能影响总体生存的程度，以及肿瘤微环境的空间特征（超出总体密度）可能提供额外的结果预测能力的程度。作者使用 Cox 回归，将年龄和性别作为额外的临床协变量进行生存分析。为了减轻由于某些聚类指数与 TIL 密度之间的内在相关性而可能导致的解释问题，使用线性回归通过计算相对于 TIL 密度的残差来获得调整后的聚类指数。获得了四个调整指数和 13 种肿瘤类型的 p 值，然后使用 Benjamini-Hochberg 程序对多个测试进行调整。聚类指数和结果之间的五个关联是显着的（p < 0.05），如图 10B 所示。有趣的是，各种指数在不同肿瘤类型中具有显着性。图 11C (BRCA) 和 11D (SKCM) 中显示了中位数分割聚类指数的 Kaplan-Meier 曲线示例。在 SKCM 中，增加的 Banfield Raftery 指数（“聚类计数”）与较高的生存率相关，而在 BRCA 中，增加的 Ball-Hall 指数（“聚类范围”）与较差的生存率相关，两者均针对总体 TIL 密度进行了调整。检查点抑制免疫疗法已成功应用于黑色素瘤，而乳腺癌肿瘤通常对检查点阻断疗法无反应。结构与存活率的关联，正如调整后的 Ball-Hall 指数（“聚类范围”）升高的肿瘤中不太有利的存活率所证明的那样，作为临床反应研究中患者肿瘤的分层因素值得进一步研究。

图10. 基于 Cox 回归的 TIL 分数调整聚类指数与总生存率之间的显着关联表，将年龄和性别作为额外的临床协变量

图11. 乳腺癌中调整后的Ball-Hall指数（C）以及皮肤黑色素瘤中调整后的banfield-Raftery指数（D）

5. 总体 TIL 图结构模式的表征及其与分子评估的关联

研究团队对 TIL 空间结构进行了进一步的表征，将目光从局部空间结构转向全局结构分类，该分类反映了执业病理学家当前使用的标准描述。在肿瘤内和肿瘤周围区域（统称为“肿瘤”）中结合了 TIL 图结构模式的定性和半定量描述和评分，这些区域由相应的 H&E 染色的WSI图像大致定义。

正如国际 TIL 工作组、国际免疫肿瘤学生物标志物工作组的建议以及用于表征皮肤黑色素瘤中 TILs 的预后描述中所见，病理学家对肿瘤内和肿瘤周围区域的 TIL 图中的模式进行分类。相应地，病理学家在视觉上将 5,202 个 TIL 图中的模式划分为以下五个类别之一：“活跃、弥漫”，即散布在至少 30% 肿瘤区域（1,856 例）的弥漫性浸润性 TIL；“活跃、带状”的免疫反应在其周边形成带状边界，与肿瘤接壤(1,185例)；“不活跃、多灶性”的松散分散 TILs 存在于小于30% 但大于 5% 的肿瘤区域 (1,083例)；“不活跃的、局灶性的”TILs 散布在小于 5% 但大于 1% 的肿瘤区域(874例)；最后，在 143 个病例中“无浸润”，其中存在很少的 TIL，涉及 1% 或更少的肿瘤面积。TIL 图与相应的 H&E 图像在低放大倍率下不充分或没有明显可识别的肿瘤被指定为不确定 (61例)。图 7A-7D 中的示例分类如下：图 7A，TCGA-33-AASL 肺鳞状细胞癌病例中的活跃、弥漫型，显示肿瘤内有相对强的免疫浸润；图7B，TCGA-D3-A2JF 皮肤黑色素瘤病例中的活跃带状图案，显示免疫浸润在其外围形成与肿瘤接壤的边界，并且肿瘤内成分中的 TILs < 30%；图 7C，TCGA-E9-A22H乳腺浸润性导管癌病例中的不活跃、多灶性模式，显示出较弱的免疫反应和松散散布的 TIL；图 7D，TCGA-EW-A1OX 乳腺浸润性导管癌病例中的不活跃、局灶模式，在局灶区域显示出非常弱的免疫反应（类别也在图8 的最后一列中列出）。

TIL 图全局空间模式在 TCGA 肿瘤类型之间的分布不均等。图12 显示了观察到的计数与随机预期计数的比率。BRCA 富含“非活跃、局灶”表型， PAAD 富含“非活跃、多灶”表型，PRAD 也是如此。“活跃、带状”表型在 SKCM中最为丰富，在 PAAD和 PRAD 中非常罕见，而“活跃、弥漫”在 STAD、READ 和 CESC 中更为普遍。一些 TCGA 亚型也显示出特定模式的富集。例如，EBV 阳性 GI 癌症富含“轻快、弥漫”表型。在 TCGA 泛免疫分析中定义的免疫亚型之间也存在差异，其中 C4 亚型富集在“非轻快，焦点”。这是值得注意的，因为 C4 亚型在单核细胞/巨噬细胞谱系的细胞中相对丰富，这可能在塑造 TME 中发挥作用，正如这些模式所证明的那样。有趣的是，总体预后良好的免疫亚型 C3 具有相对较少的“轻快带状”结构，这可能反映了更温和和缓和的免疫反应或生产性淋巴细胞浸润到肿瘤区域。C2 的结果相对较差，在“活跃”表型中更丰富，这与在此类肿瘤中相对较大程度的淋巴细胞浸润不能充分控制肿瘤生长的预期一致。总之，整体结构模式显示出与不同免疫反应的关联，这些免疫反应可以是特定于亚型的，也可以在多种肿瘤类型中共享，并且可能在确定相应肿瘤微环境中免疫反应的性质方面发挥作用。

图12. 空间结构模式与肿瘤类型的关联

研究团队还检查了淋巴细胞类型是否存在差异的证据，例如每种表型中代表的 CD4 T 细胞、CD8 T 细胞、B 细胞和 NK 细胞的特征。这些细胞无法通过 H&E 图像分析来区分，但可以通过分析分子数据来估计它们的比例（Thorsson 等人，2018 年和方法细节）。在结构模式中平均这些值，可以得出新的关系（图13），其中“活跃”表型的 CD8 T 细胞比例高于“非活跃”表型（平均 13.2% 对 10.7%， p 值 < 2.2 × 10-16，Mann-Whitney-Wilcoxon 检验）。相应地，“非活跃”表型往往具有稍高比例的 CD4 T 细胞 (p = 0.03)。因此，通过将细胞比例的分子估计与想象数据的结构分析相结合，可以看到了特定 T 细胞亚群可能在整体结构模式的形成中发挥不同作用的证据。

图13. 空间结构模式与CD4、CD8、NK 细胞和 B 细胞的比例估计值的关联

讨论

研究报告了一种可扩展且具有成本效益的计算染色方法，用于提取和表征肿瘤内、肿瘤周围和相邻基质区域的淋巴细胞和淋巴细胞浸润。在将通过分子方法鉴定的 TIL 分数与从 H&E 图像的数字图像分析得出的 TIL 图进行比较时，发现了很好但肯定不是完美的一致性。可能有几个因素在起作用。首先，不期望完全一致，因为所比较的估计值的数量或来源不同。事实上，分子估计类似于细胞计数比率，并且图像分数对应于包含 TIL 的空间区域的比例。其次，提取分子数据的样本（所谓的冷冻组织顶部和底部之间）与用于生成诊断 H&E 载玻片的 FFPE 示例的诊断图像之间的确切空间关系尚不清楚。TIL 图来源于高质量扫描诊断 FFPE H&E 载玻片，这些切片来自肿瘤相邻或可能比顶部和底部冷冻切片取样位置更远的部分的组织样本。不幸的是，冷冻切片图像的质量不能允许进行稳健的特征提取。尽管肯定会出现某种程度的相关性，因为 TIL 状态通常是整个肿瘤的一个属性，但在进一步评估后，在整体评估中观察到样本子集的区域差异。这些差异很大程度上可以通过诊断 H&E 图像中非肿瘤区域中的空间 TIL 的影响来解释，这与用于分子 TIL 估计的冷冻切片样本中的空间 TIL 似乎完全不同。

许多因素可能会影响癌症患者的预后。研究团队试图控制年龄和性别，但肿瘤分级等其他因素可能会影响肿瘤浸润淋巴细胞的存在或功能。跨肿瘤类型控制分级更具挑战性，因为有些肿瘤没有分级，例如黑色素瘤，而其他肿瘤（例如乳腺癌和前列腺癌）具有非常不同的分级系统，难以进行严格比较。

结语

研究团队开发的 CNN 衍生的 TIL 映射为评估这些淋巴细胞浸润提供了一种可重复且强大的工具。评估这种肿瘤特征的能力对于肿瘤免疫癌症护理的临床诊断和转化研究都迅速变得至关重要。这些结果表明，这种方法与 TCGA 的分子平台产生的 TIL 的分子评估相关，并且还与某些肿瘤类型的临床结果相关。重要的是，这项研究显示了从 TCGA 扫描的 H&E 图像档案的信息丰富的资源中提取特征的价值。该资源尚未开发到其他 TCGA 分子和临床结果资源的程度，显然也没有达到它可以支持的程度。目前的研究表明，通过仔细检查这一丰富资源可以增加价值。

END

参考文献：

[1] Saltz, J., Gupta, R., Hou, L., Kurc, T., Singh, P., Nguyen, V., Samaras, D., Shroyer, K. R., Zhao, T., Batiste, R., Van Arnam, J., Cancer Genome Atlas Research Network, Shmulevich, I., Rao, A., Lazar, A. J., Sharma, A., & Thorsson, V. (2018). Spatial Organization and Molecular Correlation of Tumor-Infiltrating Lymphocytes Using Deep Learning on Pathology Images. Cell reports, 23(1), 181–193.e7. https://doi.org/10.1016/j.celrep.2018.03.086

撰写丨诗怀雅叉烧猫

编辑、排版丨SX

本文转载自其他网站，不代表健康界观点和立场。如有内容和图片的著作权异议，请及时联系我们（邮箱：guikequan@hmkx.cn）