以下为《结合螺旋转化和模型驱动的多模式深度学习方案》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

/

结合螺旋转化和模型驱动的多模式深度学习方案，用于胰腺癌TP53突变的自动预测

陈某某、林某某、沈某某、钱某某

摘要胰腺癌是一种恶性癌症，其预后最差之一。不良的原发性和对治疗方式的抵抗力与TP53突变有关。病理检查，如活检，不能经常在临床实践中进行：因此，需要非侵入性和可重复的方法。然而，基于成像的自动预测方法具有3D信息利用率低、样本量小、多模式融合无效等缺点。在这项研究中，我们提出了一个模型驱动的多模式深度学习方案，以克服这些细胞的伦奇。开发了螺旋转换算法，从 3D 数据中获取 2D 图像，转换后的图像继承并保留了原始纹理和边缘信息的空间相关性。螺旋转置可用于有效应用计算资源较少的 3D信息，并方便高质量地扩大数据大小。此外，模型驱动项目旨在将先前的知识引入多模式融合的深度学习框架中。模型驱动策略和基于螺旋转换的数据增强可以提高小样本量的性能。引入了双线性汇集模块，以提高细粒度的预测性能。实验结果表明，该模型在预测胰腺癌TP53突变方面具有理想的性能，为非静脉基因预测提供了一种新方法。提出的螺旋式转换和模型驱动的深度学习方法也可以

2020年9月3日收到的手稿：修订于2020年10月21日：

接受 2020 年 10 月 28 日。出版日期：2020年11月4日：当前版本的日期 2021 年 2 月 2 日。这项工作得到了**_*创新研究计划的支持，该计划由**_*资助ZXWF082101/056和赠款WF***5。（作者：钱某某）

陈某某和钱某某是XX交通大学生物医学***人工智能联合实验室的一员（电子邮件：chenxiahan@sjtu.edu.cn：xiaohua.qian@sjtu.edu.cn）。

林某某是XX交通大***核医学系主任，XX200127。

沈某某是XX医疗图像和知识图人工智能重点实验室、**_*、中国XX200080，也是与SJTU-益图联合**_*人工智能实验室，XX200080。

本文中一个或多个数字的彩色版本可在https://ieeexplore.ieee.org在线购买。

数字 对象 标识符 10.1109/TMI.2020.***



用于处理肿瘤应用的人工智能社区。我们的源代码与恶魔将被释放在 https://github.com/SJTUBME 千实验室/螺旋传输。

指数术语- 螺旋转化， 模型驱动的深度 学习， 多模式 融合， 胰腺 癌 预测。

I国家特罗特

抗癌是最具杀伤力的恶性肿瘤之一，其特点是诊断晚，死亡率高，

整体存活率低 [1]， [2] 。患者的五年生存率不到3.5%，其中75%的患者表现出TP53基因突变[3]。作为肿瘤抑制基因，TP53用于编码P53蛋白，它可以抑制细胞在许多细胞过程中的亲生命。。。突变的TP53基因促进肿瘤细胞增殖、入侵和生存。

特定的TP53突变与预后差和对治疗方式的抵抗力有关。胰腺癌的靶向治疗正在研究[5]，TP53可能是胰腺癌基因增强治疗的一个有吸引力的目标[6]。因此，TP53的状态在治疗选择中可能起着至关重要的作用。突变剖析的手术和活检是标准的医疗程序，但是，由于临床实践中的侵入性手术，不能经常使用。因此，有必要开发预测肿瘤基因突变的非侵入性方法。

近年来，医学图像被用于对活组织基因变化的非侵入性评估。组织生物医学成像结果反映下层病理生理特征 [7]， [8]。具体来说，图像中的定量参数，如肿瘤的强度、形状、大小、体积和质地，提供了有关肿瘤表型和微环境的重要信息。放射学方法在基因变化的非侵入性评价中取得了可喜的成果。对于考试，伊兰等人。[9]获得原发性人类肝癌CT图像与基因表达的相关性：库德雷等人[10]使用肺癌的组织病理学图像提取直方图并预测基因突变，如TP53。研究[11]， [12]提取了部分放射学特征， 如形状， 纹理和密度， 然后选择的功能和建立的机器学习模型预测

基因 突变。

0278-0062 ? 2020 IEEE.允许个人使用，但共和国/再分配需要 IEEE 许可。

有关更多信息，请参阅https:// doc.001pp.com/publications/rights/index.html。

/

图1。胰腺癌数据集示例。每个模态图像的第一列是原始数据，第二列是放大区域。胰腺癌体积小，界限不明确。

但是，放射学方法需要像素级的注释数据，这取决于放射科医生的手动注释或目标区域的自动分割。人工无定点是劳动密集型和不切实际的，而临床实践中的自动分割需要一个完善的细分系统。此外，数学公式不能有效地描述癌症成像结果。

深度学习计划也已被应用来预测肿瘤标记的变化。例如，3D 汇体神经网络 [13] 直接用于对 3D 肿瘤图像进行分类;王等人[14] 使用二维切片图像作为输入，并使用注意力映射可视化预测区域，构建了深度学习模型。

然而，深度学习方法对非侵入性评估存在一些挑战：1） 大多数医学图像数据集的大小较小：这很容易导致模型过度拟合。

难以合理充分利用3D图像信息。一方面，3D神经网络由于其众多的参数和大量的计算量，需要大量的计算资源。另一方面，2D 切片中的信息太不完整，无法完全代表肿瘤的 3D 特征。3）单模医学图像中的信息不足，多模式信息融合方法过于简单化。在大多数多模式深度学习模型 [15]，[16]中，提取的功能直接串联，然后在完全连接的层中选择和融合。此方法忽略了不同特征之间的多样性，从而增加了选定特征的模式间差异。因此，它不能充分利用多模式信息。

TP53突变预测是一项细粒度预测任务，旨在区分普通高级类别[17]的下属类别，即肿瘤是否有TP53基因突变。在预测胰腺癌的TP53突变时，以下问题更加严重，使任务相当具有挑战性：

首先，胰腺肿瘤很小（如图所示），它被具有类似强度的胰腺组织包围。这使得初级放射科医生和自动分割系统很难区分癌细胞和周围组织。在这项研究中，我们应用了深度学习方案来预测胰腺癌的TP53突变，而不需要分割。

其次，在临床诊断中，TP53突变是由病理组织活检确定的，操作不便，检测时间长，获得有效标签成本高昂。因此，数据集本质上是小的。充分利用肿瘤



信息，本研究提供了基于空间转换的新型数据增强算法，即从3D空间到2D空间的采样方案。这种采样方法可以产生许多不同的图像从相同的原始3D图像转换，而增强图像保持强烈的空间相关性，如类似的肿瘤纹理。

第三，只有通过单模图像才能获得可靠的基因变化诊断结果：此外，获得多模式MRI图像，然后有效地融合多模式信息，也很困难。基于不同模式的字符-XX论，我们设计了损失函数的规范化术语，以限制模式内的全连接权重和模式间预测值，从而充分利用信息方式之间的多样性和相关性。

为了克服这些挑战，我们提出了一个螺旋式转换和模型驱动的多模式深度学习方案，用于自动预测胰腺癌TP53突变。新型螺旋转换将3D图像转换为2D空间，以减少模型参数的数量，从而节省计算资源，同时保留肿瘤原始纹理、边缘和其他信息的空间相关性在转换领域。此外，一旦螺旋转换中的坐标系统方向得到改变，就可以获得新的转换图像。因此，螺旋转化法缓解了样品不足的问题。

此外，还提出了一个模型驱动的损失功能，以限制神经网络的训练过程。在构建损失函数的过程中，设计了模态内和模态间模型驱动参数约束，不仅发挥特征选择的作用，而且充分利用了信息在模式之间的相关性，确保了每个模型的作用模式。

主要贡献摘要如下：

建议将3D 图像转换为 2D 空间的螺旋转换算法。这种方法不仅充分利用了3D空间信息，而且有效地增加了数据，从而为处理肿瘤应用人工智能开发中的小样本量提供了一种新的范例。

开发了一个模型驱动的深度学习计划，将专业知识嵌入深度学习框架。模型驱动的术语，即模态和模态间的共应变，被纳入损失功能，以利用先前的知识，使多模式信息的相关性和多样性可以完全应用于com-bine多模式信息。此外，深层学习框架中嵌入的先前知识能够提高小样本量的性能。

多模双线汇周神经网络应用于细粒度的肿瘤预测。

R兴奋 W兽

数据 增强

图像最常见的数据增强方法是几何转换。拉杰普尔卡尔[18]和瓦尔瓦诺等人。[19]执行水平翻转、旋转、缩放、

和2D 图像上的其他转换，以增加数据量。赵等人[20] 以少量翻译，放大小范围倍数（[0.8，1.15]），并在提取 3D 修补程序时旋转原始数据。在培训过程中，实时数据增强方法对模型具有很强的规范化效果。关等人[21] 在不更改上述几何转换数据总量的情况下进行了随机选择;因此它们提高了网络的稳健性。Alex [22] 建议主要组件分析 （PCA） 抖动，以便对 RGB的每个通道执行fea- ture分解，以获取特征向量和特征值，然后更改每个通道的强度。颜色抖动，类似于PCA抖动的方法，可用于改变图像的对比度和亮度。几何转换方法可以在一定程度上提高模型的坚固性。然而，几何转形形成前后数据中的信息量大致相似，从而限制了增强效应。

内核过滤器是一种流行的数据增强技术 [23]。 这些 过滤 器 工作 跟 a 高斯 模糊 滤波器 或 a 高 合同 边缘过滤器通过滑动 n 来模糊或锐化图像 n矩阵 横 一 图像。 这 技术 是 类似 自 这 美国有线电视新闻网 内部 机制。

合成少数超采样技术 （SMOTE） [24] 随机从小类中 K近邻中选择目标样本，并通过随机线性叠加成比例合成初始样本和目标样本之间的新样本。由于 k 最近的邻居的搜索，其计算复杂性是次要类 [25]的大小是二次的。但是，当小类样本数量不足时，概率分布估计可能不准确 [26]。

样品拼接[27] 和混合 [28] 类似于 SMOTE。他们还通过对两个现有随机样本进行线性插值来创建新样本，从而产生一种强大的常规化器，从而改善通用性，但混合图像的性能提升缺乏可解释性 [23]。

另一种流行的数据增强方法涉及使用深神经网络（如生成对抗网络 （GAN） [29] 进行基因擦除数据，这些网络可以根据所学到的特征生成具有相同功能的一系列图像。从谷歌大脑[30]和基于人群的增强剂（伯克利人工智能研究[31]提出的）数据中提出的增强策略可以自动找到最先进的数据增强方法来生成符号转换操作和增强数据。从 ImageNet [32] 学到的策略可以扩展到其他数据集。神经样式传输 [33] 是数据增强的另一种深度学习方法。一个图像的样式将转移到另一个图像，而图像仍然保留其原始内容。神经风格转移策略可以改变照明和颜色变化，并编码纹理和艺术风格。

这些深度学习方法的一个明显缺点是，它们需要大量的数据来训练，因此它们可能不是有限初始数据集的实际解决方案。



基于多模式的方法

多模式融合方法可分为两大 类： 结构 和 约束。

第一类侧重于构建适当的聚变结构，并找到融合的最佳层，可分为早期融合和后期融合。沙尼斯等人[34] 在输入阶段将四个模态图像与同一标签串联在一起，并将它们融合为四个不同的输入通道。这是最常见的早期融合方法。后期融合包括将功能串联到功能合奏[35]中，使用线性回归或 SVM [36] 组合单模分数或功能，或使用简单的投票策略融合单模权重 [37]。双线池方法 [38] 也可以有效地用于融合 - 来自不同模式的混合。此外，一些研究人员最近使用差异相关性分析（DCA） [39] 和图形卷积网络 [40] 将中间层的特征融合在一起，为特征融合提供了新的范式。

第二种类型的功能融合涉及设计模型约束。赵等人[41] 将不同形式的多模式数据转换为统一表示，使用稀疏的组 LASSO进行功能融合和选择。麦克菲等人[42]使用多核学习技术将异构数据集成到单个统一的相似空间中。曹等人[43] 探索了通过张力产品进行二恶英模式之间的相关性，并提出了功能选择的双重方法。虽然这些方法在传统的机器学习模型中被广泛使用，但在深度神经网络中仍然很少见。陈等人[44] 提出了一个多模式深度网络，用于多标签分类，在目前和不存在标签之间对封顶标签依赖的排名损失。

我们考虑了这两种方法的优势，提出了一种结合结构和约束的多模式融合方法。多模式融合层与损益函数约束术语配合，将各种模式的相关性彻底结合。

关于乌尔 M埃索德

在本节中，我们引入了基于3D螺旋转换的多模式细粒度预词算法，如图所示。多模态 MRI 3D 图像作为模型的输入。这些图像通过螺旋转换转换为 2D 平面，输出是最终概率值。该算法包括三个部分：螺旋转换和数据增强、功能提取网络和具有新模型驱动约束术语的功能融合方案。

三维 螺旋 转换 和 数据 增强

菲r st， 我们 denot 他达ts 和by D =（Vi， Lé i）， i = 1， ...， N D， 其中Vi ∈ × d ×h 是原始的 3D MRI 图像， L3我表示 vi的label， nd Nd is the 数字 of

数据集中的示例。

螺旋转换：为了减少3D图像的计算，同时充分利用3D信息，我们提出了将 3D 图像映射到 2D 平面的空间转换。 为此，应满足以下属性：

/

图2。拟议模式的框架。管道包括螺旋转换、功能提取、功能融合和输出模块。将突变预测损失、模态特征选择损失和模式间预测约束损失三部分结合起来，对训练过程进行监督。

转换后的 2D 图像应是包含原始图像信息的 3D 子集。我们表示

特兰s形成 2D d他们s和 由 S (Xi ,L? i ),i 1, ... ,ND , wh名誉的

Xi 是 这 转化 二 维和 图像 为 Vi , 然后 Xi Vi .

2D图像应尽可能表示 3D 图像，并且根据特定任务要求和 VOI 形状特征对图像进行转换。

2D 图像应尽可能保留 3D 属性，例如纹理特征的空间关系。由于这些属性，转换后的图像不仅保留了原始功能，而且需要更少的计算



/

图3。螺旋转换的坐标系统。坐标起源 O 是螺旋转换的中点。螺旋线是由[，+和r.计算。

采样 点 2N：

资源比 3D 图像处理。因此，我们开发了一种螺旋转换方法，以预先处理原始数据，并将 3D VOI 扩展到 2D 平面。期间

2pr

d = 2N =

pr （2）

N

转型 这 方法 保留 这 相关 之间 源语言 邻近 像素。 因此 这 二 维和 图像 能 保留 这 空间 关系 之 质地 特征 从 这 三维 图像。 具体说来 a 点 里面 这 瘤 （如 如 这 中心 点 之 这 肿瘤） 是 选择 如 这 中点 O 之 这 螺旋 转型。 这 最大 半径 R 之 这 转型 取决于 这 最大 距离 从 这 瘤 边缘 自 这

水平采样点的数量

飞机 相应 自 角度 Θ 是 2πr 没有Θ /d

2πr没有Θ /(πr/N) 2N没有Θ . Θ 分为 N 角度 平等地 在 这 价值 范围。 在 这 箱 之 a 指定半径，如果 N 足够大，则总数 采样 点 上 a 螺旋 线 能 是 计算 如:

, N kπ , N 2N kπ kπ




螺旋线 A 由azimuth（经度）角 T、高程（纬度） 角1 = é和距离决定

4N 2 π/2

= p 0

没有xdx =

4N 2

(3)

P

在3D 空间中对 O。基于转换关系

坐标系统，A的坐标可以表达

如：

对于每个 r 值，采样点的数量相同，因此螺旋转换后图像的大小是

2 R ×米。在转换过程中，图像螺旋与

??? x = r 是的n Θ 身体 T

? z = r 因为



w在这里

? 0 ≤ /≤ 2

?? ? R ≤ r ≤ R



(1)

 [和T]的变化，这应该满足以下关系：

d = T · r 没有 Θ = πr/N (4)

让赤道上的圆有 2N 采样点，相邻采样点的弧长 d定义为赤道 [45] 上的两个点之间的距离。如果螺旋线上的弧线长度大致等于周长，则可以从圆周的圆周和指定半径 r 和

采样点的灰色值由三线插值计算，三线插值在 3D 空间中的坐标随后映射到原始矩阵位置。最后，2D 图像可以通过将灰色值填充到 2D 矩阵 2 R m中获得，其中 m 是螺旋线上的采样点数。

大多数研究，如2D CNN，将切片应用在横向平面上作为输入;这忽略了相邻层之间信息的相关性。螺旋转换以 3D 空间的半径或直径为轴，将图像从 3D 空间展开到 2D 平面，从两极依次展开到赤道。在某种程度上，该方法保留了 3D 空间中特征（如纹理）的相关性。对于 3D 样本，螺旋转换获得的 2D 图像包含比切片获得的更全面、更完整的3D信息，为后续预测提供了高质量的数据集。

2） 螺旋转换的数据增强：数据增强的纯正姿势是增加数据集的多样性。但是，几何转换（这是最常用的数据增强方法）不会改变原始数据中的信息量。由于增强数据与原始数据相似，因此通过几何转换增强数据对构建人工智能系统的影响有限。然而，螺旋变换的结果取决于空间矩形坐标系和变换的参数。对于相同的 3D 数据，一旦对螺旋转换中的坐标系统方向进行修改，就可以获得新的转换图像。

为了便于比较两个坐标系的转换结果之间的差异，我们设定了相同的坐标源 O 和 z 轴的正方向，并且只更改 x 轴的正方向。

让它通过?T改变，然后对应A的坐标Ar可以表示为：



/

图4。 数据增强结果使用不同坐标系统的螺旋转换。为了更直观地显示，坐标系统固定在同一视图中。坐标系统 （b） 和

（c）相对于

（a）在 x -y 飞机上。同一个 3D 对象在三个2D螺旋转换图像中获取不同的映射，如第三列所示。

图 4使用不同方向的螺旋转换模拟数据增强结果。与 x-y 平面上的图 4a 相比，图 4b和 Fig.4c的坐标系统分别旋转了45度和120 度。为了更直观地显示，坐标系统固定在同一视图中。我们使用***的纹理特征。同一个 3D 对象分别由图 4a、图.4b和图.4c 中的三个不同的 x-y 方向转换。第三列中的标记（箭头）清楚地指向螺旋转换结果的差异，其中

表示 3D 对象中的相同灰色区域具有不同

??? x r = r 是的n Θ 身体 (T + ?T)

?与r = r cos =



w在这里

? 0 ≤ /≤ 2

?? — R ≤ r ≤ R



(5)

采用不同的坐标系统时，2D 螺旋中的映射改变了图像。因此，螺旋转换的结果相当于原始数据的子集。对于相同的3D 原始数据，获得的增强数据

如果 Ar (x r , yr , zr )= A(x , y, z), 结合 (1) 和 (5), 我们 能 获取 这 方程:

那是因为 T 公司 ? ? 那是因为T

身体 T

那是 T， 因为?因为 T， ? 那是那是 T

没有 T

(6)

?身体? = 所以 T如果n ? = 1

基于不同的坐标系统是互补的。新数据有助于模型实现更好的稳健性。

多模态 双线 性 CNN

我们设计了一个基于残余模块的多流双线网络，如图所示。在此部分，我们详细介绍了多模式双线汇周结构。

简化

?因为 ? |

没有?T 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 米粒子提供的胰腺癌基因治疗，" SLAS Technol.， 翻译生命科学。，第24卷，第2页，第151页，第160页，2019年4月。

P. 兰某某 等人，"放射学：医学成像与个性化医学之间的桥梁，" 自然牧师克林。翁科尔， 第 14 卷， 第 12 页， 第 749 页，762， 2017 年 12 月。

R. J. XX斯， P. E. 基纳汉和 H. 赫里克， "放射学： 图像不仅仅是图片， 它们是数据，" 放射学， 第 278 卷， 第 2 卷， 2015， 艺术。不， 151169。

埃兰 等人，"通过非侵入性成像解码肝癌的全球基因表达程序，" 自然生物技术。，第25卷，第6卷，第675页，2007年。

库德雷 等人，"利用深度学习从非小细胞肺癌组织病理学图像的分类和突变预测，" 自然医学。， 第 24 卷， 第 10 页， 第 1559 页，1567 页， 2018 年 10 月。

李等人，"MRI功能可以预测低级胶质瘤中的EGFR表达：基于voxel的放射分析，"Eur. Radiol。， 第 28 卷， 第 1 页， 第 356 页，362， 2018 年 1 月。

[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

1. 2019全球人工智能产业数据报告
2. 非平稳序列的随机分析实验报告
3. (完整版)《机器学习》课程教学大纲
4. 知识点分享内容
5. 数字化施工PPT
6. 高三语文周某某3.29
7. 大数据对传统小数据的拓展及其区别与联系
8. 附件一、青年学者论坛实施方案
9. 人工智能兴趣小组总结
10. 个人培训需求

以上为《结合螺旋转化和模型驱动的多模式深度学习方案》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。