| 
比年来深度学习本领在诡计机视觉领域， 非常是当然图像处理任务上取得了令东谈主详确的高出， 也让工业界和学术界越来越多的考虑者尝试将其应用于医学图像处理领域. 本文恰是在此布景下ccc515.com， 围绕如安在异质性医学图像处理任务中提秘要度学习算法成果的问题， 从深度学习在医学图像处理的履行应用中怎样诈欺多中心的异质性医学数据角度脱手， 对关系领域有代表性或前沿性文件进行归纳总结， 先容数据异质性产生的原因偏激盛大存在的场景， 系统玄虚目下代表性的深度学习方法体系， 如迁徙学习、域适合、多站点学习等， 总结深度学习在面向异质性数据医学图像处理任务中的建模机理和应用， 梳理并分析现存方法表面、关节本领、优症结和性能， 临了究诘改日构建面向异质性医学图像处理任务深度学习模子所靠近的本领挑战和考虑趋势. 本文总体考虑结构如图1所示.
Fig. 1 Overview of this paper
图 1 本文概览
1 关系调研与考虑布景
1.1 关系综述
Cheplygina等东谈主[1]从对医学数据标注辘集的穷苦性与复杂性脱手， 系统先容了迁徙学习、半监督学习以及多示例学习本领， 调研了其在医学图像分析领域的考虑进展与关系应用.
Tajbakhsh等东谈主[2]指出了用于医学图像分割的数据在标注过程中产生的不完好标注样本的问题， 并将其分为罕有性和大批的弱监督标注样本的两大类问题: 如用于分类任务的图片级标签、由于分割标注的穷苦性与部分医生的训戒不及而产生的噪声标签以及诸如矩形框、线条、病变点位的稀少标签. 针对上述问题， 作家对比年来的关系考虑进行了全面调研.
Choudhary等东谈主[3]从基于深度学习医学图像分析算法的临床应用所靠近的问题脱手， 也即多元化、多模态、多中心的医学图像数据. 作家先容了域适合本领的界说及关系方法分类， 调研了比年来的面向深度学习的域适合本领在医学图像分析领域的最新考虑进展.
本文则从深度学习在医学图像分析的履行应用中怎样诈欺多中心的异质性医学数据角度脱手， 先容数据异质性产生的原因偏激盛大存在的一些场景. 在此基础上对数据异质性带来的关系问题进行了形势化界说与分类， 对比年来关系考虑责任进行了调研、对关系本领及方法进行了归纳.
1.2 迁徙学习、域适合、多站点学习玄虚
1.2.1 迁徙学习
领域(domain)和任务(task)是迁徙学习[4]中的两大基本办法. 其中领域
$ {D}_{T} $
由数据
$ X $
偏激对应的概率散播
$ P\left(X\right) $
组成; 任务则由数据
$ X $
对应的标签
$ Y $
及标签的概率散播
${P}\left({Y}\right|{X})$
组成. 迁徙学习通过将一个领域及对应任务的常识应用于另一个相似的领域及任务上， 旨在处理应监督学习要求下样本数目难以得志模子考试要求的问题.
联接领域与任务的办法， 迁徙学习不错被分为: 归纳式迁徙学习、直推式迁徙学习和无监督迁徙学习3种， 具体如表1所示.
Table 1 Transfer learning classification[4]
表 1 迁徙学习分类[4]
归纳式迁徙学习是指源任务和指标任务不同的迁徙学习场景. 把柄源域是否有标注样本， 其又可分为多任务学习和自学习. 多任务学习的指标是同期学习源任务和指标任务， 而自学习则是迁徙源任务的常识， 以匡助学习指标任务.
直推式迁徙学习是指源任务和指标任务调换， 但源域和指标域不同的迁徙学习场景. 在此场景下， 源域的样本一定有标注信息， 而指标域的样本不一定有标注信息. 直推式迁徙学习的场景又可被进一步分为: (1) 源域和指标域的特征空间不同的场景; (2) 源域和指标域的特征空间调换， 但对应的边际散播不同的场景. 域适合即直推式迁徙学习的第2种场景.
无监督迁徙学习是指源任务和指标任务均为无监督学习的形势(如聚类、降维)， 但两者又存在高度关系性的场景. 在此场景下， 源域和指标域均为无标注的样本. 由于莫得任何可用的标注样本， 无监督迁徙学习时常无法经受成例的深度学习方法.
1.2.2 域适合
Yosinski等东谈主[5]考虑了深度神经辘集的可解释性与可迁徙性， 阐发了在深度神经辘集中， 辘集的浅层可用于索要任务之间共性的普适特征， 而跟着辘集层数的加深， 辘集的深层可用于索要与指标任务关系的语义特征. 同期作家也提议了两种面向深度神经辘集的迁徙学习方式: (1) 以源域辘集浅层权重运行化指标域辘集浅层， 进而以微调的方式对指标域辘集进行考试; (2) 冻结指标域辘集浅层权重， 重新考试指标域辘集. 以上两种方式在考试时均需要带有标注的指标域样本. 而无监督域适合本领在模子考试时则不需要任何来自指标域的标注样本， 使其约略参与更为成例的迁徙学习场景.
1.2.3 多站点学习
多站点学习和域适合本领的最大区别就在于域适合本领是为了处理考试数据和测试数据的散播(边际散播)不同而产生的域漂移原意; 而多站点学习则是为了处理考试数据里面多个子集间的散播(边际散播)不同而产生的域漂移原意.
1.3 医学图像数据集带来的数据异质性挑战
医学图像的成像方式浩荡， 如辐射学、病理学、超声、内窥镜等， 回去并成像方式下的影像受采集开导各别等因素的影响也会存在很大的(散播)各别， 咱们一般称其为“域漂移”原意. 为了进一步呈文这一原意， 本文以临床医学中一些常见的场景为例， 进一步证实医学图像数据集盛大存在的数据异质性问题， 如图2所示.
Fig. 2 Data heterogeneity of multi-center medical images[3]
图 2 多中心医学图像的数据异质性[3]
1.3.1 “有限监督样本”场景
受时候、数据质料、专科性要求等方面的影响， 并非通盘的医疗数据都能被充分或正确地标注. 举例: 软组织的MR成像较CT成像分辨率更高， 因此软组织的MR图像数据集相对更容易标注; 但CT的成像速率快， 老本较低， 因此对CT数据进行标注不管是在临床考虑照旧在算法考虑中也具有很大的真谛. 而通过无监督域适合本领， 将CT图像域映射到MR图像域上， 就能得到速率快且标注质料高的数据; 此外， 不管是在考虑照旧在履行应用过程中关于患者的个东谈主秘籍数据进行保护亦然十分必要的， 通过域适合本领， 不错合成/生成一些非真是图像数据， 从而幸免患者个东谈主秘籍信息的泄露.
1.3.2 “多中心”场景
不同医疗机组成像开导的不同会导致生成数据存在不同进程的各别， 同期受采集开导、参数建立以及个体病情各别的影响调换型号的开导生成的数据时常也会存在十分大的各别. 举例: 调换模态的MR图像， 由于对应的磁场场强不同、图像分辨率不同(是否加入线圈导致)， 或是患者病情临床分期的不同(由于肿瘤滋扰而使器官范围不光显、不完整)， 即使口舌专科的东谈主员都能很容易地感受到这些不同图像上的各别. 从而使用单一着手的数据考试得来的深度学习模子就很难在其他着手的数据上取得预期的成果. 通过多站点学习和域适合本领， 就有可能考试出鲁棒性更强的深度学习模子， 从而在异源数据、非常是全新着手的数据上达到更好的处理成果.
2 迁徙学习问题
迁徙学习的初志是省俭东谈主工标注样本的时候， 让深度学习模子不错通过已有的记号数据(源域)向未记号数据(指标域)迁徙， 从而考试出适用于指标域的深度学习模子. 迁徙学习主要分为两大类别: 监督式迁徙学习以及无监督迁徙学习， 其中无监督域适合是一种顾问要求愈加严格的迁徙学习问题， 亦然刻下迁徙学习领域的考虑热门[6].
2.1 无监督域适合问题界说与分类
无监督域适合问题可形势化界说为: 给定一个源域
${S}=\{{X}_{S}， {Y}_{S}\}$
， 一个指标域
$ T=\left\{{X}_{T}\right\} $
， 源域和指标域的特征空间调换:
$ {X}_{S}={X}_{T} $
， 标签空间调换:
$ {Y}_{S} ={Y}_{T} $
， 但其边际散播不同:
$ P\left({X}_{S}\right)\ne P\left({X}_{T}\right) $
. 域适合即通过源域S和指标域数据
$ {X}_{T} $
(或指标域T)学习一个映射
$ f $
以预测指标域的标签
$ {Y}_{T} $
. 把柄源域和指标域样本数目， 以及指标域数据是否可用， 无监督域适合问题可分为单源域/指标域、多源域/指标域以及领域泛化问题.
2.1.1 单源域、单指标域
常见的监督式机器学习常常假定考试集和测试集得志镇定同散播的要求， 因此域适合的指标可视为考试集和测试集的散播不同， 进而单源、单指方向域适合就不错滚动为考试集和测试集来自两个不同的散播. 单源域、单指标域看成域适合问题最浅易的场景， 仍是裸泄露了许多经典的方法， 如JAN (joint adaptation networks)[7]， 域分离模子[8]， MADA (multi-adversarial domain adaptation)[9]等.
2.1.2 多源域、多指标域
由于考试数据也可能存在不同的散播， 单源域、单指标域的域适合时常并弗成很好地处理履行任务中的域漂移问题. 若是仅浅易地将来自多个源域的数据混为一体(假定多个源域之间的边际散播调换)， 诚然不错将其简化为单源域适合问题， 但常常情况下并弗成达到令东谈主闲隙的成果. 举例， Ganin等东谈主[10]使用经典的单源域适合方法: 域对抗辘集(domain-adversarial neural network， DANN)在手写数字数据集上进行实验， 实验驱散标明仅使用单个源域时手写数字分类的准确率为71.3%， 而使用多个源域， 但仅仅浅易地将其混杂时， 分类的准确率降为70.8%. 一样， 在进行模子实地部署时， 应用常常都会碰到来自不同散播的指标域数据， 从而无法达到预期的成果.
Sun等东谈主[11]对多源域适合方法进行了庸碌调研， 对多源域适合问题进行了界说和分类. 把柄指标域的标注样本数， 将多源域适合方法分为无监督多源域适合、半监督多源域适合、全监督多源域适合; 把柄多源域之间以及指标域的特征空间是否一致， 将多源域适合方法分为同质多源域适合和异质多源域适合; 把柄多源域和指标域的标签空间是否一致， 将多源域适合方法分为闭集多源域适合、开集多源域适合、部分多源域适合和通用多源域适合; 把柄源域的标注样本数， 将多源域适合方法分为强监督多源域适合和弱监督多源域适合.
2.1.3 领域泛化
不管是单指标域适合照旧多指标域适合， 由于具有详情的指标域， 常常只需在方法中缩短模子在指标域上的纰缪即可. 而在迁徙学习的履行场景中， 应用常常无法事前得知指标域数据的散播情况(指标域数据不可用)， 领域泛化则是在此情况下尝试处理愈加普适的域适合问题， 即怎样从些许个具有不同数据散播的数据集(领域)中学习一个泛化才略更强的模子， 以便在未知测试集上取得较好的成果.
2.2 关系方法偏激在深度医学图像分析中的应用
本节领先从本领的角度将对(深度)域适合的代表性方法进行梳理与归纳， 并对其在医学图像分析中的关系考虑进展进行分析和总结. 在本节中， 咱们将分别先容迁徙学习关系方法在深度医学图像分析领域的应用， 具体分为指标域有监督情况下的监督式迁徙学习以及无监督迁徙学习中的域适合.
图3为对迁徙学习关系问题及方法的归纳图， 分别从问题和对王人方式的视角， 对处理无监督域适合问题的五种常见方法进行了归纳. 关于问题的分类在上文已有先容， 在此先容两种类型的对王人方式: 隐式(潜在)空间变换、样本空间变换. 其中隐式(潜在)空间变换将通盘域的图像在一个共同的隐式特征空间中对王人， 通过隐式特征考试任务模子; 样本空间变换则是将一个域的图像翻译(谐和)至另一个域， 使任务模子约略径直应用于通盘域的图像.
Fig. 3 Summary of problems and methods for transfer learning methods
图 3 迁徙学习关系问题及方法归纳
2.2.1 指标域有监督: 监督式迁徙学习
Lenga等东谈主[12]调研了不同抓续学习[13-15]方法在胸部X光分类中域适合问题的适用性; Ghafoorian等东谈主[16]考虑了深度医学图像分析中的监督域适合问题: (1) 一个新领域需要多大的数据量来适合原始的模子? (2)在给定数目新领域考试样本的情况下， 需要重新考试哪些预考试模子参数? Shang等东谈主[17]从医学图像分类任务的角度启航， 考虑了两个问题: (1) 哪些数据集是可用的? (2) 怎样诈欺这些数据集来耕作指标任务的性能? 并以结肠镜窄带图像的结肠息肉良恶性分类为例， 分析了不同模子在不同迁徙学习考试计谋下的推崇; Yousefi等东谈主[18]究诘了通过指标检测模子Faster R-CNN学习得到的特征在组织数字病理学图像的细胞核分类任务中的可迁徙性; Menegola等东谈主[19]考虑了迁徙学习对玄色素瘤自动筛查任务的作用: (1) 迁徙学习对其是否有匡助性或具有多大匡助? (2) 在迁徙学习过程中， 一个微型但与指标任务高度关系的医学图像数据集对指标任务的作用大照旧大型但与指标任务不关系的通用图像数据集(如ImageNet)对指标任务的作用大? (3) 模子微调对指标任务具有多大的影响? Samala等东谈主[20]提议了一种使用多阶段迁徙学习方法的CNN辘集， 用于数字乳房断层合成图像(DBT)的肿块良恶性分类任务， 考虑了不同迁徙学习方式和微调决策的模子性能对考试样本数目的需求.
2.2.2 基于边际散播各别度量的方法
基于边际散播各别度量(distribution discrepancy measurement， DDM)的方法通过最小化源域和指标域的各别， 使得指标域的边际散播约略最大适度地拟合源域的边际散播. 关系考虑常经受概率散播函数形貌一个未必变量， 但该方法无法给出高维未必变量的概率散播函数， 因此不错经受矩来形貌一个未必变量， 如一阶中心矩等于均值， 二阶中心矩等于方差. 在深度医学图像分析领域， 目下被庸碌经受的是通过统计章程， 即用均值、方差或者高阶矩看成领域散播间的各别度量准则. 以下为一些常见的度量准则.
● MMD (maximum mean discrepancy， 最大均值各别)
MMD[21]是最常用的散播各别的度量准则， 关于两个域
$ {D}_{S} $
和
$ {D}_{T} $
， MMD被界说为:
$ MM{D^2}\left( {{D_S}， {D_T}} \right) = \mathop {\sup }\limits_{{{\left\| \phi \right\|}_H} \leqslant 1} \left\| {E\left[ {\phi \left( {{x^S}} \right)} \right] - E\left[ {\phi \left( {{x^T}} \right)} \right]} \right\|_H^2 $
(1)
其中，
${\phi }$
为映射函数， 线路原始数据到再生核希尔伯特空间(reproducing kernel Hilbert space， RKHS)的映射. MMD界说了一组在再生核希尔伯特空间中的单元球中的函数， 其实质是在再生核希尔伯特空间中对王人源域与指标域的样本均值. 由于在履行诡计过程中源域和指标域的真是散播未知， 是以常常使用训戒猜测近似的方法， MMD的训戒猜测不错线路为:
$ MM{D^2}\left( {{D_S}， {D_T}} \right) = \left\| {\frac{1}{{{n_s}}}\sum\limits_{i = 1}^{{n_s}} \phi \left( {x_i^s} \right) - \frac{1}{{{n_t}}}\sum\limits_{j = 1}^{{n_t}} \phi \left( {x_j^t} \right)} \right\|_H^2 $
(2)
其中，
${{n}}_{{s}}$
与
${{n}}_{{t}}$
分别为源域样本数目和指标域样本数目，
$ {\left\| {\cdot} \right\|}_{H}^{2} $
线路映射函数在再生核希尔伯特空间中的范数.
● CORAL (correlation alignment， 关联对王人距离)
以CORAL[22]看成度量准则的深度域适合方法通过减小两个领域协方差矩阵的各别来迁徙常识. CORAL 的界说为:
$ {L}_{\rm CORAL}=\frac{1}{{4d}^{2}}{\left\| {{C}_{S}-{C}_{T}} \right\|}_{F}^{2} $
(3)
其中，
$ {\left\| {\cdot} \right\|}_{F}^{2} $
为矩阵范数的平方， d为特征维度，
$ {C}_{S} $
与
$ {C}_{T} $
分别为源域以及指标域的协方差矩阵.
● W-Distance (Wasserstein distance， 也称为推土机距离， earth mover’s distance)
除MMD与CORAL外， W-Distance [23]也常被应用于基于边际散播各别度量的深度域适合方法， W-Distance的界说为:
$ {W_P}\left( {P\left( {{x^s}} \right)， P\left( {{x^t}} \right)} \right) = {\left( {\mathop {{inf}}\limits_{\gamma \in {\varGamma }} \int_{{x_s}\times {x_t}} d \left( {{x^s}， {x^t}} \right)d\gamma \left( {{x^s}， {x^t}} \right)} \right)^{\frac{1}{p}}} $
(4)
其中， Γ是P(xs)和P(xt)通盘可能的合股散播， d(xs， xt)为xs与xt之间的距离. 与基于MMD和CORAL的方法访佛， 该类方法通过减小领域间的推土机距离来对王人领域散播.
Ghifary等东谈主[24]提议的域自适合神经辘集(domain adaptive neural networks， DaNN)是首个将MMD度量引入深度神经辘集中的责任， 其中枢念念想是在特征索要器之后加入一个用于诡计源域和指标域距离的MMD适配层， 并将其看成赔本函数的一部分进行考试. Tzeng等东谈主[25]基于DaNN提议了一种新的CNN架构， 约略同期适合指标无标注以及指标域稀少标注两种情况. 与DaNN不同的是， DDC将图像特征索要器更换为在ImageNet数据集上预考试的AlexNet. Long等东谈主 [26]在提议的深度适配辘集(deep adaptation network， DAN)模子中加入了多个域适合层， 此外， DAN将以往的单核MMD度量改为表征才略更强的多核MMD度量(multi-kernel MMD， MK-MMD)[27]， 并将多核MMD的参数看成可学习的参数加入模子的考试. Sun等东谈主[28]将CORAL率先适配于深度域适合. 图4为DAN的模子结构图.
Fig. 4 The Deep Adaptation Network(DAN)architecture [26]
图 4 深度适配辘集(DAN)模子结构暗示图[26]
Bermúdez-Chacón等东谈主[29]遐想了一种面向电子显微镜图像的小鼠大脑分割模子: 域适合性双流U-Net模子DA TS U-Net (domain-adaptive two-stream U-Net)， 该模子中源域和指标域的解码器部分参数分享， 同期赔本函数中加入了MMD距离与CORAL距离看成对特征的正则化顾问项， 并通过度量源域和指标域最终身成的特征图的散播各别， 以保留相似的特征. 图5为该模子结构暗示图， 其中
$ {X}_{i}^{s}、{X}_{i}^{t} $
分别线路源域和指标域的第
$ i $
个样本;
${f}^{s}({X}_{i}^{s}|{\theta }^{s})$
、
${f}^{t}({X}_{i}^{t}|{\theta }^{t})$
分别线路特征索要器索要得到的
$ {X}_{i}^{s}、{X}_{i}^{t} $
的特征;
$ {r}^{\mathit{MMD}}({f}^{s}， {f}^{t}) $
线路诡计源域和指标域特征的MMD距离.
Fig. 5 Simplified representation of domain-adaptive two-stream U-Net[29]
图 5 域适合性双流U-Net模子结构的简化线路[29]
Wang等东谈主[30] 在域适合光学联系断层扫描模子DAOCT (domain adaptation OCT)中引入了推土机距离来度量多站点眼部光学联系层图像的散播各别， 以对王人域间特征. 作家提议的模子中包含一个域判别器， 会导致基于对抗学习的方法在考试时不沉稳， 而推土机距离则不错在一定进程上幸免梯度袪除的问题， 从而沉稳考试过程. 图6为该模子结构暗示图.
Fig. 6 Architecture of DAOCT[30]
图 6 DAOCT模子结构暗示图[30]
Pichler等东谈主[31]以为目下的域适合方法大都基于对抗学习， 难以考试， 且用于医学图像分割任务时推崇欠安， 因此提议了不受限于源域的域适合模子SR DA Net (source-relaxed domain adaptation net). 该模子将分割损结怨用于度量域间各别的KL散度整合为一个赔本函数， 从而极大简化了无监督域适合的考试方法. Bateson等东谈主[32]提议了一种在域适合阶段无需源域样本、仅需指标域样本的方法: 基于最小化指标域数据上界说的无标签交叉熵赔本， 进一步迷惑分割区域的域无关先验， 其中域无关先验由通过KL散度度量源域和指标域分割模子的预测标签的类别比所界说， 图7为该模子结构暗示图.
Fig. 7 Overview of framework for Source-Relaxed Domain Adaptation[32]
图 7 不受限于源域的域适合模子结构暗示图[32]
Wu等东谈主[33]提议名为特征映射距离(distance of characteristic functions， CF)的域间各别度量准则: 将数据通过傅立叶变换映射至频域空间， 由于图像中的高频信号容易被忽略， 因此通过最小化领域间的低频信号以减小领域间各别， 该距离约略高效地应用于跨模态(CT⟶MRI)的腹黑图像分割任务. 图8为该模子结构暗示图， 该模子由图像编码模块、分割模块、重构模块、先验散播匹配模块以及显式域适合模块组成， 其中图像编码模块用于索要源域图像和指标域图像的隐式特征
$ {{\textit{z}}}_{S}， {{\textit{z}}}_{T} $
， 其输入为源域图像
$ {x}_{S} $
和指标域图像
$ {x}_{T} $
， 分割模块用于输出源域图像的分割驱散， 重构模块用于指标域图像重构， 显式域适合模块通过诡计
$ {{\textit{z}}}_{S} $
和
$ {{\textit{z}}}_{T} $
的各别
${\mathcal{L}}_{\rm explicit}$
度量域间各别， 先验散播匹配模块用于顾问源域特征
$ \;\mu $
和指标域特征
$ {\Sigma } $
使其弥远校服高斯散播.
Fig. 8 Framework of the CF distance based domain adaptation method[33]
图 8 基于特征映射距离的模子结构暗示图[33]
基于边际散播各别度量的方法以最小化统计度量为顾问， 将数据从样本空间变换到特征空间， 使两组边际散播不同的数据在特征空间中的距离最小化. 咱们不错看到， 上述考虑以源域和指标域之间的散播距离看成赔本函数， 构建深度神经辘集来索要域无关的特征. 该方法仍是达到了瓶颈期. 从索要域无关的特征来看， 基于对抗学习的方法具有更大的发展出路. 是因为用于度量域间散播各别的距离函数很难遐想， 上述责任除考虑[33]外均经受的均为经典的距离函数， 而基于对抗学习的方法无需东谈主为遐想复杂的距离， 在考试时主动学习两个域的对王人措施.
2.2.3 基于对抗学习的方法
基于对抗学习的域适合方法将生成对抗辘集(generative adversarial networks， GANs)[34]的念念想引入到域适合问题当中. 该方法的中枢为在模子考试过程中， 通过特征索要与域判别器的博弈来完成由源域到指标域的对王人. 具体来说， 域判别器学习区分源域特征与指标域特征的才略， 最小化域判别器的分类赔本; 而特征索要部分学习具有领域共性的特征来阻抑领域判别器， 最大化域判别器的分类赔本. 通过对抗考试得到的深度模子不错索要出既具有类别区分性又具有领域不变性的特征线路. Ganin等东谈主[35]领先将对抗学习应用到域适合问题当中， 提议领域对抗神经辘集(domain-adversarial neural network， DANN)， 其模子结构如图9所示.
Fig. 9 Architecture of Domain-Adversarial Neural Network(DANN)[35]
图 9 DANN模子结构暗示图[35]
域判别器的优化指标是最小化域判别器的分类赔本， 而特征索要部分的优化指标是最大化领域判别器的分类赔本. 为了在考试过程中同期达到优化两个毫不调换的指标函数的成果， Ganin 等东谈主[35]提议了梯度回转层(gradient reversal layer， GRL)， 其作用是当域判别器的分类赔本的梯度反向传播经过判别器之后， 对梯度取反， 然后将其反向传播到特征索要器. DANN 的指标函数不错线路为:
$ \begin{array}{l} E\left( {{\theta _f}， {\theta _y}， {\theta _d}} \right) = \displaystyle\sum\limits_{i = 1 \ldots N\atop \scriptstyle{d_i} = 0} {{L_y}\left( {{G_y}\left( {{G_f}\left( {{x_i};{\theta _f}} \right);{\theta _y}} \right)， {y_i}} \right) - \lambda \displaystyle\sum\limits_{i = 1 \ldots N} {{L_d}\left( {{G_d}\left( {{G_f}\left( {{x_i};{\theta _f}} \right);{\theta _d}} \right)， {y_i}} \right)} } = \displaystyle\sum\limits_{i = 1 \ldots N\atop \scriptstyle{d_i} = 0} {L_y^{i}} \left( {{\theta _f}， {\theta _y}} \right) - \lambda \displaystyle\sum\limits_{i = 1 \ldots N} {L_d^i} \left( {{\theta _f}， {\theta _d}} \right) \end{array} $
(5)
其中， θf、θy、θd分别为特征索要器、分类器与领域判别器的参数; Gf、Gy、Gd分别为特征索要器、分类器与领域判别器; ns、nt分别为源域样本与指标域样本的数目; yi、di分别代表着类别标签与领域标签， λ为权重悉数.
Javanmardi等东谈主[36]将DANN适配于医学图像分割任务， 用于多中心眼底血管分割， 图10为该方法的历程图， 其中
$ ({X}_{s}， {Y}_{s}) $
线路源域数据偏激对应的标签，
$ {X}_{t} $
线路指标域数据，
$ U(\cdot) $
线路分割模子.
Fig. 10 DANN method flow in fundus image retinal vessel segmentation[36]
图 10 用于眼底图像的视网膜血管分割的DANN方法历程图[36]
Yi等东谈主[37]遐想了一种面向电子显微镜图像的深度域适合方法: 对抗性预测迷惑的多任务适合模子APMA-Net (adversarial-prediction guided multi-task adaptation net)用于海马体的语义分割. 该模子的分割子分支引入了多个基于DANN的领域判别器， 分别用于源域和指标域数据的边际散播于要求散播对王人， 图11为该模子结构暗示图.
Fig. 11 The architecture of adversarial-prediction guided multi-task adaptation net(APMA-Net)[37]
图 11 对抗性预测迷惑的多任务适合模子结构暗示图[37]
Yang等东谈主[38]则将DANN的念念想应用于光学联系层图像(optical coherence tomography， OCT)的眼部病变指标检测任务， 该方法中DANN进一步分为面向候选框区域的局部特征对王人以及通盘图像的全局特征对王人. 图12为该模子结构暗示图， 其中RPN为候选区域索要辘集， E1和E2分别线路全局图像特征索要器和局部图像特征索要器， D1和D2分别线路全局图像域判别器和局部图像域判别器， GRL线路梯度回转层.
Fig. 12 Overview of domain adaptative network for OCT lesion detection[38]
图 12 用于OCT图像的病灶指标检测模子结构暗示图[38]
Zhang等东谈主[39]一样基于DANN开展考虑责任， 提议了数据集不变性对抗性模子DIA Net (dataset invariant adversarial net)， 是首个罢了腹黑磁共振图像的基底部/中部/尖部切片的全自动检测和位置回首的跨站点数据域适合方法; 图13(a)为该模子结构暗示图， 该方法十足经受了DANN的念念想; 图13(b)为将该模子用于腹黑MR多视角输入通谈的双心室遮掩猜测任务的历程暗示图， 其中每一个通谈都包括3个卷积层、3个最大池化层以及两个全流畅层， 标注为双划线虚线框的为无关性分支， 包含两个全流畅层， 对应于DANN中的域判别器部分.
Fig. 13 a: Schematic of dataset invariant adversarial network; b: System overview of dataset invariant adversarial model with multi-view input channels for bi-ventricular coverage estimation in cardiac MRI[39]
图 13 数据集不变性的对抗性模子摘录遐想及详确遐想[39]
Chen等东谈主[40]以为现存的对抗学习方法均为单向的域适合， 即生成的特征空间只受到其中一个域的甩手， 而丢失了另一个域的特征空间会导致两个域的特征空间缩小. 此外， 由于仅使用标注样本考试任务模子， 而无标注的指标域样本仅用于生成基于对抗学习的有记号样本的域适合空间， 会导致任务模子的域适合特征十足依赖于源域的标注样本. 基于上述情况， Chen等东谈主提议了双向域适合方法， 同期还在领域判别器后引入特征图重建模块， 图14为该模子中双向域适合的过程， 其中
$ {L}_{x} $
线路有标注的数据，
$ {U}_{x} $
线路无标注的数据， F线路由任务模子径直得到的特征域，
$ {F'} $
线路通过任务模子将F映射到预测标签域.
Fig. 14 Indirect double-sided domain adaptation[40]
图 14 非径直的双向域适合过程暗示图[40]
Zhang等东谈主[41]提议了深度显微镜适合模子DMA Net (deep microscopy adaptation net). 该模子在DANN的基础上加入了用于度量类内域间各别的交叉熵赔本函数， 以及改善类别抗拒衡、分类难度各别问题的focal loss， 将在数字病理图像数据考试的结肠息肉分类模子适配于无标注的显微镜图像数据上. 此外， 该模子的特征索要部分经受轻量级卷积神经辘集MobileNetV2以得志低功耗和高推理速率的履行需求. 图15为该模子结构暗示图.
Fig. 15 The scheme of Deep Microscopy Adaptation Network[41]
图 15 深度显微镜图像适合性模子结构暗示图[41]
Varsavsky等东谈主[42]提议了测试时无监督域适合模子TTUDA (test time unsupervised domain adaptation) Net， 在3个参数分享的子分割模子(分别用于源域、指标域以及数据增广操作后的指标域数据的分割模子)中引入域判别器， 并加入一致性赔本函数使模子约略索要到域无关的指标域特征. 图16为该模子结构暗示图: 3个子分割模子参数分享， 每一个深度的特征图经过双线性插值以及拼接操作后输入域判别器模块， 成对一致性赔本函数
$ {\mathcal{L}}_{pc} $
用于最小化指标域图像经分割模子预测得到的标签
$ {y}_{T} $
和数据增广操作后的指标域数据经分割模子预测得到的标签
${y}_{T}^{\rm aug}$
.
Fig. 16 Framework of test time unsupervised domain adaptation[42]
图 16 测试时无监督域适合模子结构暗示图[42]
Liu等东谈主[43]提议了一种无监督的显微镜图像实例分割方法: 全景级域适合Mask R-CNN模子PDAM (panoptic domain adaptative mask R-CNN)， 通过整合语义级和实例级特征适配， 在全景级对跨域特征进行对王人， 并遐想了一种任务重权机制来为检测和分割赔本函数分派权值. 图17为该模子结构暗示图， 该模子的输入为由CycleGAN合成的类指标域的源域图像以及真是的指标域图像组成. 由于合成图像存在生成额外细胞核的情况， 因此作家在图像干涉模子前， 经受了Ostu等东谈主[44]遐想的辅助图像修补机制: 使用一种阈值聘任算法为出路和布景的二值语义分割设定阈值， 再移除特别细胞核[45]， 即用未标注的像素替换已标注的特别像素.
Fig. 17 Detailed illustration of Panoptic Domain Adaptative Mask R-CNN(PDAM)[43]
图 17 全景级域适合Mask R-CNN模子结构暗示图[43]
Shao等东谈主[46]提议了一种面上前哨腺癌(prostate cancer， PCa)分类的3东谈主零和博弈模子TPMG (three-player minimax game)， 灵验地缓解了多中心经直肠外超声图像的数据异质性问题， 提高了分类性能. 图18为该模子结构暗示图.
Fig. 18 Three-player minimax game framework[46]
图 18 3东谈主零和游戏模子结构暗示图[46]
图18中3个子模块共同完成对抗性考试. 编码器E将RF切片映射为线路
$ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $
， 其指标是罢了一个最优编码器
$ {E}^{*} $
， 其输出为
$ {{\textit{z}}}^{*} $
， 得志公式(6)和公式(7).
$ H\left(y\right|{{\textit{z}}}^{*})=H(y\left|x\right) $
(6)
$ H\left(s\right|{{\textit{z}}}^{*}， p\left(y\right|x\left)\right)=H\left(s\right|p\left(y\right|x\left)\right) $
(7)
公式(6)标明最优编码线路
$ \textit{z}^{*} $
约略灵验地从原始输入的RF切片x中索要通盘与PCa关系的信息， 但维度显赫缩短(与256×256输入切片比较， 维度仅为1000的向量); 公式(7)标明最优编码线路
$ {{\textit{z}}}^{*} $
不包含任何与域关系的信息， 只包含要求标签散播p(y|x)中仍是包含的信息， 标明域之间的异质性已得到灵验缓解. 标签预测器F将编码线路
$ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $
映射为
$\tilde y \in {\Omega \tilde y} $
， 其指标是罢了一个最优的预测器
$ {F}^{*} $
， 输出
$ {y}^{*} $
=
$ {F}^{*} $
(
$ {{\textit{z}}}^{*} $
)， 得志公式(8). 公式(8)标明通过使用最优编码器
$ {E}^{*} $
的输出
$ {{\textit{z}}}^{*} $
看成输入， 最优预测器
$ {F}^{*} $
约略准确地预测原始输入
$ RF $
切片
$ x $
的真是标签. 域判别器D将编码线路
$ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $
和猜测的域散播
$ p_{\tilde{y}}(\cdot | {\textit{z}}) $
映射为猜测的域
$ s\in {\mathrm{\Omega }}_{s} $
， 其指标是罢了输出
$ {s}^{*} $
的最优的
$ {D}^{*} $
， 得志公式(9). 公式(9)标明通过使用最优编码器和标签预测器的输出， 最优域判别器
$ {D}^{*} $
约略灵验地索要包含在原始RF切片x中的域关系信息.
$ H\left(\tilde{y} \mid \textit{z}^* \right)=H(y \mid x) $
(8)
$ H\left(s^{*} \mid {\textit{z}}^{*}， p\left(\tilde{y}^{*} \mid x\right)\right)=H\left(s \mid x{， } p(y \mid x)\right) $
(9)
在DANN中， 由于参数分享， 特征索要部分弗成索要源域和指标域的域专属信息. 为卓绝到分属于源域和指标域的域专属信息， 对抗判别域适合(adversarial discriminative domain adaptation， ADDA)[47]经受模子参数不分享的方式， 即源域特征和指标域特征镇定索要， 源域和指标域的辘集结构调换， 指标域模子参数使用源域预考试模子的参数运行化. 与DANN比较， ADDA由于参数不分享， 特征索要部分约略更好地索要到域专属特征. ADDA以迭代的方式最小化以下公式(10)–(12)来最小化源域特征与指标域特征之间的距离， 其中M线路特征索要模块， C线路分类器， D线路域判别器.
$ \underset{{M}_{s}， C}{{\min}}{\mathcal{L}}_{\rm cls}({\mathit{X}}_{\mathit{s}}， {Y}_{s})=-{\mathit{E}}_{({\mathit{x}}_{\mathit{s}}， {y}_{s})~({\mathit{X}}_{\mathit{s}}， {Y}_{s})}\sum _{k=1}^{K}{\mathit{I}}_{\left[k={y}_{s}\right]}{\log}C\left({M}_{s}\right({\mathit{x}}_{\mathit{s}}\left)\right) $
(10)
$ \underset{D}{{\min}}{\mathcal{L}}_{{\rm adv}_{D}}({{X}}_{{s}}， {{{X}}_{{t}}， {M}_{s}， M}_{t})=-{{E}}_{{{x}}_{{s}}~{{X}}_{{s}}}\left[{\log}C\left({M}_{s}\right({{x}}_{{s}}\left)\right)\right]-{{E}}_{{{x}}_{{t}}~{{X}}_{{t}}}\left[{\log}(1-D({M}_{t}\left({{x}}_{{t}}\right)\left)\right)\right] $
(11)
$ \underset{{M}_{t}}{{\min}}{\mathcal{L}}_{{\rm adv}_{M}}({{X}}_{{s}}， {{X}}_{{t}}， D)=-{{E}}_{{{x}}_{{t}}~{{X}}_{{t}}}\left[{\log}(1-D({M}_{t}\left({{x}}_{{t}}\right)\left)\right)\right] $
(12)
图19为ADDA方法的基本历程.
Fig. 19 Overview of ADDA approach[47]
图 19 由ADDA方法罢了域适合的方法[47]
Zhu等东谈主[48]将ADDA方法加以适配并应用于前哨腺磁共振图像分割任务， 提议了范围加权域适合模子BOWDA-Net (boundary-weighted domain adaptative net). 图20为该方法的模子结构暗示图， 模子由源域样天职割子模块、指标域样天职割子模块和领域判别器3个主要模块组成.
Fig. 20 Overview of Boundary-weighted domain adaptative neural network(BOWDA-Net)[48]
图 20 范围加权域适合模子结构暗示图[48]
此外， 由于传统的图像分割指标赔本函数是面向通盘分割(出路)区域遐想的， 而准确勾画出器官的范围是十分有临床真谛的. 因此作家在指标函数中加入了用于顾问位置、形势以及标签一语气性的距离赔本函数如公式(13)， 使模子爱好对范围的分割.
$ {L}_{\rm dist}=\beta \sum _{p\in B}\hat{y}\left(p\right){M}_{\rm dist}\left(p\right) $
(13)
其中，
$\hat{y}$
为分割驱散， p为包含分割驱散范围像素点的点集B中的一个点，
$ {M}_{\rm dist}\left(p\right) $
为ground truth标签中由范围得到距离变换构造的距离函数，
$\;\beta$
为加权悉数.
Figueira等东谈主[49]使用ADDA在跨模态影像(CT⟶MRI)上对腹部肿瘤进行分类. 图21为该模子中域适合的方法， 模子的特征编码器部分使用在ImageNet上预考试的ResNet50， 源域图像考试阶段、域适合阶段以及指标域图像预测阶段均使用2个全流畅层， 分别看成源域图像的分类器、领域判别器和指标域图像分类器.
Fig. 21 Proposed adversarial-based domain for tumor detection[49]
图 21 基于对抗学习的域适合方法用于肿瘤检测[49]
Shen等东谈主[50]考虑了多中心眼底图像质料分类任务， 提议了一种半固定ADDA方法: 模子中特征索要器的深层参数分享， 图22为自动眼底图像质料评估的总体模子暗示图， 该模子由标志定位模块、域适合模块、图像质料分类模块以及视觉反应模块组成.
Fig. 22 The framework of the proposed automatic fundus image quality assessment system[50]
图 22 自动眼底质料评估模子总体暗示图[50]
图23为该模子域适合模块的历程图， 不错分为3个方法: (1) 通过源域数据考试(通过监督学习的方式)得到图像的编码器和分类器; (2) 通过对王人源域和指标域的边际散播， 以对抗学习的方式考试得到指标域图像的特征编码器， 需要防卫的是， 在本方法中模子高层的权重是冻结景色， 仅低层权重是可考试的; (3) 在推理阶段， 测试图像通过指标域编码器映射.
Fig. 23 Overview of the domain adaptation module in the IQA framework[50]
图 23 自动眼底质料评估模子的域适合模块结构暗示图[50]
Ren等东谈主[51]考虑基于了ADDA的域适合方法， 诚然指标域数据无标注， 但从数字病理图像剪辑得到的切片(patch)仍然不错由指标域辘集预测得到调换的标签. 尽管基于对抗学习的赔本函数迫使2个域的散播相似， 但并弗成顾问指标域辘集来详情输入切片的相似性. 因此作家为指标域数据引入了孪生辘集结构， 以对来自归并张数字病例图像的切片进行正则化， 使其具有调换的标签. 图24为该模子结构暗示图.
Fig. 24 The architecture of the unsupervised domain adaptation for prostate WSI classification[51]
图 24 用于前哨腺数字病理学图像分类的无监督与适合模子结构暗示图[51]
Liu等东谈主[52]提议了一种眼底图像的视网膜血管分割无监督域自适合方法: 协同特搜集成适合模子CFEA(collaborative feature ensembling adaptation)， 在分割模子的中间层和输出层分别引入领域判别器. 图25为该模子结构暗示图， 主要分为3个子模子: 上部竖线条纹布景块绚烂的为源域子模子 (student network， SN)， 中部左斜线条纹布景块绚烂的为指标域学生子模子 (target student network， TSN) 以及下部横线条纹布景块绚烂的为指标域老师子模子 (target teacher network， TTN). SN和TSN分别对应于源域样本的监督学习和指标域样本的对抗判别学习. 此外， 该方法使SN和TSN分享从源域和指标域样本中瓜代学习到的权值. 有记号的样本使辘集约略学习准确的分割预测， 而无记号的样本带来无监督学习， 看成一种扰动来正则化考试[53]的模子.
Fig. 25 Overview of collaborative feature ensembleing adaptation(CFEA)model[52]
图 25 协同特搜集成适合模子结构暗示图[52]
Dong等东谈主[54]以为样本的标签是域无关的， 并基于此主见提议了一种类GAN的无监督域自适合自动猜测心怀比率模子UDAAECR (unsupervised domain adaptation for automatic estimation of cardiothoracic ratio): 生成器部分为分割模子， 判别器用于判别刻下样本为分割模子的预测驱散照旧真是标签， 通过如上的对抗学习建立使模子学习域无关的特征. 图26为该模子结构暗示图.
Fig. 26 The architecture of unsupervised domain adaptation for automatic estimation of cardiothoracic ratio[54]
图 26 无监督域自适合自动猜测心怀比率模子结构暗示图[54]
Xue等东谈主[55]以为浅易地进行对抗学习去对王人源域和指标域是不充分的， 常会出现模子预测驱散与金措施差距较大， 为了改善这种情况， 提议了双任务自监督模子DTSS Net (dual-task self-supervision network)， 该模子引入了额外的边际分割监督的分支. 图27为该模子结构暗示图.
Fig. 27 The architecture of dual-task self-supervision for cross-modality domain adaptation[55]
图 27 跨模态域适合的双任务自监督模子结构暗示图[55]
把柄对抗方式的不同， 基于对抗学习的方法不错分为单对抗域适合和多对抗域适合. 其中， 单对抗方法是指模子中只须一个用于对王人源域和指标域边际散播的领域判别器; 而多对抗方规则是指使用多个领域判别器， 不仅约略对王人领域间的边际散播， 还引入了样本的类别信息来对王人领域间的要求概率散播. 通过关于现存责任的调研， 咱们不错看到的是， 目下的考虑责任无一例外均经受了单对抗的方法， 咱们以为这可能和大部分医学图像分析的任务性质筹商， 因为大多数医学图像分析均为二值的图像分类或者图像的语义分割， 不同于当然图像， 其包含的类别信息较为浅易.
2.2.4 基于重构的方法
基于重构的方法是指使用深度自编码器索要具有可迁徙性特征的方法. 深度自编码(auto-encoder， AE) [56]是罢了重构的基本辘集结构， 是一种不错用来阻挠信息赔本的无监督学习方法， 由前馈神经辘集组成， 包括样本特征编码息争码两个过程. 深度自编码器领先将输入映射为编码， 最终将已编码的特征重构为输入， 深度自编码器的标签等于其输入的数据. 通过最小化信息赔本来重构输入， 以保证经过模子编码后的特征最大适度地保抓输入数据原有的特质. 基于重构的域适合方法的优点等于约略保证迁徙过程中最大适度地保留原始数据所含有的信息. 图28为深度自编码器的基本结构.
Fig. 28 Architecture of Auto-Encoder(AE)
图 28 深度自编码器的基本结构
在深度自编码器中， 域适合通过寻找领域不变性信息进行常识迁徙， 模子将输入编码为域不变性特征的过程会丢失部分域专属信息， 而该信息可能故意于任务， 因此需要使用重构阻挠信息赔本. 文件[57， 58]使用源域和指标域的通盘样本来考试自编码器， 然后在源域编码上考试分类模子， 并将分类模子径直应用在指标域上.
Cheng等东谈主[59]将变分自编码器(variational auto-encoder， VAE)用于跨模态(MRI⟶CT)无监督域适合场景下的三维腹黑图像分割任务中， 其中源域和指标域专属的编码器息争码器同期用于源域和指标域图像的特征索要与重构. 图29为该模子结构暗示图.
Fig. 29 Architecture of the data efficient unsupervised domain adaptation[59]
图 29 数据高效无监督域适合模子结构暗示图[59]
Yi等东谈主[37]引入图像重构分支， 用于学习指标域图像的领域专属特征. 图11为该模子结构暗示图， 该模子包括分割模子主分支、图像重构分支、基于特征图的域判别分支以及基于标签的域判别分支. 其均分割模子和图像重构模子分享编码器部分.
He等东谈主[60]的考虑基于特别检测任务中的一个中枢假定[61]: 特别输入的重构纰缪浩大于普通输入， 因此将源域视为普通输入， 将指标域视为特别输入， 使用全卷积自编码器[62]度量源域和指标域的对王人进程. 图30所示为在考试和测试下建立的模子结构图， 其中
$ {x}_{s} $
线路源域数据，
$ {y}_{s} $
线路源域数据对应的标签，
$ {x}_{t} $
线路指标域数据，
$ {y}_{t} $
线路模子对指标域数据的预测标签.
Fig. 30 Architecture of self domain adapted network in training and testing phase[60]
图 30 在考试和测试分别建立下的自域适合模子结构暗示图[60]
基于重构的方法约略保证迁徙过程中数据的原有信息被苟且， 自编码器通过最小化信息赔本对输入数据进行重构， 以保证编码后数据保抓原有的特质. 文件[59，60]通过重构阻挠领域专属信息的赔本， 以缩短指标域的泛化纰缪， 其中语件[59]对输入进行两次编码， 对应地重构过程也分为两次: 二次编码重构回一次编码， 再由一次编码重构回输入， 该方法与单次重构比较， 约略增强编码的线路才略. 文件[37]则使用重构解耦特征， 将域专属信息与域无关信息分离.
2.2.5 基于数据增广的方法
域适合将在源域中学到的常识迁徙到指标域， 领域泛化则要求模子只在具有不同散播的源域数据上进行考试， 以提高模子泛化才略来适用于任何未知的指标域. 不管是学习源域特征到指标域特征的映射、寻找域不变性特征的域适合方法， 照旧增强特征泛化才略的领域泛化方法， 尽管不错在一定进程上缓解多中心数据的异质性带来的影响， 但是仍远无法达到监督学习方法取得的成果.
关于域适合来说， 基于数据增广的方法是指先使用有标签的源域样本以及无标签的指标域样本合成带标签的指标域样本， 再使用合成样本考试指标域辘集的方法; 关于领域泛化来说， 基于数据增广的方法是指使用源域样本合成填塞丰富的考试样本以供模子进行考试. 基于数据增广的方法不错产生近乎无尽的样本以供卑劣任务模子进行考试. 此外， 该方法较其他方法有着更好的可解释性， 仅需在视觉上判断合成样本与真是样本之间的各别就约略约莫判断样本是否得志考试的需求， 使刻下方法约略学习到较好的从源域到指标域的映射或者对源域较好的变换. 而其他的域适合方法和领域泛化方法只可波折不雅测模子在指标域的性能推崇约莫推测该方法的迁徙成果， 以及是否具备填塞的泛化才略.
最常见的深度生成模子等于生成对抗辘集GAN[34]. GAN包括生成器和判别器两大部分. 其中生成器用于样本生成， 判别器用于鉴识输入的样本是真是样本照旧生成样本. GAN 的考试过程等于生成器与判别器之间互相博弈的过程. 当判别器弗成区分真是样本与生成样本时， 证实生成器具备合成靠拢真是样本的才略. 在GAN中， 生成器的输入是杂音， 而输出则是合成图像. 由于GAN无法生成对应合成样本的标签， 是以仅使用 GAN 并弗成完成指标域关系的任务. 基于数据增广的方法的中枢在于缔造源域样本与合成样本之间的关系， 并基于此关系由源域样本的标签给出合成样本的标签. 针对域适合问题， 目下主要经受基于图像翻译模子的方法. 图像翻译常见于当然图像的视觉任务如作风迁徙， 是指模子输入源域图像， 输出靠拢指标域散播的合成图像.
Mahmood等东谈主[63]将真是的医学影像以基于GAN的方法翻译为合成方式的医学影像， 摒除了病东谈主个体间的各别性. 图31为该方法历程图， 真是数据通过谐和器模块被谐和为具有合成数据作风的真是数据， 判别器则用于区分刻下样本是合成数据照旧具有合成数据作风的真是数据.
Fig. 31 Proposed unsupervised reverse domain adaptation in adversarial training setup[63]
图 31 对抗性考试建立下的无监督反向域适合方法历程图[63]
Yang等东谈主[64]以GAN为基础， 提议了一种仅需一个指标域样本的在线域适合模子. 图32为该模子结构暗示图， 该模子的输入为不可见的指标域样本语料库的某张测试图像， 生成子模子生成外不雅判别器(
${D}_{\rm app}$
)无法分辨的、图像散播来自源域图像语料库的伪造图像. 随后分割子模子通过伪造图像生成伪造的指标结构， 伪造的指标结构的生成原则等于阻抑结构判别器(
${D}_{\rm struct}$
)使其弗成分辨其到底是伪造样本照旧真是样本.
Fig. 32 Schematic view of generalizing deep model for ultrasound image segmentation[64]
图 32 面向超声图像分割的深度泛化模子结构暗示图[64]
Yu等东谈主[65]提议了样本适合性生成对抗模子SA GAN (sample-adaptative GAN)， 该模子一样以图像翻译的基准模子GAN看成主分支模子， 此外还在生成器的中间层引出了样本自适合模子: 通过学习每个样本对与其相邻考试样本对的关系， 并诈欺这些考试样本的指标模态特征看成辅助信息辅助生成模子的考试， 而不仅是将考试样本对的指标模态图像用于赔本函数的诡计. 图33为该模子结构暗示图.
Fig. 33 Framework of the sample-adaptative GANs[65]
图 33 样本适合性生成对抗模子结构暗示图[65]
由于图像翻译模子常常要求考试数据为样本对， 而面向域适合问题的数据集或者说一般的监督学习的数据集是不包含样本对的， 是以将图像翻译方法适配于域适合问题时， 常会引入一些顾问如对偶学习[66]来保证模子输入输出的类别标签一致性. 在医学图像的域适合问题中， 大部分考虑责任以CycleGAN[67]为基础. CycleGAN考虑到使用原始的GAN方法进行图像翻译: 关于两个领域X、Y的图像， 界说一个映射
$ G: X\to Y $
， 也即
$ \hat{y}=G\left(x\right) $
， 并通过对抗考试将
$ y $
和
$\hat{y}$
区分开来， 最优的
$ G $
产生的
$ \hat{Y} $
表面上将会和Y同散播. 由于领域间的样本并未配对， 因此无法详情一个独一的映射关系. 受pix2pix 念念想[68]以及轮回一致性监督学习念念想[69]启发， Zhu等东谈主[67]提议了双射映射的生成对抗模子CycleGAN. 图34为CycleGAN的模子结构及双向轮回分别迭代的方法， 其中
$ {y}_{{b}_{1}}\ldots {y}_{{b}_{K}} $
线路源域数据x的K个最隔邻数据所对应的指标模态数据，
$ {f}_{X}^{c} $
线路由特征索要器
$ {G}_{c} $
得到的特征，
$ {f}_{X}^{s} $
线路由特征团聚方法得到的特征.
Fig. 34 CycleGAN outline and dual-way cycle iteration steps respectively[67]
图 34 CycleGAN模子摘录遐想及双向轮回分别迭代的方法[67]
图34(a) CycleGAN包含两个映射函数
$ G: X\to Y $
和
$ F: Y\to X $
， 以及对抗性判别器
$ {D}_{Y} $
和
$ {D}_{X} $
.
$ {D}_{Y} $
促使G将X域的数据翻译为适应Y域散播的数据， 直到
$ {D}_{Y} $
无法区分刻下数据是由X域生成的数据照旧真是的Y域数据;
$ {D}_{X} $
， F同理. 为了顾问上述映射关系， 引入了两个“轮回一致性”赔本函数: 从一个域谐和到另一个域， 然后再谐和回来， 得到的驱散应与运行输入一致. 图34(b)前向轮回一致性赔本:
$ x\to G\left(x\right)\to F\left(G\right(x\left)\right)\mathrm{ }\approx x $
. 图34(c)反向轮回一致性赔本:
$ y\to F\left(y\right)\to G\left(F\right(y\left)\right)\mathrm{ }\approx y $
.
样本x通过映射G生成领域Y里的一个样本
$ \hat{Y} $
， 然后
$ \hat{Y} $
通过F生成
$ \hat{x} $
. 梦想情况下， x与
$ \hat{x} $
应当十足调换， 因此通过
$ {\mathcal{L}}_{cyc}^{x} $
度量x与
$ \hat{x} $
的辞别; 同理， 通过
$ {\mathcal{L}}_{cyc}^{y} $
度量
$ y $
与
$ \hat{y} $
的辞别. CycleGAN的赔本函数由重构纰缪
$ {\mathcal{L}}_{cyc} $
(公式(14))和两组GAN纰缪公式(15)和公式(16)组成:
$ {\mathcal{L}}_{cyc}(G， F)={{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[{\left\| {F\left(G\right(x\left)\right)-x} \right\|}_{1}\right]+{{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[{\left\| {G\left(F\right(y\left)\right)-y} \right\|}_{1}\right] $
(14)
$ {\mathcal{L}}_{\rm GAN}(G， {D}_{Y}， X， Y)={{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[\log{D}_{Y}\left(y\right)\right]+{{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[\log(1-{D}_{Y}(G\left(x\right)\left)\right)\right] $
(15)
$ {\mathcal{L}}_{\rm GAN}(F， {D}_{X}， Y， X)={{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[\log{D}_{X}\left(x\right)\right]+{{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[\log(1-{D}_{X}(G\left(y\right)\left)\right)\right] $
(16)
其中，
$ {D}_{X} $
和G分别为领域X的判别器和生成器，
$ {D}_{Y}$
和F分别为领域Y的判别器和生成器. 轮回一致性赔本函数使用
$ {L}_{1} $
范数的形势. 最终的赔本函数如公式(17)所示.
$ \mathcal{L}(G， F， {D}_{X}， {D}_{Y})={\mathcal{L}}_{\rm GAN}(G， {D}_{Y}， X， Y)+{\mathcal{L}}_{\rm GAN}(F， {D}_{X}， Y， X)+\lambda {\mathcal{L}}_{cyc}(G， F) $
(17)
优化指标访佛于GAN， 如公式(18)所示.
$ G^*， f^* = \arg \mathop {\min}\limits_{G， F} \mathop {\max }\limits_{{D_X}， {D_Y}}{\mathcal{L}} (G， F， {D_X}， {D_Y}) $
(18)
Jia等东谈主[70]提议了一种联接轮回一致性域适合以及对抗学习的无监督CBCT (cone-beam computed tomography)分割方法， 该方法不错罢了对CBCT图像的分割而无需使用标注的CBCT图像进行模子考试. 该方法将指标域样本看成模子的输入， 通过CycleGAN生成适应源域散播的样本. 图35为罢了从CT到CBCT模态谐和的CycleGAN模子结构暗示图.
Fig. 35 The CycleGAN architecture is used to generate sCBCT from CT[70]
图 35 从CT到CBCT模态谐和的CycleGAN模子结构暗示图[70]
Xing等东谈主[71]首个将CycleGAN用于跨模态图像的细胞核分割: 使用CycleGAN将数字病理学图像滚动为电子显微镜图像用于卑劣的分割任务. 图36为该方法历程图， 其中
$ {G}_{ST} $
和
$ {G}_{T} $
分别线路源域到指标域的样本生成器偏激相对应判别器，
$ {G}_{TS} $
线路指标域到源域的样本生成器， R线路基于回首任务的细胞核检测器. GAN赔本用于对抗模子的考试， 轮回赔本用于保证由源域到指标域再到源域的图像约略谐和为原始图像. 细胞核检测器R领先通过域适合至指标域散播的源域样本考试， 之后使用指标域图像偏激伪标签进行微调.
Fig. 36 Overview of the proposed adversarial domain adaptation for cell detection[71]
图 36 用于细胞检测的对抗性域适合方法历程图[71]
Yang等东谈主[72]提议了残差轮回对抗生成模子Residual-CycleGAN. 该模子引入残差模块对源域图像作念残差变换. 图37为Residual-CycleGAN的模子结构暗示图， 其中F和G分别线路含有残差模块的生成器， 分别用于领域A和领域B; 和b分别线路领域A和领域B的图像; aB和bA分别线路将图像a谐和至领域B、将图像b谐和至领域A; f线路与开导关系的特征索要器;
$ {D}_{A} $
和
$ {D}_{B} $
分别线路领域A和领域B的域判别器;
$ {\mathcal{L}}_{cyc} $
线路轮回一致性赔本函数;
$ {\mathcal{L}}_{\rm GAN} $
线路生成对抗赔本函数.
Fig. 37 The framework of Residual-CycleGAN[72]
图 37 Residual-CycleGAN的模子结构暗示图[72]
Chen等东谈主[73]将CycleGAN与分割模子联接， 罢了端到端的考试， 其中源域与指标域样本的特征索要器参数分享. 图38为该模子结构暗示图及图像对王人模块历程图和特征对王人模块历程图.
$ {G}_{t} $
线路源域到指标域图像的生成器. 分享编码器E与解码器U共同组成了图像重构模块， 与像素级分类模块
$ {C}_{i} $
组成了图像分割模块. 判别器
$ \{{D}_{t}， {D}_{s}， {D}_{{p}_{i}}\} $
对各自的输入求导并诡计赔本. 轮回一致性赔本函数被用于图像对王人模块.
Fig. 38 Overview of unsupervised domain adaptation(top)， and separate views of data flows for image alignment(bottom left) and feature alignment(bottom right)[73]
图 38 模子结构暗示图及图像对王人模块历程图、特征对王人模块历程图[73]
Xie等东谈主[74]发现CycleGAN的一致性赔本会变成图像失真. 为了改善该问题， 提议了医学图像互信息生成对抗模子MI2GAN (medical image mutual information GAN). 该模子从两个方面脱手: (1) 包含图像对象信息的内容特征不错从域信息中十足分离出来， 加入对抗自编码器; (2) 互信息， 度量两个变量分享的信息， 看成图像对象保存的度量， 加入一个互信息判别器. 图39为该方法历程图， 其中
$ {G}_{AB} $
线路由域A到域B的生成器，
$ {D}_{MI} $
线路互信息判别器，
$\left(\left\{{Enc_A}， {Dec_A}\right\}，\right\{{Enc_B}， {Dec_B}\left\}\right)$
组成了X型的双流自编码器.
Fig. 39 The framework of
$ {MI}^{2}GAN $
[74]
图 39 互信息顾问下的生成对抗方法历程图[74]
Yang等东谈主[75]的考虑不同于基于CycleGAN的一双一图像翻译模子， 提议了一种多对多图像翻译方法， 约略捕捉复杂的跨域关系. 图40为该模子解耦线路学习模块以及模子的历程图， 模子主要由解耦线路学习模块以及分割模块组成. 解耦线路学习模块主要包括用于域内图像重构的VAE以及用于跨域图像翻译的GAN， 其中
$ {E}_{c} $
线路图像的内容编码器，
$ {E}_{s} $
线路图像的作风编码器， s和c为对应的作风编码和特征编码， G线路图像生成器， D线路域判别器.
Fig. 40 Framework for Disentangle Representation Learning Module(Left)、Pipeline of Domain Adaptation via Disentangled Representation(DADR， Right)[75]
图 40 模子的解耦线路学习模块及模子历程图[75]
Jiang等东谈主[76]提议了肿瘤敏锐的对抗性域适合模子TAADA Net (tumor-aware adversarial domain adaptation network). 该模子在由CT生成MR的过程中引入了肿瘤关系的赔本函数， 以保证生成的MR上包含对应CT上的肿瘤结构. 图41为该模子结构暗示图， 该模子主要由CT生成MR图像的CycleGAN、用于MR图像肿瘤分割的分割子模子组成. 模子领先通过大批的已标注的CT图像生成相应的MR图像， 再将这些生成的MR样本与真是的MR样本看成分割子模子的考试样本. 肿瘤关系赔本由肿瘤赔本(图中双笔画实线卵形部分)以及特征赔本(图中双笔画虚线卵形部分)组成. 其中肿瘤赔本用于顾问CT图像和合成MR图像的U-Net以生成相似的肿瘤分割驱散; 特征赔本通过使用如下的顾问要求(公式(19))迫使CT图像和合成MR图像的高层特征分享:
Fig. 41 Architecture of tumor-aware adversarial domain adaptation[76]
图 41 肿瘤敏锐的对抗性域适合模子结构暗示图[76]
$ {L}_{\rm feat}({x}_{c}\sim{X}_{\rm CT})=\frac{1}{C\times H\times W}{\left\| {{\phi }_{\rm CT}\left({x}_{c}\right)-{\phi }_{\rm MRI}\left({G}_{\rm CT\to MRI}\right({x}_{c}\left)\right)} \right\|}^{2} $
(19)
其中，
${L}_{\rm feat}$
为特征赔本，
${X}_{\rm CT}\mathrm{、}{x}_{c}$
分别线路CT 图像域及采集自该域的一个样本.
$ C\mathrm{、}H\mathrm{、}W $
分别为图像的通谈数、高和宽，
${\phi }_{\rm CT}$
、
${\phi }_{\rm MRI}$
分别线路由CT图像和MR图像对应的U-Net索要到的高层特征.
Tang等东谈主[77]考虑怎样将胸部疾病分类模子从有标注的源域迁徙到未标注的指标域上， 以缩短在一个全新的数据集上标注的责任量. 该考虑标明在非配对图像翻译模子中引入类别关系的语义信息有助于处理域适合问题， 提议了任务导向的无监督对抗模子TUNA-Net (task-oriented unsupervised adversarial network)， 该模子以CycleGAN为基础， 加入了类别信息的顾问模块. 图42为该模子结构暗示图.
Fig. 42 The architecture of task-oriented unsupervised adversarial network(TUNA-Net)[77]
图 42 任务导向的无监督对抗模子结构暗示图[77]
Jiang等东谈主[78]提议了概率分割和图像散播匹配生成对抗模子PSIGAN (probabilistic segmentation and image distribution matching GAN). 作家遐想了一种合股散播匹配的对抗赔本函数， 以加入更优的形势先验对基于CycleGAN的无监督域适合模子进行顾问， 迷惑指标域样本的合成. 图43为该模子结构暗示图， 生成器
$ {G}_{C}^{M} $
将CT图像
$ {x}_{c} $
谐和为伪MR图像
$ {x}_{c}^{m} $
， 并将其用于分割子模子
$ S $
的考试.
$ S $
的编码器分为参数不分享的
$ {E}_{M} $
、
$ {E}_{C}^{M} $
以及一个参数分享的解码器
$ DE $
， 通过子模子
$ {S}_{M} $
和
$ {S}_{C}^{M} $
为
$ {D}_{\rm struct} $
和
$ {G}_{C}^{M} $
分离梯度流.
$ {D}_{\rm struct} $
诡计合股散播匹配{{
$ {x}_{c}^{m} $
，
$ {\psi }_{c}^{m} $
}， {
$ {x}_{m} $
，
$ {\psi }_{m} $
}}对抗赔本
$ {\mathcal{L}}_{\rm struct}^{D} $
，
$ {\psi }_{c}^{m} $
和
$ {\psi }_{m} $
由
$ {S}_{M} $
得出.
$ {G}_{C}^{M} $
对应的对抗赔本函数
$ {\mathcal{L}}_{\rm struct}^{G} $
使用{
$ {x}_{c}^{m} $
，
$ {\psi }_{c}^{m} $
}，
$ {\psi }_{c}^{m} $
由
$ {S}_{C}^{M} $
得出.
$ {D}_{M} $
和
$ {D}_{C} $
为MR和CT图像域对应的全局像素强度判别器;
$ {G}_{M}^{C} $
以CycleGAN的方式将MR图像谐和为CT图像. 麻豆 孤注一掷
Fig. 43 Architecture of Probabilistic Segmentation and Image Distribution Matching GAN(PSIGAN)[78]
图 43 概率分割和图像散播匹配生成对抗模子结构暗示图[78]
Chen等东谈主[79]将少样本学习引入基于CycleGAN的图像翻译模子， 以改善CycleGAN存在的源域和指标域之间存在多种可能映射而导致的歧义问题: 通过一个配对的样本对， 在源域和指标域间缔造逐一双应的锚点集来学习源域和指标域之间相似的特征模式. 图44为该方法历程图.
Fig. 44 The framework of one-shot GAN[79]
图 44 单样本生成对抗方法历程图[79]
Zhang等东谈主[80]的考虑不同于上述非配对图像翻译任务， 并未以CycleGAN为基础， 而是提议了一种噪声适合模子NA GAN (noise adaptation GAN)， 由一个生成器和两个判别器组成， 其中一个判别器用于学习指标域T所包含的噪声模式， 另一个判别器则使模子约略更好地保存生成图片的内容信息. 图45为该模子结构偏激考试历程， S线路源域. 其考试历程自顶向下分别为每一次迭代关于生成器G、纹理信息判别器DS、内容信息判别器DC的优化过程.
Fig. 45 Architecture of noise adaptation GAN(Top)、Training Pipeline(Bottom)[80]
图 45 噪声适合性生成对抗模子结构偏激考试过程[80]
关于领域泛化问题， 最浅易和直不雅的主见等于丰富考试样本， 也即数据增广. 罢了数据增广有两种阶梯: 扩大数据集以及合成考试样本. 由于扩大数据集需要大范围数据采集和东谈主工标注， 而医学图像无论是从数据取得照旧标注上时常都存在着好多穷苦， 因此， 通过模子生成更多的考试样本就成了领域泛化的盛大聘任.
Zhang等东谈主[81]通过使用如图像锐化、图像暗昧等图像处理函数进行组合， 产生不同图像质料、图像外不雅以及图像的空间位置改变的考试样本， 以模拟多样可能的域漂移原意， 进而提高模子的泛化才略. 图46为该方法在(a)前哨腺MRI， (b)左心房MRI， (c)左心室MRI 的驱散样例.
Fig. 46 Examples of deep stacked transformations (BigAug) results on (a) whole prostate MRI， (b) left atrial MRI， and (c) left ventricle ultrasound[81]
图 46 深度堆叠谐和方法的驱散样例[81]
Xiong等东谈主[82]以为抖动的面容空间有助于模拟未知域数据的散播情况， 通过应用图像局部平均减法和对比度增强， 将像素值变化较大的图像投影到调换且镇定的散播中， 以阻挠布景噪声而保留关节的病情信息; 同期还经受了一种特殊的主身分分析(principal components analysis， PCA)方法， 将考试图像的面容与给定图像中刻下的面容重量进行变换， 以模拟未知域图像的面容， 从而协助提高模子的泛化才略. 图47为多开导产生的原始图像及对应的EDT变换图像， 开导包括佳能CR2、Crystalvue FundusVue、Syseye retiCam 3100和Topcon NW 400. 第1行径原始图像， 第2行径对应的EDT变换图像.
Fig. 47 Raw images of a participant by using Canon CR2， Crystalvue FundusVue， Syseye retiCam 3100 and Topcon NW 400. First row are raw images and the second row are corresponding EDT transformed images [82]
图 47 使用不同开导拍摄的病例图片[82]
基于数据增广的方法将域适合问题谐和为监督学习问题， 该方法的关节在于怎样将源域样本变换到指标域， 告捷合成适应指标域散播的样本是刻下关系考虑共同面对的一个难点， 生成模子是影响该方法性能的主要因素. 就目下的考虑责任来看， 大部分考虑都以CycleGAN这种约略援救非配对数据的生成模子为基础， 具有更好地场景适合才略， 因为在现实中， 囿于医学图像秘要的采集老本， 除非刻意去辘集， 不然医学图像数据很难成对出现. 这类方法的考虑后劲在于改日性能更佳的非配对生成模子的提议.
2.2.6 基于增强特征泛化才略/元学习的方法
Wang等东谈主[83]通过增强特征泛化才略来处理领域泛化问题， 提议了域导向特征镶嵌模子DoFE Net (domain-oriented feature embedding network). 该模子引入领域常识库来学习和记念从多源领域中索要的先验信息， 然后把柄输入图像与多个源域之间的相似度， 从常识池中归纳露面向领域的团聚特征来增强原始图像特征. 图48为该模子结构暗示图， 其中
$\{\mathcal{D}_{1}， \dots ， \mathcal{D}_{K}\}$
线路来自K个不同散播的源域数据，
$\mathcal{D}_{K+1}$
线路一个考试时不可见的指标域数据.
Fig. 48 Schematic diagram of proposed domain-oriented feature embedding(DoFE) framework to utilize multi-source domain datasets {
$ {D}_{1} $
， ...，
$ {D}_{k} $
} for generalizable segmentation on the unseen dataset
$ {D}_{k+1} $
[83]
图 48 域导向特征镶嵌模子结构暗示图[83]
Finn等东谈主[84]提议了一种基于梯度的元学习方法， 并以五类五样本的少样本学习的图片分类为例: 领先考试一个模子
${M}_{\rm fine{\text{-}}tune}$
用于未知标签的图片分类， 类别为
$ {P}_{1} $
~
$ {P}_{5} $
， 其中每类5个标注样本用于考试， 15个标注样本用于测试; 此外还包含10个类别
$ {C}_{1} $
–
$ {C}_{10} $
， 每类30个标注样本， 用于考试元学习模子
${M}_{\rm meta}$
. 图49为MAML的元学习模子
${M}_{\rm meta}$
的考试过程.
Fig. 49 Algorithm of model-agnostic meta-learning(MAML)[84]
图 49 模子无关元学习方法考试过程[84]
MAML算法的中枢在于快速适合， 也即重迭地未必抽取任务T， 组成由多个任务T组成的大型任务集(这里的每个任务等于一个考试样本)看成MAML的考试集. 模子
$ {M}_{\rm fine{\text{-}}tune} $
的考试过程与模子
$ {M}_{\rm meta} $
约莫调换， 区别在于微调模子使用的运行化参数为
$ {M}_{\rm meta} $
的参数， 此外微调模子莫得二次梯度更新; Li等东谈主[85]进一步将MAML拓展到领域泛化问题中， 提议了MLDG (meta-learning for domain generalization)方法. MLDG方法的中枢念念想是学习一个与域无关的特征线路. 具体来说， MLDG将正本的考试集分为元考试集与元测试集. 元考试集用于模子参数更新， 元测试集用于模子评估. 该方法旨在通过有限的考试集上模拟域漂移的原意， 以让模子学习到领域不变的特征， 增强模子泛化才略. Liu等东谈主[86]将基于梯度的元学习方法应用于多中心前哨腺磁共振图像分割任务， 图50为形势敏锐的元学习方法概览， 其中
$ \{\mathcal{D}_{1}， \dots ， \mathcal{D}_{K-1}， \mathcal{D}_{K+1}\} $
线路来自K−1个不同散播的源域数据，
$ \mathcal{D}_{K} $
线路从K个不同散播的数据源中抽出一个数据源看成考试时不可见的指标域数据. 多个源域被未必分袂为元考试和元测试以模拟域漂移的情况.
Fig. 50 Overview of the shape-aware meta-learning scheme[86]
图 50 形势敏锐的元学习方法概览[86]
目下来看， 由于领域泛化是指指标域样本不可知的域适合问题， 是最为复杂的域适合问题. 基于增强特征泛化才略的方法从特征层面增强模子的泛化才略， 目放学界对关系方法的考虑尚处于起步阶段， 关系考虑责任较少， 但关于医学图像分析的临床应工具有十分要紧的真谛. 与其他处理域适合问题的方法比较， 还未形成一个较为融合的本默契线.
3 多站点学习与联邦学习问题
3.1 多站点学习问题界说
多站点学习不错形势化界说为: 数据集
$ {D}_{k}=\{{X}_{k}， {y}_{k}\} $
中包含来自
$ k $
个源域(站点)的数据， 源
$ {D}_{i} $
与源
$ {D}_{j} $
之间的特征空间调换:
$ {X}_{i} = {X}_{j} $
， 标签空间调换:
${y}_{i} = {{y}}_{j}$
， 但边际散播不同:
$ P\left({X}_{i}\right)\ne P({X}_{j}) $
. 多站点学习等于通过来自多个源域的数据学习一个映射
$ f $
， 以预测测试集上的来自多个源域的标签
$ {y}_{k} $
.
3.2 多站点学习关系方法偏激在深度医学图像分析中的应用
Saunders等东谈主[87]比较了使用多个公开数据集的迁徙学习和多站点学习对指定的某个站点的前哨腺MRI分割模子性能的耕作成果， 此外还评估了模子性能怎样跟着用于考试的某一站点的样本数目的变化而变化， 为面向特定站点的前哨腺MRI分割算法的遐想提供了参考依据.
Onofrey等东谈主[88]考虑了深度学习算法在临床使用中的一个关节问题: 怎样通过归一化方法充分地诈欺多中心医学图像数据集， 提秘要度神经辘集模子的鲁棒性. 作家在多中心前哨腺MR图像数据上进行了2D前哨腺腺体分割实验， 实验驱散标明归一化方法照实约略较好地诈欺采集自不同开导、不同公约的MR图像.
Karani等东谈主[89]的考虑标明微调模子的批归一化层， 同期固定模子中其他部分的权重关于保留跨站点的分享特征线路是十分故意的.
访佛于文件[88，89]关于批归一化层的考虑， Chang等东谈主[6]的考虑标明， 在域适合的问题建立下， 独迅速归一化不同站点的特征会显赫耕作模子的性能， 标明了站点间镇定的特征归一化操作关于处理域漂移问题的灵验性.
Rundo等东谈主[90]提议了通谈特征校准方法， 告捷地将原先用于脑部结构分割的模子用于前哨腺腺体分割， 同期也耕作了模子在多站点数据上的性能推崇. 如图51所示为其模子结构暗示图.
Fig. 51 Scheme of the USE-Net Architecture[90]
图 51 USE-Net模子结构暗示图[90]
Liu等东谈主[91]提议了多站点模子MS-Net (multi-site network): 通过学习鲁棒线路， 诈欺多中心数据来耕作前哨腺分割模子的谨慎性. 为了抵偿不同MRI数据集的站点间异质性， 在模子的backbone中加入了特定领域的批归一化层， 使模子约略对每个站点的样天职别进行统计和特征归一化. 考虑到从多个数据荟萃取得分享常识的穷苦性， 作家提议了一种新的学习范式， 即基于多站点为迷惑的常识迁徙， 以增强卷积核从多站点数据中索要愈加通用线路的才略. 图52为该模子结构暗示图.
Fig. 52 Architecture of multi-site network[91]
图 52 多站点模子结构暗示图[91]
该模子包括一个通用的骨干辘集以及分属于
$ S $
个数据源的辅助分支， 骨干辘集的编码器息争码器部分均通过域特定归一化层抵偿不同站点的异质性. 在每一次迭代的过程中， 为模子喂入S批图像， 每个站点一批图像. 通用辘集通过多站点的ground truth监督协同考试， 并从辅助分支迁徙多站点常识， 以匡助探索跨不同数据集分享的共同线路.
Boutillon等东谈主[92]提议了多站点多任务分割模子用于儿童肩部骨骼和脚踝骨骼MRI的分割， 除在引入域间镇定的批归一化层和分割层除外， 通过在镶嵌空间中提高域内数据的相似度、强化域间数据的各别， 并加入了基于监督学习的对比学习正则项顾问以提高模子在多站点数据上的鲁棒性.
Valindria等东谈主[93]看成首个基于监督学习的未配对CT和MRI分割的考虑， 对4种不同类型的援救双模态输入的模子结构进行考虑. 考虑标明“X”型架构的模子性能最优. 考虑标明CT和MRI两种模态的数据之间的域漂移问题严重影响了特征分享， 需要对每一个模态单独地构建编码器息争码器结构.
Dou等东谈主[94]提议了一种全新的未配对跨模态图像分割方法. 图53为基于常识蒸馏的未配对图像分割多模态学习方法概览， 作家提议了一种“蜈蚣”形多模态学习结构， 不同模态图像的归一化层分别在不同的变量作用域罢了， 通盘的卷积层分享调换的变量作用域， 作家还提议了一种从Softmax前的激活值中索要语义信息的方法， 并为基于KL散度的赔本项推导出一双阻抑矩阵. 作家分别在腹黑的2D分割任务以及腹腔多器官3D分割任务上考据了该方法对多模态分割任务的通用性， 实验驱散标明将多模态数据共同放入一个模子中有助于简化深度学习算法的部署， 同期约略提高模子在临床实践中的可用性.
Fig. 53 Proposed method[94]
图 53 基于常识蒸馏的未配对图像分割多模态学习方法概览[94]
Wang等东谈主[95]以新冠肺炎病灶分割的基线模子COVID-Net为骨干辘集， 提议了一个多站点学习的框架， 一定进程上削弱了不同站点间新冠肺炎CT图像的异质性问题对模子性能的负面影响. 该框架中的站点镇定批归一化用于削弱站点数据的异质性， 对比学惯用于增强对域无关语义特征的学习.
3.3 联邦学习问题界说
联邦学习是从分散在大批的不同的站点的数据考试一个高质料的分享全局模子. 在数学上， 假定有K激活客户的数据驻留在一个客户端不错是一个手机， 一个可衣着开导， 或临床机构数据仓库等). 让k线路与客户k关系的数据散播， nk线路该客户提供的样本数目.
$ n =\displaystyle\sum_{k=1}^K n_{k} $
为总样本量. 联邦学习问题不错归结为处理一个训戒风险最小化问题:
$ \min _{w \in \mathbb{R}^d} F(w) :=\sum_{k=1}^{K} \frac{n_{k}}{n} F_{k}(w)，\;\; \text { where } F_{k}(w) :=\frac{1}{n_{k}} \sum_{x_i \in D_{k}} F_{i}(w) $
(20)
其中， w为要学习的模子参数. 函数F是通过依赖于一双输入输出数据对{xi， yi}的赔本函数来指定的. 典型为
${x}_i \in \mathbb{R}^d $
和
$y_i \in \mathbb{R}$
或
${y_i} \in\{-1，1\} $
.
3.4 联邦学习在深度医学图像分析中的应用
联邦学习看成多站点学习的递进范式， 约略以秘籍保护的方式使用来自多家医疗机构的数据考试机器学习模子， 然则这种散播式的机器学习方式也会带来各类问题， 其中站点间数据的异质性是其常见问题之一. Xu等东谈主[96]综述了联邦学习在医疗健康的考虑进展及关系应用， 究诘了医学数据联邦学习存在的问题、挑战偏激处理决策， 其中说起了医学数据联邦学习所靠近的统计挑战: 也即不同着手， 不同站点的数据异质性. Zhu等东谈主[97] 详确分析了非镇定同散播数据对横向和纵向联邦学习建立中的参数化和非参数化机器学习模子的影响， 追念了刻下在联邦学习中处理非镇定同散播数据挑战的关系考虑， 全面分析了关系方法的优症结， 旨在为散播式且异质性的医学数据处理的考虑提供要紧参考.
为了处理医学图像数据由于采集开导和参数建立而导致的特征漂移， Idrissi等东谈主[98]提议了一种约略在联邦学习建立下责任的带有批归一化操作的深度神经辘集， 基于每个用户的赔本值对腹地模子进行加权来预热全局模子. 该方法在保证了每个站点数据的秘籍性的同期消弱了异质性数据合股学习带来的影响， 同期耕作了考试时模子的约束速率.
Yang等东谈主[99]提议了一种联邦学习建立下的半监督学习医学图像分割框架， 在保护病例数据秘籍性的前提下最大适度地诈欺多个医疗机构的标注以及未标注数据， 并在来自多个国度的多家医疗机构的COVID-19病灶分割任务中考据了方法的灵验性.
Zhang等东谈主[100]提议了基于动态和会的联邦学习框架， 缓解了联邦学习中非镇定同散播的站点数据的影响. 该方法约略把柄客户的腹地模子性能动态地决定参与的客户， 以此保证全局模子的谨慎性. 在COVID-19检测任务上考据了方法的灵验性.
Shen等东谈主[101]以为基准的联邦学习方法并弗成很好地处根由于站点间类别各别产生的问题， 如有的站点只须健康的样本， 而有的站点只须患病的样本. 因此提议了基于多任务学习优化的联邦学习方法， 并在腹部CT的胰腺分割任务上考据了其方法的灵验性.
不同于大多数方法对子邦学习基本框架的更动而引入了大批待优化的超参数， Yang等东谈主[102]通过一种浅易的部分模子分享的方式来处理联邦学习中的数据秘籍与数据安全问题. 该方法在多机构的COVID-19检测任务上考据了灵验性.
Yan等东谈主[103]提议了数据异质性感知的联邦学习框架， 该方法领先聘任一个数据复杂度最低的客户(机构)数据看成指标域图像空间， 随后通过保护秘籍的生成对抗辘集将每个机构的数据翻译至指标域图像空间. 该方法在多机构ADC图像的前哨腺癌灶分割任务上考据了其灵验性.
Guo等东谈主[104]提议了一个基于联邦学习的框架， 以保护数据秘籍的方式诈欺多站点数据进行MR图像重建任务. 为了处理多站点学习中的域漂移问题， 引入一种跨站点建模的方法， 该方法通过监督学习的方式以对其每个局部实体中源域指标域之间的隐式空间散播而无需分享数据. 如图54所示为FL-MR联邦学习框架暗示图.
Fig. 54 Overview of the FL-MR framework[104]
图 54 FL-MR联邦学习框架[104]
4 总结与预测
关于医学图像分析中的数据异质性问题及关系处理方法的概览如图1所示. 咱们进一步从方法分类、问题分类、方法亮点、影像类型、模态类型、监督形势、任务等几个方面对上述考虑责任进行归纳与总结， 详确内容见附录A.
● 医学影像类型涵盖了包括辐射学影像、眼科学影像、病理学图像、皮肤镜图像、内窥镜图像、超声图像近乎通盘的医学成像类型.
● 模态类型(单模态/跨模态): 针对应的源域/指标域单模态和跨模态的数据异质性. 单模态即为归并成像方式下由于开导制造商、参数建立以及病例间的病情不同产生的数据异质性. 跨模态具体可分为: (1) 归并成像方式下的跨模态， 如MR包括T1序列、T2序列、DWI序列、FLAIR序列、DCE序列等; (2) 不同成像方式下的跨模态， 如将在CT影像下考试的模子迁徙至MR影像.
● 监督形势: 关于域适合问题， 其指标域仅可使用图像而无法使用对应的标签， 故其指标域监督形势为无监督; 而关于其他迁徙学习及多站点学习问题， 均为有监督(全监督)的形势.
● 任务: 以分割任务为主， 分割和分类任务占大多数. 医学图像分割是医学图像分析的基石， 不管是关于器官照旧病灶来说， 通过算法准确勾画其轮廓， 对影像科医生、关系科室医生的辅助筛查、术前会诊、手术有遐想或是预后分析都具有十分要紧的真谛. 此外医学图像分割关于此外还有一些图像翻译、关节点回首以及指标检测任务.
无监督域适合是刻下迁徙学习领域的考虑热门， 关于面向医学图像处理的深度学习算法的工业化应用与部署具有十分要紧的真谛. 目下关系责任东要荟萃于单源单指方向域适合， 仅有极少部单干作面向多源多指标以及领域泛化. 而在履行的临床应用中， 不同医疗机构的开导时常具有很大各别， 单源单指标域适合模子时常不具备填塞的泛化才略. 此外， 域适合的过程时常是十分复杂的， 单源单指标域适合的过程分为源域模子的考试、源域模子到指标域的域适合以及指标域模子的预测3个阶段， 这在模子考试及履行使用中十分耗时， 难以实施应用. 因此， 怎样使用极少指标域样本快速完成新数据的域适合， 或者通过在线域适合的方式实时对既有模子进行更新与迭代， 还有待进一步考虑.
多站点学习则是异质性医学图像处理中的另一大新兴考虑点， 目下关于异质性医学图像处理的多站点学习问题考虑还比较少. 而跟着开源数据集的加多以及特出奇据集的合股使用， 刻下考虑所使用的数据荟萃时常存在些许不同散播的子集， 怎样充分诈欺这些各别散播的多源数据对模子的遐想责任也提议了一定的挑战.
此外， 刻下的考虑也大多局限于处理标签空间、要求概率散播一致情况下， 考试集里面或者考试集和测试集之间的边际散播不同而产生的迁徙学习及多站点学习问题. 而如Fan等东谈主[105]所究诘的更一般同期亦然更复杂的情况ccc515.com， 如标签空间不一致的域适合问题， 部分域适合、开集域适合和通用域适合则更具挑战. 其中， 部分域适合问题指的是指标域的标签空间是源域的标签空间的子集的一类域适合问题; 开集域适合问题与部分域适合问题违抗， 指源域的标签空间是指标域标签空间的子集的一类域适合问题; 通用域适合问题则是指源域和指标域标签空间的关系不可知的一类域适合问题. 处理好这些复杂的问题， 医学图像处理的深度学习算法智力够得到更庸碌的临床应用. 如当指标域中加入了源域中未出现的全新类别的样本时， 怎样通过标签空间之间关系的不同， 处理部分域适合或者开集域适合的问题.
|
