【前沿】人工智能、深度学习和影像组学在核医学影像中的应用
本文的目的是给出人工智能(AI，机器/深度学习)和影像基因组学的定义，同时对这些技术在核医学成像中的潜在应用提出一些见解。
人工智能、机器（深度）学习和影像（基因）组学的定义
人工智能这个术语是一个“模糊概念”，根据不同的语境、时间和应用场合，其有许多种可能的定义。作为一门学科，它被认为是于1956年在达特茅斯会议上确立的[6]。一个更普遍的定义为：“机器表现出来的智慧，与人类和其他动物所展现的自然智慧形成鲜明对比”。然而，就现在的医学影像而言，一个更具体的定义可能更为恰当：“系统能够正确地解释外部数据，从这些数据中学习并利用所学实现特定目标或完成特定任务的能力，具有灵活的适应性”[7]。随着算法处理的任务越来越复杂，那些被认为需要“智能”的算法有时会被从AI领域中剔除，从而导致有“AI尚未完成”的论调[8]。举一个这方面的例子：字符识别，它可能不再被视为“人工智能”，因为它现在已经成为一种标准的常规使用的技术，例如其在邮政服务中的应用。如今通常被视为AI的算法中众所周知的功能包括语音识别，更重要的语义理解、语言翻译、掌握复杂的游戏，例如围棋[9]和最近更复杂的策略视频游戏2，或者自动驾驶汽车。
人工智能系统可分为分析型人工智能、人类启发型人工智能和人性化人工智能[7]。分析型的人工智能系统只具有与认知智能相关的特征，利用过去的经验学习进行预测。人类启发型人工智能系统除了能够认知元素外，还具有情感方面的智能和理解能力。人性化人工智能系统能够展现出认知、情感和社交方面的智能，并且在与他人互动时具有自我意识和自我认知。在二十一世纪，人工智能技术的发展得益于理论认识的提高（例如：在神经网络数学中）、计算机性能的进步（例如：图形处理单元，GPU）、海量可用于学习的数据可在更大范围内的获取途径（例如：通过社交网络和其他平台，云存储/计算等方式）以及算法和库本身的可利用性。因此，现在研究人员可以将旧的概念和理论实际应用到现实生活中的问题和任务中，即使是现有商用系统上的非专业人士也能够运用这些概念和理论。
在医学影像方面，临床医生需要通过影像来完成许多任务，理论上都可以由人工智能来完成，包括但不限于：病灶检测、疾病分类、诊断和分期、定量化、治疗计划（靶区和有风险器官的勾画、剂量优化）、治疗的反应和预后的评估[10]。自动化有望使这些任务以更高的鲁棒性和可重复性得以完成，甚至还可能使这些任务在更短的时间内以低错误率得以完成。显然，在除医学影像以外的其他方面，人工智能也可以提供改进实践的解决方案，例如：改进操作流程、财务管理和质量提升等[11]。为医学影像分析任务而开发的大多数（如果不是全部）人工智能系统都属于分析型系统的类别，因此可以归类为机器/深度学习技术。
机器（深度）学习
机器学习是通过实践学习和改进算法的研究，它本身就是AI的一个基本概念。机器学习通常分为无监督的学习和有（半）监督的学习。无监督学习是在未标记数据中查找模式[12]，而有监督学习使用标签来推断分类或归纳，半监督学习通常用少量的标记的数据和大量未标记的数据进行分类或归纳[13]。在医学显像方面，标准工作流程或机器学习流程通常会被直接应用于完成大多数的任务（如图1所示）。
图1影像组学流程与一般的机器学习和深度学习流程图的比较
深度学习(与如上所述的“浅层”学习方法相反)是属于机器学习领域的一类方法，这些方法大多基于所使用的特定类型的人工神经网络，有时具有大量的层和节点。因此，深度学习是一种特定类型的机器学习，它本身就是AI的一部分（如图2所示）[17]。
图2深度学习是机器学习的一种特定类型，两者属于AI概念
这些技术依赖于多层非线性处理单元链接起来进行特征提取和转换，其中在每两个连续层间，后一层的输入是前一层的输出，因此，与不同抽象级别相对应的多层特征信号可以被学习[18]。尽管神经网络在很早之前就被设计出来了，但通过通用程序进行有效学习能力的“深层”网络是最近才出现的。此外，卷积神经网络(CNN)在计算机视觉和成像应用的主要影响被认为是在2011年和2012年的真正突破。使用反向传播（B-P）算法训练的CNN训练已经存在了数十年，GPU的实现也有好几年了。然而，在2012年，Cireşan等人展示了在GPU上实现的最大池化CNN是如何在许多视觉基准中为研究人员提供更好的结果。同年，Krizhevsky等人使用类似的CNN设计，以比浅层机器学习方法好得多的性能赢得了ImageNet竞赛[19]。
这些技术与上述“旧”机器学习方法之间的主要区别之一是，这些网络的目的是从数据本身(如图像)中学习与给定任务(例如，分割或端点预测)相关的特定模式，而不是依赖于“工程的”或“手工的”特征(包括专家的知识)[22,23]。在这方面，这些方法可以认为是一种思考模式的转变，因为它们可依赖通用的学习过程为研究人员提供“端到端”的工作流程(如图1所示)。
因此，用户干预，例如，检测和选择感兴趣的对象以便对其进行进一步的表征，可以被极大地简化，甚至可以说是不必要的。另一方面，当我们考虑使用这些技术时需要充分了解到它们带来的许多挑战。深层神经网络具有大量的超参数，由于计算资源和时间的限制，通过探索参数空间来寻找最优参数通常是不可行的。一些技巧可以帮助我们加快计算速度，例如在几个样本中同时计算梯度(批处理)。GPU的强大处理能力可以使训练速度得到显著提高。深层神经网络也容易出现过度拟合，这一定程度上是因为深层神经网络中的大量的层使得深层神经网络可以对在训练数据中所观察到的罕见依赖关系进行建模。这种情况下，我们通常采用各种方法，例如正则化和降维，来限制过拟合情况[24]。还可以通过诸如缩放和旋转的方法来增加数据，以增加所需训练集的大小[25]。最后，迁移学习是一个重要的组成部分，即对不同数据集，尽管可能是较大的数据集，提取较小数据进行预训练对其进行更精确的参数调整[26,27]。
影像（基因）组学
在过去二十年中，PET/CT硬件和重建软件均有所改进，同时研究人员在PET/CT图像处理和分析领域也取得了一些进展：噪声过滤[28,29]和部分容积效应校正方法[30]可以进一步提高PET图像的视觉质量和定量精度。此外，（半）自动图像分析算法可以检测到感兴趣的病灶[31]，并且可以以比人类专家更高的可重复性和鲁棒性来勾画它们[32-34]。这些进展通过从预处理和分割后的PET/CT图像中提取定量指标（“手工的”或“工程的”图像特征），让研究人员可以对器官和肿瘤进行更全面的表征。在这种情况下，当前有关PET/CT成像的大部分工作都集中在临床上最常用的放射性示踪剂上，即18F-氟脱氧葡萄糖（18F-FDG），很少有研究考虑其他示踪剂[35]。图1所示的四个步骤（预处理、分割、特征提取和建模）是影像组学领域的关键组成部分。“影像组学”一词首次出现在2010年，并且2012年研究人员对影像组学的正式框架进行了全面的描述[36]。从前面的部分我们可以知道，影像组学仅仅是标准机器学习流程（如图1所示）在医学图像方面的一个应用。影像组学研究领域发展背后的基本原理是医学图像包含肿瘤表型的特征，这些特征至少可以在较小的尺度上反映出潜在的部分病理生理学的过程，甚至包括基因水平的变化。这就是为什么“影像组学”这一术语经常与基因组学相关联，并被称为“影像基因组学”。影像基因组学事实上含有两种不同的含义。第一种，旧的含义与放射生物学有关，而和现在含义不同。第二种涉及影像组学和基因组学的关联/组合，它可以分为两种不同的方法。第一种方法研究两者之间的联系，即影像组学可以解释或“解码”哪一些基因组学信息。这种方法已被称为“显像基因组学”[37,38]并已被研究人员大量地研究过了[39,40]。另一种方法主要关注将两部分的信息相结合，该方法利用他们之间具有互补价值的信息来建立更有效的预测模型。
人工智能、深度学习和影像（基因）组学在核医学影像中的应用
人工智能在核医学中的应用极为广泛且前景广阔，其可在多个方面产生影响[41]。第一步是在探测器水平上使用人工智能对图像重建的数据处理，包括与检测过程相关的不同物理过程(如衰减、散射)的校正。除了图像重建步骤之外，人工智能还可以用于不同图像的处理过程，包括去噪、分割和融合。最后，人工智能可以用于基于图像信息的建模，这将有助于实现基于图像的个性化医疗的决策。
在检测方面，最近的工作包括通过使用CNN提高PET图像分辨率，改善具有大像素化晶体[42]的PET扫描仪的噪声特性，以及直接从配对符合数字化探测器波形中估计飞行时间[43]。将深度神经网络集成到迭代图像重建过程中，可以提高最终的图像质量[44,45]。深度学习方法已经被研究人员提议用于PET/CT和PET/MR的衰减校正和配准，并已被证明能够生成高精度的衰减图[46-50]。在同样的背景下，深度学习已经可用于改善具有飞行时间PET数据的衰减校正和放射性活度的最大似然重建（MLAA）[51]。去噪处理就是成功使用深度学习技术中一个最受欢迎的图像处理应用之一，例如从低剂量图像生成足够剂量PET图像[52]或直接对重建的PET图像进行滤波[29]。
图像中病变的自动检测、计数、分割/特征化等功能在疾病的诊断、治疗计划制定和疗效的监测等方面有广泛的应用，但更广泛的是，这些功能也适用于所有的影像（基因）组学。在很长一段时间里，依赖于旧的浅层机器学习框架的方法并不能达到自动并且准确的水平，不能完全将其转化到临床实践中，也不能在影像组学分析中对数百名患者进行快速处理。最近的一些研究进展仍然涉及使用“旧的”机器学习技术[53]，但越来越多的人依赖于深度学习方法，以希望其能极大地提高自动化和性能。事实上，CNN在医学图像分割任务中的应用非常成功[22]。这可以通过以下事实来解释：与分类任务(每幅图像一个标签)相反，分割学习发生在体素水平（每个体素一个标签）。因此，学习数据数量允许对网络参数进行有效地训练。例如，尽管在最近的PET功能体分割MICCAI挑战中只有很少的训练示例可用，但基于预训练CNN的方法得分最高（虽然其分数没有明显高于一些常规的技术的分数）[32]。CNN也被应用于多模态PET/CT协同分割[34,54,55]。基于深度学习框架的肿瘤检测和分割方案可能为影像组学的这一步骤提供全自动解决方案[31,55,56]，从而解决这个重要的瓶颈问题。
预测模型和基因组学研究已经严重依赖于机器学习方法[16,57-59]，尽管这些方法大多运用于放射学领域，而不是核医学领域。一些对机器学习和深度学习方法的评价显示特征选择有所改进，模型构建更稳健，影像组学PET特征也变协调了[59-63]。然而，只有少数的研究通过将深度网络CNN作为端到端方法来探索深层网络CNN所能达到更高自动化水平的潜力，并且大多数研究都在CT及MRI领域[64-70]，只有少数研究是关于它们在核医学成像（如FDGPET[71-73]和SPECT[74]）中的应用例子。
讨论
目前，尽管有关深度特征使用及其与常规影像组学特征相结合的研究都是在CT和MRI领域进行的，但相同的概念也可应用于核医学影像。用一种基于端到端深度学习的方法替代通常的机器学习/影像组学方法可能是一种解决影像组学中一些问题或局限性的有效解决方案。在这一方法中，所有步骤是通过一个（或几个）神经网络单独并顺序执行（分割、特征萃取、建模）。然而，这种方法实际上是用其他在使用深度学习时所面临的具体挑战取代了原先的挑战。首先，这些方法需要大量的数据，其需要的数据集比影像组学通常研究中所需的数据集大得多。因此，如迁移学习和数据扩增或依赖分割网络来构建分类器[75]等方面的技术和技巧变得至关重要。其次，可提供可解释模型的需求在临床应用中也很重要。因此，很有必要向终端用户提供关于网络决策方面的反馈和解释，例如使用网络可视化技术[76]在输入图像中生成热点图而突出图像中的某个区域，甚至包括肿瘤在内，这些与最后做出的决定最相关。这对于理解和纠正算法造成的其余错误以及试图解决其他问题（包括监管、法律和责任）也很重要[77]。
在研发用于临床使用的大多数计算机方法的设计中，重大的思考模式转换正在发生。目前我们还不清楚需要多长时间才能将深度学习方法整合至临床核医学实践工作中，并使大多数临床工作实现完全自动化。目前，这些进展主要集中于解决最常见临床问题，因为研究人员可在该领域获得足够多的数据。
大多数已开发方法的目的是为了解决一项特定任务中的一个问题。尽管这些AI方法可能会很擅长解释图像和上下文信息，但他们通常无法像人脑那样建立联想，也无法代替临床医生完成所有任务。此外，他们在各种情况下的表现可能还没有达到各个领域的专家水平，因此，一名完整的具有人工智能的核医学医生，仍然属于科幻小说的范畴。另一方面，随着这些新技术整合到核医学医师的实践中，核医学医师的角色可能会发生变化，因此，将这些方法和概念的基本了解归为核医学医师培训的一部分显得非常重要。核医学医师自己也可能会为AI的培训做出贡献，为日后他们使用的工具提供更多的专家知识和经验。
在AI系统学习中，数据的可用性仍然是一个关键瓶颈，因为精心选择的数据（为确保训练数据符合许多质量标准，通常需要专家参与并且非常耗时间）根本不适合用于所有任务，并且数量也不够。另一方面，深度学习软件平台是开源的，因此，创新思维的实验和共享机制已大规模地快速发展，这最终也可能在数据处理和数据可用性方面提供帮助。对于正确训练机器和深度学习模型的另一个问题是，在图像采集和重建（尽管EANM，SNMMI和RSNA等社会组织做出来长期努力）方面，以及机器（深度）学习技术自身（包括但不限于：影像组学的定义、专业术语、实施、软件、机器学习的方法论、实施以及优化），都缺少标准化。对于训练通用模型来说，扫描器模型、供应商、采集协议和重建设置中的巨大差异性和多变性是一个巨大的挑战，这尚未解决。然而，我们应明确强调和支持一些正在进行的努力，例如用于影像组学的标准[78-80]和图像生物标志物标准化倡议（IBSI）以及统一的/标准化技术[63,81]，以便今后进一步改善上述情况。
（余略）
中国医师协会核医学医师分会科普与信息化工作委员会科普与翻译组
本期翻译由以下翻译组委员翻译：
沈晨天：上海市第六人民医院、住院医师、博士
唐毅：桂林医学院第二附属医院核医学科主任，副主任医师
饶茂华：重庆医科大学附属第二医院核医学科，中级医师、硕士
白侠：内蒙古医科大学附属医院核医学科、副主任医师、硕士
赵敏：中南大学湘雅医院核医学科（PET中心）、副主任医师、博士
张茜：山西省肿瘤医院核医学科、副主任医师、博士
靳会宾：河南省人民医院核医学科、主治医师、硕士
王磊：北京市石景山医院核医学科科室负责人、主治医师、硕士学位
李桂英：北京老年医院核医学科主任、主任医师
复旦大学附属肿瘤医院宋少莉教授校稿
首都医科大学附属北京友谊医院李春林教授终审。
附：特邀校稿专家简介
宋少莉
主任医师、教授、博士研究生导师
复旦大学附属肿瘤医院核医学科主任，
上海市质子重离子医院核医学科主任
中华医学会核医学分会第十届青委副主任委员
中德医学会核医学分会常委
上海医学会核医学分会青委副主委
上海市抗癌协会第八届理事会理事
上海市核学会实验核医学与核药学主委会副主委
上海市中西医结合核医学分会常委
中华核医学与分子影像杂志、国际放射医学核医学杂志编委。2008年博士毕业于上海交通大学，2009-2010年于美国德克萨斯州MD安德森癌症中心影像诊断系博士后，入选上海市浦江人才计划、上海交通大学医学院“新百人计划”、上海交通大学医学院高峰计划“研究型医师”，主持国家自然基金项目4项，发表SCI论文43篇。
图文编辑：秦珊珊返回搜狐，查看更多
机器学习 简答题 速记
简答题：简答题：1、请简述人工智能和机器学习，深度学习的关系？2、根据数据集组成不同，通常可以把机器学习算法分为哪四类？3、请简述什么是监督学习？什么是无监督学习？4、请简述什么是机器学习？5、机器学习工作流程有哪五步？6、请简述什么是特征工程？7、请简述特征工程主要包含什么内容？8、请简述什么是特征提取？9、请简述什么是特征预处理？10、请简述什么是特征降维？11、分类模型评估的主要评价指标有哪些？12、回归模型评估的主要评价指标有哪些？13、简要说明什么是超参数？14、超参数和模型参数有什么不同?15、什么情况我们需要对数据进行归一化处理？归一化的作用什么？16、常用的归一化的方法有哪两个？分别适用的情况是什么？17、简述K-近邻算法的优点和缺点。18、什么是线性回归？它的特点是什么？19、线性回归中的梯度下降和正规方程方法有什么不同？20、常见的梯度下降算法有哪些？21、简述欠拟合原因以及解决办法。22、简述过拟合原因以及解决办法。23、什么是正则化？正则化类别有哪两种？24、什么是精确率？25、什么是召回率？26、简述k-means聚类算法实现的步骤。27、简述一下K-means算法的优点。28、简述一下K-means算法的缺点。29、在聚类算法中什么是降维？它有哪两种形式？30、在聚类算法中什么是主成分分析(PCA)？31、在聚类算法中主成分分析(PCA)的作用是什么？1、请简述人工智能和机器学习，深度学习的关系？机器学习是人工智能的一个实现途径。深度学习是机器学习的一个方法发展而来
2、根据数据集组成不同，通常可以把机器学习算法分为哪四类？监督学习、无监督学习、半监督学习、强化学习
3、请简述什么是监督学习？什么是无监督学习？监督学习的输入数据是由输入特征值和目标值所组成。无监督学习输入数据是由输入特征值组成，没有目标值。
4、请简述什么是机器学习？机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。
5、机器学习工作流程有哪五步？1.获取数据2.数据基本处理3.特征工程4.机器学习(模型训练)5.模型评估结果达到要求就上线服务，如果没有达到要求，重新上面步骤
6、请简述什么是特征工程？特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
7、请简述特征工程主要包含什么内容？特征提取、特征预处理、特征降维。
8、请简述什么是特征提取？将任意数据（如文本或图像）转换为可用于机器学习的数字特征。
9、请简述什么是特征预处理？通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。
10、请简述什么是特征降维？指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。
11、分类模型评估的主要评价指标有哪些？准确率、精确率、召回率、F1-score、AUC指标等
12、回归模型评估的主要评价指标有哪些？均方根误差（RMSE）、相对平方误差（RSE）、平均绝对误差（MAE)、相对绝对误差（RAE)
13、简要说明什么是超参数？超参数就是在运行机器学习算法之前需要指定值的参数
14、超参数和模型参数有什么不同?超参数：指在算法运行前需要指定的参数模型参数：指算法过程中学习的参数
15、什么情况我们需要对数据进行归一化处理？归一化的作用什么？我们在训练模型时，如果特征之间的值差距较大，不能直接传入模型，就需要对数据做归一化处理。作用：将所有数据映射到同一尺度。
16、常用的归一化的方法有哪两个？分别适用的情况是什么？1.最值归一化(Normalization)：
把所有数据映射到(0,1)之间。适用情况：分布有明显边界2.均值方差归一化(standardization)：
把所有数据归一到均值为0方差为1的分布中。适用情况：数据分布没有明显边界17、简述K-近邻算法的优点和缺点。优点：1.天然能够解决多分类问题；2.思想简单，效果强大；3.使用k-近邻算法还可以解决回归问题
缺点：1.效率低下、时间复杂度高；2.高度数据相关；3.预测结果不具有可解释性4.维数灾难
18、什么是线性回归？它的特点是什么？线性回归是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。
19、线性回归中的梯度下降和正规方程方法有什么不同？1.梯度下降需要选择学习率，正规方程不需要2.梯度下降需要迭代求解，正规方程一次运算得出结果3.梯度下降在特征数量较大也可以使用，正规方程因为需要计算方程，时间复杂度高O(n3)
20、常见的梯度下降算法有哪些？全梯度下降算法，随机梯度下降算法，小批量梯度下降算法，随机平均梯度下降算法。
21、简述欠拟合原因以及解决办法。原因：学习到数据的特征过少解决办法：1）添加其他特征项。2）添加多项式特征
22、简述过拟合原因以及解决办法。原因：原始特征过多，存在一些嘈杂特征，模型过于复杂是因为模型尝试去兼顾各个测试数据点。解决办法：1）重新清洗数据。2）增大数据的训练量。3）正则化4）减少特征维度，防止维度灾难
23、什么是正则化？正则化类别有哪两种？在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化。有L1正则化（Ridge回归）和L2正则化（LASSO回归）。
24、什么是精确率？预测结果为正例样本中真实为正例的比例
25、什么是召回率？真实为正例的样本中预测结果为正例的比例（查得全，对正样本的区分能力）
26、简述k-means聚类算法实现的步骤。1）随机设置K个特征空间内的点作为初始的聚类中心。2）对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别。3）接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）。4）如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程
27、简述一下K-means算法的优点。1）原理简单（靠近中心点），实现容易。2）聚类效果中上（依赖K的选择）。3）空间复杂度o(N)，时间复杂度o(IKN)。N为样本点个数，K为中心点个数，I为迭代次数。
28、简述一下K-means算法的缺点。答案：1）对离群点，噪声敏感（中心点易偏移）。2）很难发现大小差别很大的簇及进行增量计算。3）结果不一定是全局最优，只能保证局部最优（与K的个数及初值选取有关）。
29、在聚类算法中什么是降维？它有哪两种形式？降维：在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。两种形式：特征选择和主成分分析。
30、在聚类算法中什么是主成分分析(PCA)？高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量。
31、在聚类算法中主成分分析(PCA)的作用是什么？作用是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。