博舍

未来人工智能发展面临的问题 人工智能可以让医学影像所面临的哪些问题迎刃而解

未来人工智能发展面临的问题

人工智能发展到今天,硕果累累。但是,我们必须清晰地认识到,人工智能技术今天依然面临着许多根本性的问题,一言以蔽之就是:它缺乏知识。现阶段,我们的机器并没有掌握总结知识、积累知识、应用知识、传承知识和建立组织管理知识体系的能力。人工智能在知识上的缺乏,可以用佛学的“五明”理论来阐释。佛学把世间的一切学问归结为五种学问,称为“五明”:即语文学的“声明”、工艺学的“工巧明”、医药学的“医方明”、科学的“因明”、哲学的“内明”。“五明”被视为道行者的基本功,是佛教对人间知识的总结,行道要从“五明”入手,来传播佛法普度众生。用“五明”来观察人工智能今天面临的知识匮乏问题,实际上是很贴切的。我们可以把佛学“五明”的涵义加以扩展:“声明”指的是人类智能对自己行为的解释以及和世界交流的能力;“工巧明”指的是人类智能对行为的指导;“医方明”指的是人类智能的系统观;“因明”指的是人类智能的因果推理能力;“内明”指的是人类智能的主观能动性。今天的机器智能,恰恰缺乏的就是这“五明”!

缺乏“声明”:今天的机器智能与人交流的根本障碍。机器智能作为一个与人共存的智能体,和人的交流是一项根本的要求,这样的交流不是指今天的Siri或“度秘”以及智能手机或智能音箱的这种简单的人机对话,而是在学习层面上,人可以准确地告诉机器学习的目的、学习的环境、学习的要求,而机器也可以与人交流学习的过程、学习的结果和得到结果的缘由。也就是说机器学习目标的正确性、合理性是可以表达的,而学习结果和学习目标的一致性是可以论证的。只有这样的人工智能才是可信的,才能形成构造于人类共生、共存的智能体的基础。今天所进行的人工智能的可解释性、可论证性的研究,正反映了人工智能在今天所面临的巨大挑战。目前的深度学习技术,说到底就是对一个由神经元网络所构成的非线性函数在大数据上做拟合,这种学习行为使得它在应用的普适性上有很大的优势,满足了我们对让机器“做得多”的要求,但是,它的结果的合理性、可靠性无法得以完备的验证,因为我们无法完全理解机器学习结果生成的逻辑,无法完美解释学习的认知行为。所以它的稳定性分析和可靠性验证都是有待解决的难题。我们可以在许多应用中用到深度学习的技术,但我们无法对这样的智能加以“对或错”的评价。这个问题在“大模型”中尤为突出。从这个意义上来讲,我们离图灵对智能的期望还很远,因为当我们向人和机器共处的黑屋提问,并无法区分得到的回答是从人还是机器来的时候,我们可以再加上一句:请告知你是如何得到这个问题的答案?人是能回答这个问题的,而今天的机器对此则往往茫然无措。

缺乏“因明”:无法揭示和演绎因果关系。人类可以在自然界和社会中发现规律,并抽象出规律之间的逻辑联系,这样的归纳和演绎的能力是人类智能的一个重要的特征,也是人类文明发展的一个伟大结晶。作为一个人类社会中与人共存的智能体——人工智能,应当也必须具备这种对因果的发现和演绎能力。而今天在数据驱动的学习系统中,我们还只能发现事物之间的相关关系。这样的相关性对于组成一个知识体系来理解世界是远远不够的,在大数据发展之初,曾有“因果无用,相关万能”的说法,现在看来,如果一个智能体仅仅具备了对相关性的理解,那么它对于这个世界的认识将远远低于一个一般的儿童,所以,如何让智能体具有发现因果关系的“因明”,是人工智能今天的又一个大难题。

缺乏“内明”:智能体没有主观能动性。人是有主观能动性的,人的思想是人对于客观世界的主观认识,而人又是通过这样的主观认识来指导自己的行动,从而对客观世界作出改变。著名认知神经学和理论物理学家弗雷斯顿曾提出过一个机器智能的认知学模型,在这个模型中,人的知识形成一个主观的世界模型,而这样的模型和观察之间的一致性衡量决定了对世界的认识和对世界本身的改变,这个模型具有相当的普遍性。今天基于神经元网络的机器学习系统中被视为金律的“反向传播”,正是这种宏观认知模型中对模型修正的一个简单的实现方法,而模型和观察一致性衡量恰恰又是机器学习中常用的“损失函数”提出的基础,更进一步,今天的强化学习也是在模型和观察上一致性的推动,在策略模型的驱动下,针对环境观察作出相应行动,以求达到回报激励机制下的一种有益的状态。但从总体而言,今天的智能体依然没有形成主观意志的能力。这也是为什么今天人工智能虽然可以完成一些艺术创作,但是,这些创作也仅仅在于对人类已有的作品和形式的模仿、形变和叠加,尚无法在艺术美学和表达意义层面上进行真正的创作。

人工智能研究中,有一个以机器人学家莫拉韦茨命名的悖论:机器对于那些人做起来非常困难的任务,往往可以驾轻就熟,而对于一些对人来说非常简单的事情,却无能为力。莫拉韦茨这样解释这一悖论:“人类经历了上亿年的进化,大脑中深深烙印着一些原始的生存技能,其中包含了高度进化的感官和运动机制,这些都是人类关于世界本质以及如何在其中生存的上亿年的经验。

综上所述,新一代人工智能的硬核是交互学习和记忆。记忆的本质不是存储,而是对知识的不断凝炼而形成主观意志(或称为知识)。在贝叶斯理论框架中,这个主观意志是认知的先验,而观察就是在这个先验下,产生对认知的可信度的修正(后验概率),如何在这样的一个认知体系中,实现对主观意志的组织、进化和有效作用?在今天的人工智能研究中,这还是一个处女地。执行这种需要深思熟虑的思考过程是人类最外在的表现,而其背后深层次和有效的推动力,则是源于这种更古老和更强大的感知和运动能力的本能反应。而这种本能反应通常是无意识的。换句话说,因为我们祖先的强大进化,我们每个人都是感性理解、人情世故和运动领域的杰出运动员,我们实在是太优秀了,以至于我们在面对实际上十分困难的任务时还能驾轻就熟。”

人工智能在医学图像处理中的研究进展与展望

自伦琴1895年发现X射线以来,医学图像已经成为诊断人体疾病的重要医学检查手段。如今,计算机断层扫描(CT)、磁共振成像(MRI)和超声等医学图像都是疾病诊断最直接、最常用的方法。然而,大量的医学图像需要临床医生和影像科医生花费很多时间和精力进行阅片分析,并且还可能会因医生个人主观经验或疲劳出现阅片错误,导致疾病错诊、漏诊和误诊等问题,因此,亟须有数字化、智能化的软件和程序来解决这个问题,提高阅片速度和效率,减少医生错诊、漏诊和误诊的出现概率。

人工智能(artificialintelligence,AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学,通常是指通过计算机程序来呈现人类智能的技术。根据2017年中华人民共和国国务院印发的《新一代人工智能发展规划》,人工智能已经成为我国科技的重要发展战略方向,其在我国各行各业都有重要体现。近年来,随着深度学习的发展,人工智能技术在医学领域取得了很多突破性进展,尤其体现在医学图像处理方面[1-2],前期主要包括CT、MRI和超声图像中病灶的智能识别、自动分割、三维重建和三维量化,以及后期的疾病智能诊断和预后评估。本述评将从人工智能辅助医学图像分割和三维重建、疾病的智能诊断和预后评估三个方面探讨人工智能在医学图像处理中的研究进展,并对今后的医学人工智能的研究方向进行展望。

1人工智能辅助医学图像分割

从MRI、CT、超声等多种模态的医学图像中,我们能够获取人体器官和病灶的二维生理学和形态学图像信息,但想要更直观地观察疾病病灶的三维形态和空间毗邻关系,实现对疾病的精准量化,为患者提供更准确的疾病信息、疾病诊断和最优治疗方案,则需要借助医学图像分割和三维重建技术,获得病灶及毗邻结构的三维数字化模型。传统医学图像的分割与三维图像重建主要依靠人工进行,存在耗时、繁琐、主观偏差(不同人员对知识的掌握与理解不同,导致分割与重建的误差)等缺点。

人工智能技术的运用对于医学图像分割具有重大的意义和应用价值,特别是基于深度学习的卷积神经网络算法有助于提高分割效率、缩短分割时间、减少主观偏差,可以将医生的精力从图像分割中解放出来。近几年一些研究表明,通过对经典卷积神经网络模型的改进可以在医学图像上对一些复杂组织结构达到很好的分割效果。香港中文大学LI等[3]于2018年提出的混合密集连接网络(H-DenseUNet)在肝脏分割方面取得了非常好的效果,很好地解决了同时分割肝脏和病灶的问题。同年,ZHAO等[4]研究团队通过将全卷积神经网络(fullyconvolutionalneuralnetworks,FCNN)和条件随机场(conditionalrandomfields,CRF)集成到统一框架中,开发了一种新的脑肿瘤分割方法,获得了具有外观和空间一致性的较好的分割结果。2019年巴西西拉联邦大学的ARAÚJO等[5]通过细胞分割深度学习技术的细胞学分析计算工具,在没有预分割的情况下排除包含异常细胞的低概率图像,从而提升了Pap测试检验效率,比现有的方法运行得更快,而且检测精准度不会受白细胞和其他污染物存在的影响。2020年山东师范大学XUE等[6]在快速采集的梯度回波图像上开发出一种基于深度学习的网络检测和分割方法,通过Dice测量自动和手动分割结果之间的重叠,证明该网络可以自动准确地对脑转移肿瘤病灶进行检测和分割,敏感性为(0.96±0.03),特异性为(0.99±0.0002),Dice值为(0.85±0.080)。在分割存在较大难度的肌肉组织方面,加拿大西蒙弗雷泽大学工程科学学院的DABIRI等[7]于2020年利用深度学习算法设计出包含第三腰椎(L3)轴向切片定位网络和肌肉-脂肪分割网络,将其运用在腹部CT图像上,实现了L3切片定位,其平均误差在(0.87±2.54),完成了骨骼肌、皮下脂肪组织、内脏脂肪组织和肌肉间脂肪组织的自动分割,其平均Jaccard得分为97%、98%、97%、83%,定位和分割网络性能表明该方法具有高精度的全自动身体成分分析的潜力。2021年中国北京大学第一医院神经内科的YANG等[8]构建了卷积神经网络,用于分割MRI图像下肌肉结构,以获得肌肉在人体结构中的比值,用于诊断肌营养不良障碍,该深度模型在鉴别肌营养不良症患者方面表现出良好的准确性和敏感性,并通过与3名放射科医生对比,证明了该模型通过MRI图像诊断肌营养不良症方面存在潜在应用。

2人工智能辅助疾病的智能诊断

医学疾病的诊断对患者预后评估以及治疗方案的选择至关重要,然而,医生对医学影像的准确解读需要较长时间专业经验的积累,有经验医生的培养周期相对较长。因此,人工智能辅助疾病的智能诊断非常重要和关键,不仅可以提高对医学图像的检测效率和检测精度,减少主观因素带来的误判,提高医生诊断速度,帮助年轻医生对比学习和快速成长,还能帮助缺少医疗资源的偏远地区、基层医院及体检中心提高筛查诊断的水平。这方面研究主要包括医学图像上疾病病灶的识别与分类,特别是在皮肤癌、肺癌、肝癌等常见疾病的诊断方面有突出进展。

早在2017年斯坦福大学的研究者[9]已经成功训练了一个可以诊断照片或皮肤镜下皮肤癌的深度学习算法,该算法不仅可以区分角质形成细胞癌和良性脂溢性角化病,还能准确识别出恶性黑色素瘤和普通的痣,该研究设计的深度卷积神经网络在测试时都达到了专家的水平。人工智能的皮肤癌鉴定水平已经达到了皮肤科医生水平,预计在不久的将来,具有该皮肤癌诊断算法的移动设备可以让皮肤科医生的诊断拓展到诊室之外,实现低成本的皮肤病重要诊断。

人工智能辅助肺癌的识别和诊断可显著减少过度诊断,主要的应用是在医学影像的基础上通过区分良性和恶性结节来改善肺癌的早期检测,因为早期识别恶性肺结节对于肺癌后期的手术、放化疗等治疗至关重要,同时决定了肺癌的预后。2019年ZHAO等[10]探索了利用最先进的深度卷积神经网络的3种策略包括修改一些最先进的卷积神经网路(convolutionalneuralnetworks,CNN)架构,集成不同的CNN构架和采用迁移学习,对CT图像上的恶性和良性肺结节进行分类,最后证明迁移学习的效果最佳。BONAVITA等[11]使用3D卷积神经网络评估肺结节恶性程度,并将其集成到自动化的端到端的现有肺癌检测流程中,提高了肺癌的预测效果。另外,美国德克萨斯大学西南医学中心WANG等[12]认为深度学习算法还将会影响肺癌的数字病理智能检测的发展。随着技术的进步,深度学习包括多任务学习、转移学习和模型解释等,都会对肺癌的诊断起着积极的影响效果。

随着越来越多研究的发表,人工智能技术在肝病诊断和治疗方面的应用也越来越多。CHOI等[13]利用来自7461例患者的大量CT图像数据集,开发了一个用于对肝纤维化进行分期的CNN模型,其性能优于放射科医生以及氨基转移酶-血小板比指数和纤维化-4指数等血液生化学指标,证明人工智能可以实现在CT图像上准确地诊断肝纤维化并对其进行分期。YASAKA等[14]使用来自460例患者的肝脏CT图像训练的CNN模型在肝脏肿块鉴别诊断中表现出较高的诊断性能。NAYAK等[15]开发了一种新的基于深度学习的肝脏三维分割和肝细胞癌(hepatocellularcarcinoma,HCC)检测系统,用于对肝硬化和HCC进行诊断分类,效果较好。HAMM等[16]使用434例HCC患者的MRI图像建立了一个CNN分类器对6个类别的具有典型成像特征的肝脏病变进行诊断分类,测试集性能显示平均敏感性为90%,特异性为98%,每个病变的计算时间为5.6ms。这些研究都表明人工智能深度学习可作为放射科医生最终决策支持工具的潜力,以及其能以省时的方式整合到临床工作流程的可行性。肝活检是目前检测、风险分级和监测非酒精性脂肪肝患者的标准,美国纽约州西奈山的伊坎医学院肝病科DINANI等[17]认为人工智能给诊断非酒精性脂肪肝及其表型风险分级带来希望,利用人工智能可以提高识别有非酒精性脂肪肝和晚期纤维化风险患者的能力,客观地评估肝脏疾病诊断并改进肝组织的组织学评估不足之处。

此外,人工智能在辅助膀胱癌的诊断上也有一些应用进展。2019年美国加州斯坦福大学医学院泌尿外科SHKOLYAR等[18]通过研究发现将人工智能中的深度学习算法用于增强的膀胱镜检查,可以改善肿瘤的定位精准度、肿瘤的识别率、术中导航效果和膀胱癌的手术切除效果。2020年德国美因茨大学医学中心病理学研究所WOERL等[19]尝试利用人工智能深度学习单独从传统的组织形态学中检测肿瘤组织外观,进而诊断侵袭性膀胱癌分子亚型,发现其诊断效果良好,类似或优于病理学专家,表明人工智能用于预测侵袭性膀胱癌的重要分子特征,有可能显著改善该疾病的诊断和临床管理。

3人工智能辅助疾病的预后评估

通过患者信息和图像分析,提取肿瘤的大小、部位、形态、边界、质地等特征,预测疾病治疗反应,评估疾病的预后,可以帮助医生更好地选择合适的治疗方式,这方面的研究在不断发展,这也是医生和患者都关心的问题。2018年香港中文大学重点肿瘤实验室CHAN等[20]通过回顾性研究,分析3903例接受手术切除的早期肝细胞癌患者,构建了两个统计模型,用于预测切除后早期HCC的复发风险,模型经过广泛验证被证明适用于国际环境,临床医生使用后能够估计个别患者复发的风险,对指导监测随访和切除后辅助治疗试验的设计很有价值。通过近几年的发展,影像组学在肿瘤诊断、分期、预后以及预测治疗反应等方面也取得很多进展[21-22]。南京医科大学第一附属医院放射科的XU等[23]于2019年回顾性分析了总共495例肝癌手术切除的患者,构建的综合影像组学模型显示肿瘤大小和瘤内不均匀性与肿瘤微血管浸润相关,表明结合大规模的临床影像和影像组学特征构建模型,不仅能够有效预测HCC微血管侵犯风险,并可对患者术后复发及生存进行评估。2020年广州中山大学第一附属医院超声科LIU等[24]基于2008-2016年共419例患者(包括射频消融和外科手术切除患者)的肝脏对比增强超声,建立人工智能影像组学模型,预测射频消融和手术切除的无进展生存期,结果显示基于深度学习的影像组学模型可以实现无进展生存期的术前准确预测,可以促进极早期或早期肝细胞癌患者的最优化治疗方式选择。不仅如此,此研究团队还利用基于人工智能的影像组学方法在超声造影中准确预测肝细胞癌患者对经动脉化疗栓塞的反应,并在不同验证集中表现出高度可重复性[25]。由此可见,结合深度学习和影像组学的优势,可以更大程度地对疾病进行治疗反应预测和预后评估。2021年美国加利福尼亚州斯坦福大学医学院放射肿瘤科JIN等[26]通过多任务深度学习方法,充分利用治疗的动态变化信息,成功预测新辅助化疗后直肠癌出现病理完全缓解的可能性,在160例和141例患者的多中心验证中获得的受试者工作特征曲线下面积(areaundercurve,AUC)分别达到0.95和0.92,结合肿瘤血清标记物后,该模型的预测精度进一步得到提高,这项研究可用于改进治疗反应的评估和疾病监测,并有可能为个性化医疗提供信息。

4展望

近年来,随着社会的数字化和智能化发展,虽然由于医学的严谨性和复杂性,人工智能在医学上的产品并不多,但是人工智能已在医学的研究上广泛普及。通过本述评对近几年国内外医学人工智能的研究和应用的分析,我们认为,医学院校的人工智能辅助医学图像处理方面的研究可主要聚焦于以下几个方面。

4.1医学影像和病理图像的智能分割

人体正常结构和病灶详细信息的精准获取来源于人体结构的边界精准分割,而且人体结构三维图像和三维形态学参数的获取更依赖于二维影像学和病理学图像的分割,图像分割是后期疾病诊断、预后评估、治疗决策的基础,但是分割会花费医生大量的时间和精力。因此,亟须通过人工智能算法或工具,来解决手工分割耗时长、精度差、精度依赖于医生个体经验的问题。

目前,基于人工智能的深度学习算法常用于医学影像学图像如CT、MRI、超声和病理学图像的分析。一般在图像中选择一些具有一定准确几何形态规律的、相互变异较小的、边界比较清楚的人体组织结构,来进行深度学习算法或软件的训练,比如人体大脑、小脑、肝、肺、肾、脾、乳腺、甲状腺、骨骼肌等,尤其目前的研究在肝癌、肺癌等常见病、多发病的体现最多,往后的研究会逐渐向适合深度学习的而又为常见病多发病的实质性脏器疾病发展,如胰腺癌、食管癌、腮腺肿瘤等。然而,对于一些变异较大的结构如小肠、静脉,就不大适合使用深度学习算法进行分割,反而阈值法和区域扩增等传统算法可能会更加适合,因为目前的深度学习算法大多属于监督学习,需要医生的精准标注进行训练,而标注这些变异较大的结构会大大增加医生的工作量。因而,肉眼能识别和分割出来的结构,人工智能分割实施效果会较好,肉眼难以准确识别的结构,人工智能算法效果也会欠佳。因此,目前开展人工智能进行医学图像分割研究需要选择合适的分割结构和合适的临床疾病,但随着人工智能方法的不断更新,非监督学习的发展,医学图像的分割难题可能会得到解决。

4.2人工智能辅助疾病诊断

疾病快速精准诊断是精准治疗的关键,传统的诊断存在医学诊断个体差异、耗时长、优势医疗资源相对匮乏等问题。人工智能辅助疾病诊断包括疾病病灶检测和疾病分类分期确诊,数据源主要来自人体影像学和病理学数据。在诊断效率上,人工智能在某些疾病的诊断上水平已经超过了医生,已经在临床上开始使用,比如肺癌、皮肤癌、乳腺癌等这几类都是常见的肿瘤,因为其训练样本达到了几千或几万病例。其他疾病如胶质细胞瘤、宫颈癌、直肠癌的智能诊断还处于发展阶段,主要原因是训练集样本量不够多,非多中心实验,这一部分研究仍可继续挖掘。还有一些如非肿瘤性的内科疾病比如感染性疾病、自身免疫性疾病等仍未作为研究的重点,这一部分的研究仍可继续开展。

人工智能辅助疾病诊断模型存在构建的通用性模型在特定任务中表现不理想的情况,如人体眼底彩色照片的眼底疾病的筛查和诊断中,使用通用性筛查模型往往在具体疾病的识别中表现就不够理想。同时,模型的构建,往往对图像的源数据质量要求比较高,如不同医院、不同医疗设备、不同操作技师所获取的数据就不一样,如果只用来自一家医院的数据,而不入组其他医院的,那么最后构建的模型,就不能精准智能诊断其他数据源的数据。因此,人工智能辅助诊断研究,早期可从单中心数据源选择入手,但在后期,则需要考虑多中心数据,这样,构建的智能诊断模型才能够具有通用性。

人工智能诊断疾病的技术路线要基于影像科或病理科医生,把他们的疾病诊断思路弄清楚、弄明白,才能更准确地让机器学习医生的诊断思路,进行智能诊断,从而达到疾病的精准诊断。如病理科医生诊断肿瘤,先判断细胞核的核分裂象和核异质性,再考虑细胞质的异常变化,另外皮肤科医师根据痣的大小、边界、颜色、质地均匀度、部位进行痣良恶性的判定,让机器按这样的思路学习才能事半功倍,实现精准诊断。

4.3人工智能辅助疾病预后评估

人工智能辅助疾病预后评估,目前为临床医生和患者及家属最关心的问题。通常采用回顾性的研究分析方法,构建疾病智能预后评估模型,进行预后风险性评估研究和手术、放疗以及新辅助化疗风险性评估。目前,这一部分的研究逐渐成为医生和医学家关注的重点,比例在增高,甚至部分领域高于目前的人工智能辅助诊断研究。

疾病预后评估智能模型的构建及研究,同样需要结合临床医生的思维和诊断流程,比如肺癌、肝癌的智能预后评估,危险性主要跟其结节大小、部位、边界、质地均一度、供应血管丰富程度、与重要脏器的毗邻关系、与重要血管的毗邻关系和病理学结果,这样才能让机器学习到相关性强的深层特征。

总之,医学人工智能是数字医学发展的新方向,为现代医学研究的主流热点,是未来医学发展的必然趋势。现在医学人工智能尚处于弱人工智能时代,不具备沟通的功能和能力,仍然需要人工智能技术的不断提高和完善,以期早日实现人机智能交流。同时,由于医学问题的因果关系链复杂、精准度要求高、病人个体差异大,所以对医学人工智能产品的要求很高,虽然研究成果多,但产品产出慢,耗时长,耗钱多,我们需要有足够的耐心等待其发展。因此,医学人工智能的研究往往需要针对某一种疾病,制定一个短期、中期和长期的计划。短期计划,即利用较小的训练集样本库,完成人工智能初步模型的构建,获得较好的测试验证结果;中期计划,利用至少几百例、甚至是多中心的大样本训练集,对人工智能模型进行优化完善,并在临床前瞻试验中得到验证;长期计划,在较完善训练集模型的基础上,继续扩大样本量至几千例,提升模型的泛化能力和兼容性,以提高诊断和预后评估的精度准,降低错诊、漏诊和误诊的概率,达到产品上市的条件。

医学人工智能时代已经来临,我们亟须紧跟数字医学和人工智能时代步伐,激流勇进,为未来医学的创新和改革做出贡献。

人工智能在医学影像上的应用难题有哪些

医学影像产业主要分为两个部分,一是影像设备,包括零部件厂商、整机厂商、软件,二是影像诊疗,包括医生、影像中心、影像耗材、远程诊断服务等。

目前我国医学影像行业面临两大痛点,第一是医学影像医生缺口大,误诊率高、效率低,服务模式亟待创新;第二是医学影像分析工作繁琐重复,极度消耗精力。

“AI+医学影像”解决行业痛点信息技术发展促进了医学影像和教学科研工作的开展,它和生物技术、基因工程以及医学工程的结合,会加速新技术的更新。人工智能技术的发展为解决当前中国医学影像面临的难题提供了一种新思路,“AI+医学影像”被认为这个领域的“救命稻草”。

为什么医学影像的发展离不开AI技术?因为医疗数据中有大部分来自于医学影像,医学影像数据仍在逐年增长,但影像科医生的增长速度和工作效率不足以应对这样的增长趋势,这将给医生带来巨大的压力。目前医学影像数据大部分仍然需要人工分析,最明显的缺陷就是不精准,依靠经验所做的判断容易造成误诊。

除了医学影像对AI的潜在需求,国家政策高度支持医学影像行业及“AI+医疗”的发展,医学影像在医疗AI领域技术成熟度最高,也有望最先实现商业化。

人工智能在医学影像的应用难题在“AI+医学影像”实现商业化之前,需解决这些难题才能大面积应用。算法、算力和数据被认为是人工智能的三大核心要素,数据量的增长、运算力的提升和深度学习算法的优化将带来人工智能效率的持续提升。

目前医学影像领域算法快速突破,算力持续增长,如何获取足够丰富且高质量的医疗影像数据成为提升诊断准确度的最关键因素。2018年8月31日詹松华教授将在OFweek(第二届)人工智能产业大会——AI+医疗论坛上分享自己的主题演讲《人工智能在医学影像应用的困难与挑战》,深入探讨人工智能在医学影像领域的重大挑战及对策,以及自己在人工智能应用于医疗影像方面的最新研究和思考。

AI正在逐渐超越影像科医师的眼力极限,更快、更准地提供诊断报告,但是人工智能在临床实际应用却为数不多。詹松华教授认为不是影像科医师的主观拒绝,而是目前的AI水平确实不高,在实际应用中存在很多缺陷,造成推广困难。AI工程师需要倾听临床的声音,解决假阳性和假阴性的问题,开发更多的实用软件,软件更加人性化、更多的投入,而不是超越实际的宣传,要与放射科医师一道,共同提高影像检查的图像和诊断的质量。返回搜狐,查看更多

【前沿】人工智能、深度学习和影像组学在核医学影像中的应用

本文的目的是给出人工智能(AI,机器/深度学习)和影像基因组学的定义,同时对这些技术在核医学成像中的潜在应用提出一些见解。

人工智能、机器(深度)学习和影像(基因)组学的定义

人工智能这个术语是一个“模糊概念”,根据不同的语境、时间和应用场合,其有许多种可能的定义。作为一门学科,它被认为是于1956年在达特茅斯会议上确立的[6]。一个更普遍的定义为:“机器表现出来的智慧,与人类和其他动物所展现的自然智慧形成鲜明对比”。然而,就现在的医学影像而言,一个更具体的定义可能更为恰当:“系统能够正确地解释外部数据,从这些数据中学习并利用所学实现特定目标或完成特定任务的能力,具有灵活的适应性”[7]。随着算法处理的任务越来越复杂,那些被认为需要“智能”的算法有时会被从AI领域中剔除,从而导致有“AI尚未完成”的论调[8]。举一个这方面的例子:字符识别,它可能不再被视为“人工智能”,因为它现在已经成为一种标准的常规使用的技术,例如其在邮政服务中的应用。如今通常被视为AI的算法中众所周知的功能包括语音识别,更重要的语义理解、语言翻译、掌握复杂的游戏,例如围棋[9]和最近更复杂的策略视频游戏2,或者自动驾驶汽车。

人工智能系统可分为分析型人工智能、人类启发型人工智能和人性化人工智能[7]。分析型的人工智能系统只具有与认知智能相关的特征,利用过去的经验学习进行预测。人类启发型人工智能系统除了能够认知元素外,还具有情感方面的智能和理解能力。人性化人工智能系统能够展现出认知、情感和社交方面的智能,并且在与他人互动时具有自我意识和自我认知。在二十一世纪,人工智能技术的发展得益于理论认识的提高(例如:在神经网络数学中)、计算机性能的进步(例如:图形处理单元,GPU)、海量可用于学习的数据可在更大范围内的获取途径(例如:通过社交网络和其他平台,云存储/计算等方式)以及算法和库本身的可利用性。因此,现在研究人员可以将旧的概念和理论实际应用到现实生活中的问题和任务中,即使是现有商用系统上的非专业人士也能够运用这些概念和理论。

在医学影像方面,临床医生需要通过影像来完成许多任务,理论上都可以由人工智能来完成,包括但不限于:病灶检测、疾病分类、诊断和分期、定量化、治疗计划(靶区和有风险器官的勾画、剂量优化)、治疗的反应和预后的评估[10]。自动化有望使这些任务以更高的鲁棒性和可重复性得以完成,甚至还可能使这些任务在更短的时间内以低错误率得以完成。显然,在除医学影像以外的其他方面,人工智能也可以提供改进实践的解决方案,例如:改进操作流程、财务管理和质量提升等[11]。为医学影像分析任务而开发的大多数(如果不是全部)人工智能系统都属于分析型系统的类别,因此可以归类为机器/深度学习技术。

机器(深度)学习

机器学习是通过实践学习和改进算法的研究,它本身就是AI的一个基本概念。机器学习通常分为无监督的学习和有(半)监督的学习。无监督学习是在未标记数据中查找模式[12],而有监督学习使用标签来推断分类或归纳,半监督学习通常用少量的标记的数据和大量未标记的数据进行分类或归纳[13]。在医学显像方面,标准工作流程或机器学习流程通常会被直接应用于完成大多数的任务(如图1所示)。

图1影像组学流程与一般的机器学习和深度学习流程图的比较

深度学习(与如上所述的“浅层”学习方法相反)是属于机器学习领域的一类方法,这些方法大多基于所使用的特定类型的人工神经网络,有时具有大量的层和节点。因此,深度学习是一种特定类型的机器学习,它本身就是AI的一部分(如图2所示)[17]。

图2深度学习是机器学习的一种特定类型,两者属于AI概念

这些技术依赖于多层非线性处理单元链接起来进行特征提取和转换,其中在每两个连续层间,后一层的输入是前一层的输出,因此,与不同抽象级别相对应的多层特征信号可以被学习[18]。尽管神经网络在很早之前就被设计出来了,但通过通用程序进行有效学习能力的“深层”网络是最近才出现的。此外,卷积神经网络(CNN)在计算机视觉和成像应用的主要影响被认为是在2011年和2012年的真正突破。使用反向传播(B-P)算法训练的CNN训练已经存在了数十年,GPU的实现也有好几年了。然而,在2012年,Cireşan等人展示了在GPU上实现的最大池化CNN是如何在许多视觉基准中为研究人员提供更好的结果。同年,Krizhevsky等人使用类似的CNN设计,以比浅层机器学习方法好得多的性能赢得了ImageNet竞赛[19]。

这些技术与上述“旧”机器学习方法之间的主要区别之一是,这些网络的目的是从数据本身(如图像)中学习与给定任务(例如,分割或端点预测)相关的特定模式,而不是依赖于“工程的”或“手工的”特征(包括专家的知识)[22,23]。在这方面,这些方法可以认为是一种思考模式的转变,因为它们可依赖通用的学习过程为研究人员提供“端到端”的工作流程(如图1所示)。

因此,用户干预,例如,检测和选择感兴趣的对象以便对其进行进一步的表征,可以被极大地简化,甚至可以说是不必要的。另一方面,当我们考虑使用这些技术时需要充分了解到它们带来的许多挑战。深层神经网络具有大量的超参数,由于计算资源和时间的限制,通过探索参数空间来寻找最优参数通常是不可行的。一些技巧可以帮助我们加快计算速度,例如在几个样本中同时计算梯度(批处理)。GPU的强大处理能力可以使训练速度得到显著提高。深层神经网络也容易出现过度拟合,这一定程度上是因为深层神经网络中的大量的层使得深层神经网络可以对在训练数据中所观察到的罕见依赖关系进行建模。这种情况下,我们通常采用各种方法,例如正则化和降维,来限制过拟合情况[24]。还可以通过诸如缩放和旋转的方法来增加数据,以增加所需训练集的大小[25]。最后,迁移学习是一个重要的组成部分,即对不同数据集,尽管可能是较大的数据集,提取较小数据进行预训练对其进行更精确的参数调整[26,27]。

影像(基因)组学

在过去二十年中,PET/CT硬件和重建软件均有所改进,同时研究人员在PET/CT图像处理和分析领域也取得了一些进展:噪声过滤[28,29]和部分容积效应校正方法[30]可以进一步提高PET图像的视觉质量和定量精度。此外,(半)自动图像分析算法可以检测到感兴趣的病灶[31],并且可以以比人类专家更高的可重复性和鲁棒性来勾画它们[32-34]。这些进展通过从预处理和分割后的PET/CT图像中提取定量指标(“手工的”或“工程的”图像特征),让研究人员可以对器官和肿瘤进行更全面的表征。在这种情况下,当前有关PET/CT成像的大部分工作都集中在临床上最常用的放射性示踪剂上,即18F-氟脱氧葡萄糖(18F-FDG),很少有研究考虑其他示踪剂[35]。图1所示的四个步骤(预处理、分割、特征提取和建模)是影像组学领域的关键组成部分。“影像组学”一词首次出现在2010年,并且2012年研究人员对影像组学的正式框架进行了全面的描述[36]。从前面的部分我们可以知道,影像组学仅仅是标准机器学习流程(如图1所示)在医学图像方面的一个应用。影像组学研究领域发展背后的基本原理是医学图像包含肿瘤表型的特征,这些特征至少可以在较小的尺度上反映出潜在的部分病理生理学的过程,甚至包括基因水平的变化。这就是为什么“影像组学”这一术语经常与基因组学相关联,并被称为“影像基因组学”。影像基因组学事实上含有两种不同的含义。第一种,旧的含义与放射生物学有关,而和现在含义不同。第二种涉及影像组学和基因组学的关联/组合,它可以分为两种不同的方法。第一种方法研究两者之间的联系,即影像组学可以解释或“解码”哪一些基因组学信息。这种方法已被称为“显像基因组学”[37,38]并已被研究人员大量地研究过了[39,40]。另一种方法主要关注将两部分的信息相结合,该方法利用他们之间具有互补价值的信息来建立更有效的预测模型。

人工智能、深度学习和影像(基因)组学在核医学影像中的应用

人工智能在核医学中的应用极为广泛且前景广阔,其可在多个方面产生影响[41]。第一步是在探测器水平上使用人工智能对图像重建的数据处理,包括与检测过程相关的不同物理过程(如衰减、散射)的校正。除了图像重建步骤之外,人工智能还可以用于不同图像的处理过程,包括去噪、分割和融合。最后,人工智能可以用于基于图像信息的建模,这将有助于实现基于图像的个性化医疗的决策。

在检测方面,最近的工作包括通过使用CNN提高PET图像分辨率,改善具有大像素化晶体[42]的PET扫描仪的噪声特性,以及直接从配对符合数字化探测器波形中估计飞行时间[43]。将深度神经网络集成到迭代图像重建过程中,可以提高最终的图像质量[44,45]。深度学习方法已经被研究人员提议用于PET/CT和PET/MR的衰减校正和配准,并已被证明能够生成高精度的衰减图[46-50]。在同样的背景下,深度学习已经可用于改善具有飞行时间PET数据的衰减校正和放射性活度的最大似然重建(MLAA)[51]。去噪处理就是成功使用深度学习技术中一个最受欢迎的图像处理应用之一,例如从低剂量图像生成足够剂量PET图像[52]或直接对重建的PET图像进行滤波[29]。

图像中病变的自动检测、计数、分割/特征化等功能在疾病的诊断、治疗计划制定和疗效的监测等方面有广泛的应用,但更广泛的是,这些功能也适用于所有的影像(基因)组学。在很长一段时间里,依赖于旧的浅层机器学习框架的方法并不能达到自动并且准确的水平,不能完全将其转化到临床实践中,也不能在影像组学分析中对数百名患者进行快速处理。最近的一些研究进展仍然涉及使用“旧的”机器学习技术[53],但越来越多的人依赖于深度学习方法,以希望其能极大地提高自动化和性能。事实上,CNN在医学图像分割任务中的应用非常成功[22]。这可以通过以下事实来解释:与分类任务(每幅图像一个标签)相反,分割学习发生在体素水平(每个体素一个标签)。因此,学习数据数量允许对网络参数进行有效地训练。例如,尽管在最近的PET功能体分割MICCAI挑战中只有很少的训练示例可用,但基于预训练CNN的方法得分最高(虽然其分数没有明显高于一些常规的技术的分数)[32]。CNN也被应用于多模态PET/CT协同分割[34,54,55]。基于深度学习框架的肿瘤检测和分割方案可能为影像组学的这一步骤提供全自动解决方案[31,55,56],从而解决这个重要的瓶颈问题。

预测模型和基因组学研究已经严重依赖于机器学习方法[16,57-59],尽管这些方法大多运用于放射学领域,而不是核医学领域。一些对机器学习和深度学习方法的评价显示特征选择有所改进,模型构建更稳健,影像组学PET特征也变协调了[59-63]。然而,只有少数的研究通过将深度网络CNN作为端到端方法来探索深层网络CNN所能达到更高自动化水平的潜力,并且大多数研究都在CT及MRI领域[64-70],只有少数研究是关于它们在核医学成像(如FDGPET[71-73]和SPECT[74])中的应用例子。

讨论

目前,尽管有关深度特征使用及其与常规影像组学特征相结合的研究都是在CT和MRI领域进行的,但相同的概念也可应用于核医学影像。用一种基于端到端深度学习的方法替代通常的机器学习/影像组学方法可能是一种解决影像组学中一些问题或局限性的有效解决方案。在这一方法中,所有步骤是通过一个(或几个)神经网络单独并顺序执行(分割、特征萃取、建模)。然而,这种方法实际上是用其他在使用深度学习时所面临的具体挑战取代了原先的挑战。首先,这些方法需要大量的数据,其需要的数据集比影像组学通常研究中所需的数据集大得多。因此,如迁移学习和数据扩增或依赖分割网络来构建分类器[75]等方面的技术和技巧变得至关重要。其次,可提供可解释模型的需求在临床应用中也很重要。因此,很有必要向终端用户提供关于网络决策方面的反馈和解释,例如使用网络可视化技术[76]在输入图像中生成热点图而突出图像中的某个区域,甚至包括肿瘤在内,这些与最后做出的决定最相关。这对于理解和纠正算法造成的其余错误以及试图解决其他问题(包括监管、法律和责任)也很重要[77]。

在研发用于临床使用的大多数计算机方法的设计中,重大的思考模式转换正在发生。目前我们还不清楚需要多长时间才能将深度学习方法整合至临床核医学实践工作中,并使大多数临床工作实现完全自动化。目前,这些进展主要集中于解决最常见临床问题,因为研究人员可在该领域获得足够多的数据。

大多数已开发方法的目的是为了解决一项特定任务中的一个问题。尽管这些AI方法可能会很擅长解释图像和上下文信息,但他们通常无法像人脑那样建立联想,也无法代替临床医生完成所有任务。此外,他们在各种情况下的表现可能还没有达到各个领域的专家水平,因此,一名完整的具有人工智能的核医学医生,仍然属于科幻小说的范畴。另一方面,随着这些新技术整合到核医学医师的实践中,核医学医师的角色可能会发生变化,因此,将这些方法和概念的基本了解归为核医学医师培训的一部分显得非常重要。核医学医师自己也可能会为AI的培训做出贡献,为日后他们使用的工具提供更多的专家知识和经验。

在AI系统学习中,数据的可用性仍然是一个关键瓶颈,因为精心选择的数据(为确保训练数据符合许多质量标准,通常需要专家参与并且非常耗时间)根本不适合用于所有任务,并且数量也不够。另一方面,深度学习软件平台是开源的,因此,创新思维的实验和共享机制已大规模地快速发展,这最终也可能在数据处理和数据可用性方面提供帮助。对于正确训练机器和深度学习模型的另一个问题是,在图像采集和重建(尽管EANM,SNMMI和RSNA等社会组织做出来长期努力)方面,以及机器(深度)学习技术自身(包括但不限于:影像组学的定义、专业术语、实施、软件、机器学习的方法论、实施以及优化),都缺少标准化。对于训练通用模型来说,扫描器模型、供应商、采集协议和重建设置中的巨大差异性和多变性是一个巨大的挑战,这尚未解决。然而,我们应明确强调和支持一些正在进行的努力,例如用于影像组学的标准[78-80]和图像生物标志物标准化倡议(IBSI)以及统一的/标准化技术[63,81],以便今后进一步改善上述情况。

(余略)

中国医师协会核医学医师分会科普与信息化工作委员会科普与翻译组

本期翻译由以下翻译组委员翻译:

沈晨天:上海市第六人民医院、住院医师、博士

唐毅:桂林医学院第二附属医院核医学科主任,副主任医师

饶茂华:重庆医科大学附属第二医院核医学科,中级医师、硕士

白侠:内蒙古医科大学附属医院核医学科、副主任医师、硕士

赵敏:中南大学湘雅医院核医学科(PET中心)、副主任医师、博士

张茜:山西省肿瘤医院核医学科、副主任医师、博士

靳会宾:河南省人民医院核医学科、主治医师、硕士

王磊:北京市石景山医院核医学科科室负责人、主治医师、硕士学位

李桂英:北京老年医院核医学科主任、主任医师

复旦大学附属肿瘤医院宋少莉教授校稿

首都医科大学附属北京友谊医院李春林教授终审。

附:特邀校稿专家简介

宋少莉

主任医师、教授、博士研究生导师

复旦大学附属肿瘤医院核医学科主任,

上海市质子重离子医院核医学科主任

中华医学会核医学分会第十届青委副主任委员

中德医学会核医学分会常委

上海医学会核医学分会青委副主委

上海市抗癌协会第八届理事会理事

上海市核学会实验核医学与核药学主委会副主委

上海市中西医结合核医学分会常委

中华核医学与分子影像杂志、国际放射医学核医学杂志编委。2008年博士毕业于上海交通大学,2009-2010年于美国德克萨斯州MD安德森癌症中心影像诊断系博士后,入选上海市浦江人才计划、上海交通大学医学院“新百人计划”、上海交通大学医学院高峰计划“研究型医师”,主持国家自然基金项目4项,发表SCI论文43篇。

图文编辑:秦珊珊返回搜狐,查看更多

人工智能在医疗行业应用面临的五大挑战

本文作者/NaveenJoshi

认清在医疗保健中实施人工智能(AI)所面临的挑战,可以帮助医疗保健提供者制定适当的策略并以无风险的方式快速实施创新的解决方案。

人工智能正在以多种方式改变医疗保健。医疗保健组织正在实施用于机器人手术、护理帮助、准确诊断和精密药物的AI。实际上,毕马威会计师事务所(KPMG)进行的一项调查显示,有53%的高管认为医疗保健在采用AI方面处于领先地位。

尽管在采用AI方面处于领先地位,但并非所有医疗保健组织都已实施AI。部署AI解决方案时面临的挑战仍使一些医疗保健组织无法充分利用AI技术。在这种情况下,医疗保健企业有必要了解医疗保健及其解决方案中的AI挑战。

解决医疗保健中的人工智能挑战

要解决医疗保健中AI实施方面的挑战,必须意识到这些挑战。一旦卫生组织意识到了挑战,便可以更好地找到克服挑战的方法。

医疗保健中的5种人工智能实施挑战

收集数据

人工智能系统需要大量数据。并且收集的数据必须来自可靠的来源。从不可靠的来源收集数据可能会对AI解决方案的输出产生不利影响。

因此,为了获得准确的输出,医院必须从可靠的来源收集培训数据。他们可以从患者的历史和当前病历中找到可靠的数据,因为医疗保健中的每个患者都是他们自身的来源。医疗保健组织还需要为机器学习算法准备准确的数据集。但是数据准备方面的挑战通常很难克服。

因此,毫不奇怪的是,有96%的组织因为成功实现AI而遇到数据相关的问题阻碍。为了准备精确的数据集,医院需要尽早确定所需的结果并相应地准备数据。医疗保健组织还需要确保数据与构建过程一致。他们可以通过清除数据以使丢失的值最小化并消除不相关的数据来使其数据兼容。

保持合规

每个患者都是可靠的数据来源。但是,如果这些来源拒绝提供其数据来构建AI系统怎么办?没有人希望他们的数据被用于非法目的。为了避免这种情况并在患者之间建立信任,政府和领先的医疗保健组织制定了每家医院都必须遵守的法规。

例如,通过了《医疗保健信息携带和责任法案》(HIPAA),以强制执行机密处理患者数据的标准。另一个例子是《经济和临床健康卫生信息技术法案》(HITECH),该法案旨在标准化当今数字时代中电子健康记录(EHR)的维护。这种监管行为使患者可以随意共享其数据,这些数据可用于训练AI系统。

医疗保健组织还需要确保收集的数据受到保护,以增强隐私和安全性。但是,在当今世界,我们经常听到有关网络安全漏洞的消息,保护数据安全并非易事。这也是医疗保健组织可以利用区块链的地方。

AI和区块链的融合可以共同革新许多行业,医疗保健是这些行业之一。区块链将确保安全传输和存储患者数据,以增强隐私和安全性。它还将为患者提供透明性,以便他们可以查看其数据的存储位置和使用方式。

识别应用

大多数企业可以借助一些机器来进行操作。但是,与大多数企业不同,医疗保健组织需要多种工具进行诊断和治疗。

例如,存在用于诊断和治疗不同医疗状况的各种类型的设备,例如呼吸机、扫描仪、X射线机和ECG机。对于医疗保健组织而言,为物联网确定合适的应用可能变得很复杂。医院必须了解不同机器的复杂性,才能确定正确的应用。他们还需要向供应商咨询如何轻松、快速地将AI解决方案与特定机器集成。

卫生组织需要明智地选择AI供应商。选择AI供应商之前,需要考虑多种因素。通用或垂直解决方案,、与目标的一致性以及成本效益等因素会在很大程度上影响AI供应商的选择。识别合适的用例并根据需要选择正确的供应商将有助于医院构建可轻松与现有设备和工作流程集成的AI解决方案。

消除黑匣子

AI系统主要是模拟人类大脑的运作方式。因此,就像我们的大脑一样,它们接收输入并达到输出。但是,我们不知道人工智能系统是如何得出结论的。我们所知道的就是最终的输出。而且,如果不了解AI系统是如何得出结论的,那么对其进行改进就变得很困难。

AI系统的这一挑战被称为黑匣子问题。解决该问题对于几乎每个行业都是必不可少的,但对于医疗保健而言,至关重要。那是因为它会对医疗保健行业产生不利影响。盲目地信任AI解决方案可能会使患者的生命处于危险之中。

例如,根据STAT审查的IBM内部文件,IBM的Watson建议对癌症患者使用不安全的治疗程序。遵守错误的建议操作程序可能会使癌症患者的生命面临危险。因此,医疗行业必须消除AI的黑盒子。

但是,如何消除AI的黑盒子?答案是“通过使用可解释的AI”。可解释的AI通过使这些系统具有透明度来帮助研究人员了解AI系统的输出。它通过事后方法的帮助带来了透明度,该方法围绕四个关键要素而开发,即目标、驱动因素、可解释的族和估计量。

用来解释AI输出的最常见方法之一是反向传播方法。反向传播是用于前馈神经网络的监督训练的一种广泛使用的AI算法。这种可解释的AI方法的实施将确保患者和医生对AI结论的信任。

教育员工和患者

利用AI解决方案可以带来很多好处,但是使用它们很复杂。对AI的潜力以及如何利用AI的意识不足会导致组织中的技能缺口。医疗保健组织需要通过对员工进行有关AI系统及其功能的教育来弥合技能差距。医院和个人专家可以组织不同部门的培训课程,以培训员工如何使用AI系统。

在要治疗的患者准备好接受基于AI的治疗之前,医疗保健中的AI实施很难成功。因此,患者还必须意识到AI的潜力,以便他们可以信任基于AI的治疗。例如,机器人手术可带来许多好处,例如住院时间更短、疼痛减轻、疤痕最少以及失血量降低。

但是,由于缺乏意识和信任,患者可能会担心被AI机器人对其进行操作。医疗机构应提高人们对机器人手术的益处的认识。他们还可以对患者进行AI机器人手术程序教育,然后再对其进行操作。对患者和员工进行有关AI解决方案的教育将确保增加他们对AI系统的信任。

每个卫生组织都希望部署AI系统。成功实施AI解决方案始于制定正确的战略。但是如何创建呢?这需要要解决上述医疗保健中的AI挑战。

对这些挑战和解决方案的了解将帮助医疗保健组织针对其特定应用制定适当的策略。当成功实施AI的实例成为人们关注的焦点时,医院将更有动力部署和扩展其AI解决方案。(编译/蒙光伟)

了解更多物联网、智慧城市解决方案,上方快3!海量精品方案与案例免费下载

方案推荐

城市级智慧停车解决方案.pdf

华为智慧园区疫情防控解决方案.pdf

社区疫情居家隔离监控服务方案.doc

华为小企业园区智能解决方案

荣事达NB-IoT智慧社区安全预警防控系统.doc

* 千家网原创文章,转载请注明作者及出处。    

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇