5G+人工智能在外科手术过程中的应用探讨
15G在外科手术中的应用现状
5G与外科手术的融合极大地促进了远程手术与远程会诊的发展,如2001年世界上首次远程机器人手术成功开展,但由于高延迟的技术障碍,当时尚未纳入临床实践[1]。2019年我国为12例脊柱疾病的患者完成了5G远程机器人脊柱手术,平均网络延迟为28ms,手术结果均令人满意[2]。
2022年我国实施了跨越3000km的5G远程超声引导下的泌尿系结石取石术,术中单向数据传输延迟70ms,偶发性数据丢包率为5%等[3]。2019年4月3日,广东省人民医院与高州市人民医院完成全国首例AI+5G的心脏病手术。运用5G的高速传输,仅用2min就完成了心脏建模。随着第5代移动通信技术的发展,必将进一步推动外科领域的发展[4]。
5G以其高速率、低延迟、大容量的特点,推动了远程医疗领域的高速发展,在外科手术中远程协同及辅助决策展方面前景广阔[5]。
25G+人工智能在外科手术过程中的需求分析
2.1外科手术室设备缺乏连接5G的应用终端
目前,外科手术的录制、转播及术中会诊通常采用传统摄影设备录制,需提前布置设备、对接线路,技术人员进入手术室参与保障,手术图像采集设备采用有线网络连接的方式进行远程转播,过程中会耗费大量的物力财力,同时会对手术室内的无菌层流环境造成破坏,增加患者感染风险[6]。传统行动热点(WiFi)技术弱点明显:覆盖范围有限,无法支持移动使用;无法支持大容量,多设备访问体验差;可靠性差,易受干扰,业务连续性无法保障;传输安全性低,易被攻击,数据易被窃取;现有4G网络传输速率无法满足4K高清手术视频信号的传输要求;4G网络组网不够灵活,不能满足低时延业务的需求。5G移动网络弥补了WiFi和4G网络的缺陷,其组网更加灵活,可根据手术室具体情况,从硬件和软件及调制层面进行定制化和按需组网,满足实时医疗场景的网络需求。
2.2外科手术中远程会诊需求
尽管各地手术室医疗设备的差异日益缩小,但由于外科医生水平差异较大,治疗质量差距仍较大。因此,当手术中面临突发事件时,通常需要请高级别专家紧急会诊,而专家的稀缺及难以准时到达等因素制约着术中会诊的实现,因此,远程会诊平台成了更好的选择[7]。国内外专家对远程会诊模式进行了探索与尝试,应用远程会诊很大程度地提高了患者的治疗效果,但由于网络技术所带来的远程传输过程中图像质量不佳、信号不稳定、数据传输延迟等因素,影响了远程专家决策的准确性[7]。传统无线网络技术无法满足上述远程医疗系统的需求,5G移动网络弥补其不足,为远程医疗场景提供不可替代的技术保障。比如超高速率:5G网络可提供高达10Gbps的传输速率,可承载4K高清手术视频的传输。超低时延:5G空口时延约为4G空口的1/10。高可靠性:5G网络可提供高达99.999%的可靠性,可有效保障手术室网络的稳定性和业务连续性,保障手术质量等[8]。
2.3外科手术中人工智能辅助决策需求
数字化时代的来临,促进人工智能领域的高速发展及与医学领域的广泛融合。人工智能可作为人工会诊的补充,通过辅助手术决策、识别术中风险因素、识别并发症等方式改善外科手术质量[9]。然而,医疗行业是一个大数据量的行业,手术过程中会产生大量珍贵的病理、多维度手术操作、多模态监测及检测数据,医务工作者可将此类数据用于手术的全面记录、远程互动示教(或协作)、科研及手术质量控制,从而规范化外科手术治疗,提高治疗水平。并根据医院内特殊环境及不同需求模块化部署5G专用网络,建立数据中心及整合手术方案决策人工智能产品,验证、改进人工智能辅助决策方案或将数据传输至远程人工(专家)端辅助决策,从而达到术中辅助协作,提高手术治疗质量,更好地保障患者的生命安全,实现外科治疗的均质化服务的目标[7,10]。
35G+人工智能在外科手术过程中的应用实践
3.15G终端设备即术中信息采集机器人
面对术中信息采集和远程交互的困境,首都医科大学附属北京安贞医院与北京航空航天大学合作,开发了术中信息采集机器人设备。机器人主体由智能关节、机械臂及可随机械臂自动升降的云台构成,云台前端配备有高清摄像头,集成三维智能摄像及传感单元、高清音视频等技术,全面采集术野、手术室整体情况,医护人员状态等视频、音频信息,还可与手术室内麻醉机、监护仪、呼吸机等多种设备相连,全方位采集患者的术中信息。医护人员可操作机器人自动升降至适合高度,无需技术人员进入手术室,避免对手术室无菌环境造成破坏。既往的术中信息采集设备普遍通过有线网络连接,经由公共5G信号进行传输,网络性能波动范围大,受其他用户影响大,而且无法保障数据安全。本装置内置了5GSIM模组,通过手术室5G专网,高速、稳定、安全地传输手术中的音视频信号,使5G技术的优势完全发挥出来。
3.25G远程会诊平台的构建
为实现远程术中协作指导,需要安贞医院和对端医院间实现手术音视频的高速率、低时延、高可靠性和高稳定性的数据传输。通过在安贞医院手术室内部署5G新型室分无线设备,实现手术室的5G信号覆盖,同时在医院数据中心建设面向园区专网的轻量化5G核心网(5GC),包含控制面功能的AMF、SMF、UDM模块,以及用户面功能的UPF模块,即5G核心网设备全量下沉至安贞医院院区,无线设备和核心网设备通过光纤连接。整体组网示意见图1。远程专家只需通过电脑、手机等终端设备,即可掌握患者术中的全部信息。远程专家也可以通过网络,远程直接控制现场设备,进行在线实时、高清音视频手术指导。手术室内的机器人和术中采集设备内置有5G模组,5G模组中插入5GSIM卡,通过5G无线信号上联至5G室分基站,机器人采集的数据就可以通过5G网络进行数据分发。下沉至园区的独享5GC和UPF设备可以实现信令面和数据面数据与现网环境的隔离,有效保证数据隔离安全性的同时,实现数据在本地的速、低时延处理。手术的高清音视频数据通过UPF传送至互联网,利用广域网聚合传输服务,提供医院间数据高质量传输的保障。同时,在院区逻辑边缘侧部署了人工智能平台,提供面向医疗行业的AI平台能力,实现手术视频的智能化分析,提高术中实时质控水平和术后结果追踪效率,将5G和人工智能有机结合,充分发挥两者优势。我院结合已有的PACS、HIS等系统,将各科室具备网口的仪器设备纳入医院局域网,结合基于5G专网的全数据接入技术来实现不同系统间异构数据的实时汇总融合,实现各科室仪器设备资料共享,科室间、不同医院间互相调用,便于主刀医生及远程会诊专家全面掌握患者信息,节约检索时间。
4应用效果
2022年3月3日,我院瓣膜外科中心手术团队借助手术室术中协同及质控系统的远程会诊功能,完成了我院历史上首例、全国第2例PERCEVAL免缝合主动脉瓣植入术。借助术中协同及质控系统,远在意大利手术指导专家得以获取最真实、清晰、稳定的手术视野图像,并对手术过程中的疑点进行实时解答,顺利完成手术,使1例饱受风湿性心脏病困扰的老年主动脉瓣狭窄患者重获新生。在实时转播过程中,借助5G进行远程手术指导,手术时延基本维持在60ms、带宽始终高于30M、丢包率<10-8,外院专家如临现场面对面指导手术。我院将5G和人工智能与医疗相结合,研发胎儿心脏病的智能筛查数据模型和软件、冠心病外科一体化精准诊疗系统[11]。此外,我院已建立急性主动脉综合征疾病的高危患者预警模型,可对主动脉疾病患者的术中风险进行准确预测。通过让智能体学习外科医生的规范化手术诊疗,制定与高水平级别专家相似的决策方案,帮助术者在会诊过程中做出最优的手术决策,从而规范了外科手术治疗过程,提高了治疗水平。
5讨论
5.15G+人工智能在远程术中会诊时的优势
5.1.1提高手术中远程会诊质量
5G网络具有高速率、低延迟、大容量等优点,基于5G专网建立术中远程会诊平台,降低时延、图像质量等因素对远程会诊的不利影响,让各领域顶级专家通过术中远程会诊,“面对面”指导基层医生的手术操作过程,患者无须转诊至上级医院,即可接受上级医院专家的指导治疗,可明显改善偏远地区和资源匮乏地区患者的预后[12]。
5.1.2降低医学生的学习曲线
以往培育1名合格的外科医生,除需要数年的理论学习外,更重要的是在临床工作中上级医师的言传身教。既往的图片或文字教学方法很难满足外科教学需要,而“手把手”的实践教学又很难普及。此外,由于心血管外科手术的特殊性及复杂性,一般低年资医生的学习曲线要比其他外科医生更久。通过5G远程术中会诊平台,组织医学生、低年资医生在线学习,提升医疗服务水平,为低年资医师的手术顺利进行保驾护航[13]。
5.25G+人工智能在远程术中会诊时的不足
5.2.1应用成本较高
手术室内5G专网布置的相关配套设施费用较高,尚未在众多医院普及;5G终端的研发成本较高,未能形成量产。同时,由于大量高清视频数据的采集、存储,会造成存储硬件的压力,需要大量存储硬件支持,进一步增加了应用成本。
5.2.2技术局限性
5G边缘计算、人工智能在外科手术中处于起步阶段,人工智能的算力不足限制了术中AI辅助决策的发展,人工智能分析、术中智能辅助决策的实现还有很长的路要走。
5.2.3行业标准仍待完善
目前5G数据传输以及终端设备的应用在医疗行业内还未形成较为完善的规范化标准。虽然我国在2020年发布了《基于5G技术的医院网络建设标准(MEC分册)》,但仍需完善。未来需要出台更加完善的法律政策,为5G医疗保驾护航。
5.3未来展望
5G+人工智能技术平台在医疗领域的应用,具备自主操控、深度学习、人际协作等发展特征,以及无线、快速部署、信息实时融合传输、安全稳定可追溯等应用优势[8]。期待将来推出更加轻量化、操作更加便捷的术中信息采集机器人,辅以更加完善、先进的5G+人工智能技术,对外科手术进行精准指导。同时,还可以将增强现实技术融入系统中,通过对传统影像数据进行三维(3D)重建,再将3D模型通过3D眼镜投射到现实场景中,从而实现虚拟世界和现实世界的融合,将其运用在医疗过程中可使术中信息更加直观。
参考文献
[1]PANDAVK,TEAG,TOMERN,etal.Leveraging5Gtechnologyforroboticsurgeryandcancercare[J].CancerReports(Hoboken,N.J.),2022:e1595.
[2]TIANW,FANM,ZENGC,etal.Teleroboticspinalsurgerybasedon5Gnetwork:Thefirst12cases[J].Neurospine,2020,17(1):114-120.
[3]周翔,杨杰,艾克巴尔•阿布来提,等.5G远程超声引导下经皮肾穿刺碎石取石术1例报告[J].南京医科大学学(自然科学版),2022,42(3):452-456.
[4]陈近梅,李兰松.从互联网医院到"AI+5G"远程手术智慧医疗开启无限想象[J].科技与金融,2019(5):59-60.
[5]孔祥溢,王靖,方仪.5G网络技术在医疗领域的应用前景[J].医学信息学杂志,2019,40(4):17-20.
[6]王哲.5G为智慧医疗赋能[J].中国报道,2019(6):76-79.
[7]TYLERJL,PATRICKJT,AMANDACF,etal.Artificialintelligenceandsurgicaldecision-making[J].JAMASurgery,2019,155(2):148-158.
[8]黄学庆.5G网络技术在医疗领域的应用探讨[J].医学信息学杂志,2020,41(12):52-55.
[9]杨吉江,费晓璐,朱卫国.临床数字化转型中的若干思考[J].中国数字医学,2022,17(1):2-7.
[10]PADOYN.Machineanddeeplearningforworkflowrecognitionduringsurgery[J].MinimInvasiveTherAlliedTechnol,2019,28(2):82-90.
[11]武玉多,贡鸣,谷孝艳,等.机器学习在心脏超声领域中的研究进展[J].临床超声医学杂志,2021,23(9):692-694.
[12]LUES,REPPUCCIVS,HOUSTONSKS,etal.Three-dimensionaltelesurgeryandremoteproctoringovera5Gnetwork[J].DigitalJournalofOphthalmology,2021,27(3):38-43.
[13]卫荣,马锋,侯梦薇,等.人工智能在医学教育领域的应用研究[J].医学教育研究与实践,2017,25(6):835-838.
人工智能在麻醉学中的应用及展望
人工智能(artificialintelligence,AI)自1956年诞生以来已经取得了长足的发展,作为计算机科学的前沿学科,被认为是21世纪三大尖端技术之一,受到了各国政府的重视。传统的AI,人输入的是规则,输出的是答案,而机器学习(machinelearning,ML),人输入的是数据和从这些数据中预期得到的答案,系统输出的是规则,将这些规则应用于新的数据,并使计算机自动生成答案。机器学习需要3个要素:输入数据、预期输出、衡量方法,其中衡量方法指计算算法的输出和我们预期输出的差距。衡量结果是一种反馈信号,用来调整算法。从3个要素的角度来看,麻醉学是比较适合机器学习的,因为它具有很多可以作为输入的数据,如BIS、近似熵、多尺度熵等都可以用来评估麻醉深度,血压、心率和血容量等可以用来评估患者的身体情况,医师的诊断可以作为预期输出。
AI在麻醉上的应用是多种多样的,基本覆盖了临床麻醉的全过程。从术前对患者的风险预测并做出预案,给患者进行麻醉及镇静、镇痛、肌松,术中突发情况下的急救复苏,术后对患者的复苏催醒、远期随访,围手术期对患者身体情况进行的监测和相应处理等都有AI的应用,AI在麻醉学上的应用主要包括围手术期不良事件监测、自动评估麻醉深度、麻醉药物自动给药系统及自动超声图像处理等方面。对于麻醉医师来说,了解AI的最新发展,掌握如何高效、安全地利用AI是至关重要的。本文将对AI在麻醉上应用的相关研究进行综述。
1AI在麻醉学中的应用进展
1.1围手术期不良事件监测
1.1.1临床辅助决策系统的演进
研究表明,仅在发达国家围手术期病死率就达到0.4%~0.8%,并发症率更高达17%。围手术期不良事件的发生是造成围手术期并发症及死亡的原因之一,通过监测围手术期不良事件,可以减少病死率及并发症发生率。
围手术期针对不良事件的监测需要通过围手术期监测系统进行,但监测系统会产生大量未解释的数据,使用容易产生虚假的阈值警报,且系统依赖临床医师持续视觉跟踪生理数据的变化。
2008年有人提出了临床决策辅助系统,新系统通过构建应用于临床的规则库来辅助临床决策,将专家的经验总结归纳成一条条规则,使临床医师的监测更有效率和准确。例如2013年Görges等开发的主要用来识别危重通气事件的系统就采用了这种临床决策辅助系统,规则是通过与麻醉专家面谈来制定的,然后采用Delphi法来寻求专家们对检测标准的共识。实验结果是对气管插管袖带泄漏的诊断时间和治疗时间的减少具有临床意义和统计学意义。
上面说到的临床决策辅助系统是将专家知识经过编码封装得到规则,这属于传统的AI范畴。而随着AI的发展,机器学习逐渐被人认可。在机器学习中,人输入的是数据和从这些数据中预期得到的答案,系统输出的是规则,将这些规则应用于新的数据,并使计算机自动生成答案。
围手术期间有很多生命体征可以作为输入的内容,在过往的电子病历中也会记录医师的诊断可以作为预期结果。现在我们可以使用机器学习构建临床决策辅助系统来实现对危险事件的预测并辅助医师决策。现在的围手术期临床决策辅助系统通过持续监测高度关键的生理参数(心率、血压、PETCO2和SBP)辅助实时临床决策,规则通过机器学习产生,帮助麻醉医师在复杂情况下更准确、更快地识别关键事件。未来临床决策辅助系统或许可以集合大量针对不良事件的预测模型,实现对各种危险事件的提前干预。
1.1.2AI针对不良事件监测的应用方向
危险事件可以大体分成两类,能进行量化的与不能进行量化的。针对可量化的(如低血压和低氧血症),我们希望做到可预测可解释;针对难量化的(如共济失调呼吸和婴儿疼痛),我们希望做到可量化。
1.1.2.1从可量化到可预测可解释的不良事件
以低氧血症为例,脉搏血氧仪可以连续检测SpO2。但是它只能反映实时的血氧不足,不能预测和阻止未来可能发生的血氧不足。在此之前,我们已经通过机器学习对脓毒症等不良事件进行了预测,有不错的精度,但存在一个问题就是我们很难对预测进行解释,即我们不清楚不良事件发生的原因。之前的解决办法是避免使用复杂但更准确的模型,并撤退到更简单的可解释模型,但代价是准确性的下降,即预测的准确性和解释性不可兼得。
2018年Lundberg等建立在模型不确定的预测解释方法的最新进展上通过开发一种方法,为模型预测提供理论上合理的解释,兼顾了预测准确性和可解释性。这种方法靠的是当我们观察到一个特征(如患者的BMI)与不观察该特征(如不知道患者的BMI)时的变化。当观察到某个特征时,模型输出预测中的变化表明了它对预测的重要性。这种重要性更多地代表了相关性而不是因果性。但通过了解这些与风险预测强相关的特征,我们结合临床经验可以做出初步解释。
在实现对低氧血症预测的前提下,我们就可以提前调整呼吸机的吸入氧含量这个参数来维持血氧浓度。Radhakrishnan等开发了一个系统来预测维持正常氧饱和度所需的FiO2,该系统的预测输出结果与医师的决策进行比较,发现其错误低于5%。在低血压方面也是同样的,血压计可以测量血压,但不能预测血压。Kang等研发的机器学习模型,可以预测气管插管至切开期间发生的麻醉诱导性低血压,研究发现,影响机器学习预测准确性的最重要特征是患者的最低SBP、最低MAP和气管插管前的平均SBP。2020年Cherifa等利用超级学习者算法提前10min预测急性低血压发作。
1.1.2.2从难量化到可量化的危险事件
针对没有常规检测的不良事件,实现对这种事件的量化是大方向。在阿片类药物诱导的共济失调呼吸严重程度方面,阿片类药物会导致呼吸抑制,呼吸抑制又可能导致复杂的呼吸模式,如共济失调呼吸。围手术期对呼吸抑制的监测有很多,包括通过脉搏血氧仪测量SpO2、呼吸速率,通过二氧化碳仪测量PETCO2,以及系统的镇静评估等。但共济失调呼吸的程度并没有常规监测,部分原因是目前共济失调呼吸不容易实时量化。对共济失调呼吸严重程度的实时量化可以为常规监测的SpO2、呼吸速率和PETCO2参数增加重要信息。通过机器学习使用从庞加莱图获得的特征来自动量化共济失调呼吸的严重程度。这种方法与传统的方法相结合,可能有助于识别患有阿片类药物诱导呼吸抑制的患者。
此外,在监测低血容量方面,2013年MansoorBaig等开发了基于模糊逻辑检测绝对低血容量的麻醉监测系统RT‑SAAM和FLMS‑2,通过κ分析与临床医师的评估进行比较,κ值分别是0.62和0.75,(0.6≤κ
文献综述|人工智能在肝癌领域应用研究进展
通信作者:程树群,E-mail:chengshuqun@aliyun.com
原发性肝癌(hepatocellularcarcinoma,HCC)是一种常见的恶性肿瘤,其发病率在全球恶性肿瘤中居第六位,病死率居第三位[1]。由于肝癌的发病极为隐匿,发现时已基本为中晚期,致使临床医生在进行快速准确的诊断时存在极大的困难。
人工智能(artificalintelligence,AI)是目前应用较为广泛的计算机技术。在医学上,AI最为主要的使用是在医学影像与肿瘤领域中[2]。利用AI进行医学图像的处理可迅速筛选出不同病变部位的影像图片,辅助医生对疾病进行快速和准确的诊断,帮助影像学专家分析肉眼难以辨别的影像细节和特征纹理[3]。
医学中,AI的应用主要包括影像组学[4]和深度学习[5]两大类。影像组学是医学数据与AI结合所产生的一种机器学习技术,通过数据表征算法从医学放射图像中提取并处理大量特征后进行分析建模,以辅助疾病诊断和预测治疗反应[6]。随着深度学习技术的迅速发展,影像组学近年来的优势不再明显,深度学习中卷积神经网络(convolutionalneuralnetwork,CNN)技术和医学图像有着更高的契合度,可以更高效的从医学图像中提取特征。因此,很多领域深度学习模型的精确度都会高于影像组学。目前,在处理医学X线片、电子计算机断层扫描、磁共振成像、超声、数字病理等医学图像中,CNN模型判别良恶性疾病的能力甚至超过了资深的影像学专家和病理专家[7]。不仅如此,深度学习模型在疾病病理的分析方面也有着不错的表现,能够对HCC进行分期分级,对肝癌微血管侵犯(microvascularinvasion,MVI)进行术前术后的预测判断。针对肝癌的治疗和预后,利用深度学习技术也可以为病人提供合适的治疗方案,预测术后生存率等。现就AI在肝癌领域的诊断和治疗应用前景及进展予以综述。
1AI辅助影像学诊断现阶段,基于AI的技术原理,在医学中较好应用的领域是影像学和病理学,其中医学影像的二维属性与数字化趋势是AI应用的最佳领域。肝癌的发病极为隐匿,而放射科医生通常需要花费大量的时间从CT或MRI扫描后获得的数千张影像中选出最相关的层面才能较为准确的进行诊断[8],且在这过程中可能存在误诊情况,影响病人的长期生存预后。因此,肝癌的早期检测和诊断尤为重要,可以帮助医生选择靶区和需要向病人提供的辐射剂量。
CT图像自动分类过程中特征选择是其关键步骤。由于高分辨率和快速CT扫描仪的广泛应用,大量的图像数据可以直接用于深层神经网络,而无需从CT图像中明确提取特征。CNN可以通过多个卷积层及不同的卷积核从图像中准确提取复杂的特征并对图像进行分类。根据分类后的肝癌CT图像进行诊断有助于肿瘤学家选择合适的治疗类型。肝癌从肝脏扩散到肺部,然后扩散到骨骼,但扩散到其他捕获器官的可能性很小,结合这一点,有报道利用CNN将CT扫面出的大量影像片分成不同器官类别,并选择出最相关的肝脏影像片数据,帮助医生实现对肝癌病人的快速诊断和完成治疗决策[7]。
动态增强MRI为肝脏肿瘤的鉴别诊断提供了最全面的信息,但是医生的主观经验会对MRI的诊断结果产生影响,结合上深度学习技术可以提供一种新的诊断策略。Zhen等[11]利用基于CNN的模型,根据增强MR图像、未增强MR图像和临床数据对肝脏肿瘤进行分类,与三位资深放射医师的判别达到了一致的效果。模型通过深度神经网络挖掘非增强图像和临床数据中的诊断信息,能够提高将恶性肿瘤分为HCC、转移性肿瘤和其他原发性恶性肿瘤的性能,与病理学的一致性为91.9%。通过图像与临床数据相结合的方法建立预测模型,可以有效提高模型的各方面性能。
与CT相比,MRI能够对病变进行多模态、多向评估,能够更好地描述软组织特征、原子信号强度和病变强化情况,提供更多肿瘤的解剖和功能信息[13]。据文献[14]报道,基于MRI图像和临床数据结合的术前预测MVI模型的AUC达到了0.931,预测准确率为0.886,同时以0.800的准确率区分MVI-1级和MVI-2级,在评估病人总体生存率(OS)不良和早期复发方面也具有潜在价值。
由于众多AI术前模型均无法保证百分百的预测准确率,因此,其主要还是作为一种辅助医生的工具,为医生在疾病诊断中提供参考。
现阶段,基于AI的技术原理,在医学中较好应用的领域是影像学和病理学,其中医学影像的二维属性与数字化趋势是AI应用的最佳领域。肝癌的发病极为隐匿,而放射科医生通常需要花费大量的时间从CT或MRI扫描后获得的数千张影像中选出最相关的层面才能较为准确的进行诊断[8],且在这过程中可能存在误诊情况,影响病人的长期生存预后。因此,肝癌的早期检测和诊断尤为重要,可以帮助医生选择靶区和需要向病人提供的辐射剂量。
CT图像自动分类过程中特征选择是其关键步骤。由于高分辨率和快速CT扫描仪的广泛应用,大量的图像数据可以直接用于深层神经网络,而无需从CT图像中明确提取特征。CNN可以通过多个卷积层及不同的卷积核从图像中准确提取复杂的特征并对图像进行分类。根据分类后的肝癌CT图像进行诊断有助于肿瘤学家选择合适的治疗类型。肝癌从肝脏扩散到肺部,然后扩散到骨骼,但扩散到其他捕获器官的可能性很小,结合这一点,有报道利用CNN将CT扫面出的大量影像片分成不同器官类别,并选择出最相关的肝脏影像片数据,帮助医生实现对肝癌病人的快速诊断和完成治疗决策[7]。
动态增强MRI为肝脏肿瘤的鉴别诊断提供了最全面的信息,但是医生的主观经验会对MRI的诊断结果产生影响,结合上深度学习技术可以提供一种新的诊断策略。Zhen等[11]利用基于CNN的模型,根据增强MR图像、未增强MR图像和临床数据对肝脏肿瘤进行分类,与三位资深放射医师的判别达到了一致的效果。模型通过深度神经网络挖掘非增强图像和临床数据中的诊断信息,能够提高将恶性肿瘤分为HCC、转移性肿瘤和其他原发性恶性肿瘤的性能,与病理学的一致性为91.9%。通过图像与临床数据相结合的方法建立预测模型,可以有效提高模型的各方面性能。
与CT相比,MRI能够对病变进行多模态、多向评估,能够更好地描述软组织特征、原子信号强度和病变强化情况,提供更多肿瘤的解剖和功能信息[13]。据文献[14]报道,基于MRI图像和临床数据结合的术前预测MVI模型的AUC达到了0.931,预测准确率为0.886,同时以0.800的准确率区分MVI-1级和MVI-2级,在评估病人总体生存率(OS)不良和早期复发方面也具有潜在价值。
由于众多AI术前模型均无法保证百分百的预测准确率,因此,其主要还是作为一种辅助医生的工具,为医生在疾病诊断中提供参考。
2病理切片的AI分析在病理学领域中,将肝脏恶性肿瘤的病理切片通过全自动显微镜采集后转化为高分辨率的数字图像,然后将大量的肿瘤组织切片和正常组织的病理切片提供给AI进行学习。完成学习后的AI模型能够自动提取病变区域、判断疾病类型,帮助医生对疾病的分析更加准确,一些肉眼难以分辨的细节和特征纹理通过AI的处理进入到医生的视野中。很多研究表明,AI模型在肝癌病理学领域有着很高的可行性。
2.1肝癌的分级作为一种高病死率的HCC,HCC的病理分级对于肝癌的临床诊断、治疗和预后有着极其重要的意义,但是这项工作需要资深病理专家亲自完成,难度较高。面对每天不断产生的医学图像,人工分析是一个巨大的工作量。因此,实现HCC的客观自动分级,对有效降低病理医生工作量,转而提高工作效率具有重要的临床意义。在HCC的分级中,EdmondsonandSteiner系统是最流行的肝癌分级系统,该系统根据组织学分化将HCC分成4个级别(Ⅰ~Ⅳ级)[15]。
Lin等[16]利用多光子显微镜和深度学习算法的融合理念,研究出一种新的计算机辅助诊断,帮助医生对HCC的分化进行分类。该模型对于HCC分化等级的分类有着>90%的准确率,可以实现各种组织、疾病和其他相关分类问题的无标签、自动化方法,帮助医生高效评估HCC的分化等级。有学者提出了一种基于多重全连接CNN极限学习机的肝癌细胞核自动分级框架,该技术也显示出了在HCC的细胞核分级方面的优越性能[17]。但是这些模型均是建立在单中心的研究上,样本量较小,并且缺乏外部验证,在其他中心的可重复性还有待证实。
Chen等[18]将肝癌组织病理学的H&E图像用于训练对肝癌分类、基因突变预测的神经网络。该模型的性能能够接近拥有5年经验的病理专家,同时对CTNNB1、FMN2、TP53、zfx4基因的突变预测超过了病理专家。但是对于肝癌的分级,这个模型未达到令人满意的准确率和灵敏度,还需在此基础上进一步改进算法和扩大训练样本量来提高模型的精度。
在HCC组织病理学图像的分类上,研究者们所做的研究是使用特定大小的训练数据来获得测试结果,但是训练数据集的大小和深度学习模型精度之间的关系却几乎没有被讨论,在一些相关报道中显示深度学习模型的准确率和对其训练所使用的数据量呈正相关。对于高效的深度学习模型,在训练时需要带有标注的数据,但是带注释的数据是一种相对稀缺的资源,获取成本可能很高。因此,有学者分析了用于训练的肝脏组织病理学图像的数量与分类精度之间的关系,提出了一种基于逆幂律函数的估计模型,以评估为达到预期诊断准确性所需的标注训练图像最小数量[19]。该方法理论上能够有效降低人工标注数据的工作量以及获取成本,缩短模型训练的时间。但想要在此基础上提高准确性,仍需要扩增训练数据。
2.2MVI的诊断及预后《原发性肝癌规范化病理诊断指南(2015年版)》首次提出MVI的诊断标准,明确了MVI是病理学概念,具体是内皮细胞衬覆的血管腔内有癌细胞巢团,当脉管腔内出现悬浮癌细胞数目≥50个时,即可计为MVI[20]。
目前已经有研究开始建立在术后病理切片上,来对MVI做出诊断和分类以及探究MVI对预后的影响。Chen等[21]利用2000多片WSI训练神经网络用于预测MVI是否存在,在内部和外部两种测试集中,模型的AUC分别为0.904(95%CI0.888~0.920)和0.871(95%CI0.837~0.905)。但是该研究仅预测了MVI是否存在,并没有进一步对MVI做出自动分类和预后预测。
最近,MVI的面积被作为肝细胞癌病人已知独立危险因素的额外预后因素,根据MVI面积大小将其分为两组,更准确地预测了具有MVI的HCC病人的术后长期生存率,MVI的分期由病理学家单独完成,较大的面积也对应着较差的分期和HCC病人更晚期的转移[22]。
对于MVI的分期国际上尚未做出统一的规定,MVI的诊断在国家、地区、医院和个人之间也并不一致。因此,如何确定MVI的范围以及MVI应如何分期迫切需要一个国际共识。这也是AI技术在该领域所面临的一项重大挑战,需要研究者们进一步结合癌细胞数目、MVI面积等预后因素,开发出更加准确的AI模型,辅助医生工作。
在病理学领域中,将肝脏恶性肿瘤的病理切片通过全自动显微镜采集后转化为高分辨率的数字图像,然后将大量的肿瘤组织切片和正常组织的病理切片提供给AI进行学习。完成学习后的AI模型能够自动提取病变区域、判断疾病类型,帮助医生对疾病的分析更加准确,一些肉眼难以分辨的细节和特征纹理通过AI的处理进入到医生的视野中。很多研究表明,AI模型在肝癌病理学领域有着很高的可行性。
2.1肝癌的分级作为一种高病死率的HCC,HCC的病理分级对于肝癌的临床诊断、治疗和预后有着极其重要的意义,但是这项工作需要资深病理专家亲自完成,难度较高。面对每天不断产生的医学图像,人工分析是一个巨大的工作量。因此,实现HCC的客观自动分级,对有效降低病理医生工作量,转而提高工作效率具有重要的临床意义。在HCC的分级中,EdmondsonandSteiner系统是最流行的肝癌分级系统,该系统根据组织学分化将HCC分成4个级别(Ⅰ~Ⅳ级)[15]。
Lin等[16]利用多光子显微镜和深度学习算法的融合理念,研究出一种新的计算机辅助诊断,帮助医生对HCC的分化进行分类。该模型对于HCC分化等级的分类有着>90%的准确率,可以实现各种组织、疾病和其他相关分类问题的无标签、自动化方法,帮助医生高效评估HCC的分化等级。有学者提出了一种基于多重全连接CNN极限学习机的肝癌细胞核自动分级框架,该技术也显示出了在HCC的细胞核分级方面的优越性能[17]。但是这些模型均是建立在单中心的研究上,样本量较小,并且缺乏外部验证,在其他中心的可重复性还有待证实。
Chen等[18]将肝癌组织病理学的H&E图像用于训练对肝癌分类、基因突变预测的神经网络。该模型的性能能够接近拥有5年经验的病理专家,同时对CTNNB1、FMN2、TP53、zfx4基因的突变预测超过了病理专家。但是对于肝癌的分级,这个模型未达到令人满意的准确率和灵敏度,还需在此基础上进一步改进算法和扩大训练样本量来提高模型的精度。
在HCC组织病理学图像的分类上,研究者们所做的研究是使用特定大小的训练数据来获得测试结果,但是训练数据集的大小和深度学习模型精度之间的关系却几乎没有被讨论,在一些相关报道中显示深度学习模型的准确率和对其训练所使用的数据量呈正相关。对于高效的深度学习模型,在训练时需要带有标注的数据,但是带注释的数据是一种相对稀缺的资源,获取成本可能很高。因此,有学者分析了用于训练的肝脏组织病理学图像的数量与分类精度之间的关系,提出了一种基于逆幂律函数的估计模型,以评估为达到预期诊断准确性所需的标注训练图像最小数量[19]。该方法理论上能够有效降低人工标注数据的工作量以及获取成本,缩短模型训练的时间。但想要在此基础上提高准确性,仍需要扩增训练数据。
2.2MVI的诊断及预后《原发性肝癌规范化病理诊断指南(2015年版)》首次提出MVI的诊断标准,明确了MVI是病理学概念,具体是内皮细胞衬覆的血管腔内有癌细胞巢团,当脉管腔内出现悬浮癌细胞数目≥50个时,即可计为MVI[20]。
目前已经有研究开始建立在术后病理切片上,来对MVI做出诊断和分类以及探究MVI对预后的影响。Chen等[21]利用2000多片WSI训练神经网络用于预测MVI是否存在,在内部和外部两种测试集中,模型的AUC分别为0.904(95%CI0.888~0.920)和0.871(95%CI0.837~0.905)。但是该研究仅预测了MVI是否存在,并没有进一步对MVI做出自动分类和预后预测。
最近,MVI的面积被作为肝细胞癌病人已知独立危险因素的额外预后因素,根据MVI面积大小将其分为两组,更准确地预测了具有MVI的HCC病人的术后长期生存率,MVI的分期由病理学家单独完成,较大的面积也对应着较差的分期和HCC病人更晚期的转移[22]。
对于MVI的分期国际上尚未做出统一的规定,MVI的诊断在国家、地区、医院和个人之间也并不一致。因此,如何确定MVI的范围以及MVI应如何分期迫切需要一个国际共识。这也是AI技术在该领域所面临的一项重大挑战,需要研究者们进一步结合癌细胞数目、MVI面积等预后因素,开发出更加准确的AI模型,辅助医生工作。
3AI辅助治疗及预后预测由于AI自身的局限性,目前的技术水平还无法介入到复杂的外科手术中,其在治疗方面的主要方式是模拟并制定手术策略、提供治疗决策方案,帮助主治医生进行判断和选择。AI可以通过结合病理特征分析和病人病历来制定最佳治疗方案和预测术后生存周期、复发率等。吴兆平等[23]提出的一种基于CT的3DslicerAI建模技术,能够辅助肝癌病人完成腹腔镜肝切除术。对照组基于CT二维成像制定手术策略,行腹腔镜肝切除手术。基于3D建模的手术有助于减少病人的手术时间、手术出血量与并发症情况。
严律南等[24]开发的AI肝癌临床决策支持系统能够帮助医生选择对病人更好的治疗方法。临床医生只需将肝癌病人的临床检验数据、影像学数据等输入AI肝癌系统,经该系统计算后可立即给出治疗方案,同时输出包括病人的生存周期、复发率、复发周期等预测值的AI报告。开发人员将所收集的病人病理资料纳入该系统进行了验证。报告显示,手术切除准确率为95.2%,消融准确率为88.9%,介入准确率为94.1%,肝移植准确率为75.0%。验证结果表明该系统具有着不错的功能性和可用性。
在AI的分类技术基础上,石涵宇等[25]报告了一种基于AI原发性肝癌治疗方案的决策方法,该模型通过数据处理肝癌病人病例特征,不同肝癌病人生理指标的细微差别特点通过梯度提升树的方法进行自动总结,构建出基于不同病例治疗方案的分类模型,再通过医学明确诊断指征,得到最终校正后的分析结果。
预后方面,肝癌病人的预后会受到肿瘤的分期,自身的身体状况和所使用的治疗方法等多重因素的影响。总体上,处于早期的肝癌病人由于可以接受如切除术或肝移植术等根治性手术,表现出的预后相对较好,5年生存率达40%~70%,而晚期肝癌病人的生存时间往往只有半年到一年半。Shi等[26]在最近的研究中探索了基于深度学习的肝癌病理图像预后指标,提出了一种弱监督深度学习框架来分析肝癌,并从病理切片图像中探索新的预后表现。该研究表明弱监督深度学习是一种有效且省力的预测病人临床预后的方法,值得进一步研究和广泛应用。Saillard等[27]利用深度学习在HCC切除术后的组织学切片上进行病人生存率的预测。作者使用了两种基于全片数字化组织学切片的深度学习算法来建立预测手术切除肝癌病人生存的模型,算法比传统的临床、生物学和病理特征更准确地预测生存率。
尽管肝癌的诊断和治疗取得了进步,但高复发率仍然是其治愈的主要障碍,肝癌病人的复发率较高,手术切除后5年肿瘤复发转移发生率高达40%~70%。因此,降低肝癌病人的复发率,提高病人治疗后的长期生存率尤为重要。AI在该领域的发展任重而道远。
由于AI自身的局限性,目前的技术水平还无法介入到复杂的外科手术中,其在治疗方面的主要方式是模拟并制定手术策略、提供治疗决策方案,帮助主治医生进行判断和选择。AI可以通过结合病理特征分析和病人病历来制定最佳治疗方案和预测术后生存周期、复发率等。吴兆平等[23]提出的一种基于CT的3DslicerAI建模技术,能够辅助肝癌病人完成腹腔镜肝切除术。对照组基于CT二维成像制定手术策略,行腹腔镜肝切除手术。基于3D建模的手术有助于减少病人的手术时间、手术出血量与并发症情况。
严律南等[24]开发的AI肝癌临床决策支持系统能够帮助医生选择对病人更好的治疗方法。临床医生只需将肝癌病人的临床检验数据、影像学数据等输入AI肝癌系统,经该系统计算后可立即给出治疗方案,同时输出包括病人的生存周期、复发率、复发周期等预测值的AI报告。开发人员将所收集的病人病理资料纳入该系统进行了验证。报告显示,手术切除准确率为95.2%,消融准确率为88.9%,介入准确率为94.1%,肝移植准确率为75.0%。验证结果表明该系统具有着不错的功能性和可用性。
在AI的分类技术基础上,石涵宇等[25]报告了一种基于AI原发性肝癌治疗方案的决策方法,该模型通过数据处理肝癌病人病例特征,不同肝癌病人生理指标的细微差别特点通过梯度提升树的方法进行自动总结,构建出基于不同病例治疗方案的分类模型,再通过医学明确诊断指征,得到最终校正后的分析结果。
预后方面,肝癌病人的预后会受到肿瘤的分期,自身的身体状况和所使用的治疗方法等多重因素的影响。总体上,处于早期的肝癌病人由于可以接受如切除术或肝移植术等根治性手术,表现出的预后相对较好,5年生存率达40%~70%,而晚期肝癌病人的生存时间往往只有半年到一年半。Shi等[26]在最近的研究中探索了基于深度学习的肝癌病理图像预后指标,提出了一种弱监督深度学习框架来分析肝癌,并从病理切片图像中探索新的预后表现。该研究表明弱监督深度学习是一种有效且省力的预测病人临床预后的方法,值得进一步研究和广泛应用。Saillard等[27]利用深度学习在HCC切除术后的组织学切片上进行病人生存率的预测。作者使用了两种基于全片数字化组织学切片的深度学习算法来建立预测手术切除肝癌病人生存的模型,算法比传统的临床、生物学和病理特征更准确地预测生存率。
尽管肝癌的诊断和治疗取得了进步,但高复发率仍然是其治愈的主要障碍,肝癌病人的复发率较高,手术切除后5年肿瘤复发转移发生率高达40%~70%。因此,降低肝癌病人的复发率,提高病人治疗后的长期生存率尤为重要。AI在该领域的发展任重而道远。
4结语AI与医学专家最主要的区别是AI这项技术本身就是依靠着人类专家所积累的经验和专业知识进行大量的训练,并且机器的“精力”是无限的,取决于计算机系统的硬件配置,同时它还可以存储大量的数据,帮助操作人员迅速处理并筛选出最有价值的信息,这是AI的最大优势。
在这个医疗大数据时代,AI技术为医学的进步带来了帮助,它可以成为医生的一种高效率辅助工具。但是目前的AI在复杂的外科手术领域的发展较为缓慢,并且由于术后病理的临床样本较少,导致AI在肝癌分级方面的发展也不是很出色。对于肝癌MVI的术前预测和分期,利用深度学习技术开发出精确的算法模型,是未来AI在肝癌领域的重要研究方向之一。
AI与医学专家最主要的区别是AI这项技术本身就是依靠着人类专家所积累的经验和专业知识进行大量的训练,并且机器的“精力”是无限的,取决于计算机系统的硬件配置,同时它还可以存储大量的数据,帮助操作人员迅速处理并筛选出最有价值的信息,这是AI的最大优势。
在这个医疗大数据时代,AI技术为医学的进步带来了帮助,它可以成为医生的一种高效率辅助工具。但是目前的AI在复杂的外科手术领域的发展较为缓慢,并且由于术后病理的临床样本较少,导致AI在肝癌分级方面的发展也不是很出色。对于肝癌MVI的术前预测和分期,利用深度学习技术开发出精确的算法模型,是未来AI在肝癌领域的重要研究方向之一。
参考文献
(在框内滑动手指即可浏览)
[1]SiegelRL,MillerKD,FuchsHE,etal.Cancerstatistics,2021[J].CACancerJClin,2021,71(1):7-33.
[2]宋尔卫,尚桐锐,陈凯.人工智能在临床肿瘤领域中应用现状和基础建设问题[J].中国实用外科杂志,2021,41(11):1206-1208.
[3]王炯亮,李文轩,陈敏山,等.人工智能在肝细胞癌研究的应用现状与前景[J].中华医学杂志,2021,101(6):435-441.
[4]LambinP,Rios-VelazquezE,LeijenaarR,etal.Radiomics:Extractingmoreinformationfrommedicalimagesusingadvancedfeatureanalysis[J].EurJCancer,2012,48(4):441-446.
[5]MuRH,ZengXQ.Areviewofdeeplearningresearch[J].KsiiTInternetInf,2019,13(4):1738-1764.
[6]麻泽聪,廖冠群,邰升.影像组学在肝细胞癌中应用进展[J].中国实用外科杂志,2021,41(5):587-591.
[7]祁亮,沈洁.机器学习在肝癌诊疗领域的应用进展[J].癌症进展,2019,17(5):519-525.
[9]阿依木克地斯·亚力孔,庄惠军,蔡世伦,等.基于深度学习人工智能在结肠镜检查中应用研究[J].中国实用外科杂志,2020,40(3):353-357.
[11]ZhenSH,ChengM,TaoYB,etal.Deeplearningforaccuratediagnosisoflivertumorbasedonmagneticresonanceimagingandclinicaldata[J].FrontOncol,2020,10:680.
[12]JiangYQ,CaoSE,CaoS,etal.PreoperativeidentificationofmicrovascularinvasioninhepatocellularcarcinomabyXGBoostanddeeplearning[J].JCancerResClinOncol,2021,147(3):821-833.
[13]ZhangY,LvX,QiuJ,etal.Deeplearningwith3Dconvolutionalneuralnetworkfornoninvasivepredictionofmicrovascularinvasioninhepatocellularcarcinoma[J].JMagnResonImaging,2021,54(1):134-143.
[15]中国抗癌协会肝癌专业委员会,中国抗癌协会临床肿瘤学协作委员会,中华医学会肝病学分会肝癌学组.原发性肝癌规范化诊治专家共识[J].临床肿瘤学杂志,2009,14(3):259-269.
[17]LiS,JiangH,PangW.Jointmultiplefullyconnectedconvolutionalneuralnetworkwithextremelearningmachineforhepatocellularcarcinomanucleigrading[J].ComputBiolMed,2017,84:156-167.
[18]ChenM,ZhangB,TopatanaW,etal.ClassificationandmutationpredictionbasedonhistopathologyH&Eimagesinlivercancerusingdeeplearning[J].NPJPrecisOncol,2020,4:14.
[20]董辉,丛文铭.提高肝癌规范化病理诊断水平,为临床精细化治疗保驾护航-《原发性肝癌规范化病理诊断指南(2015年版)》解读[J].中国普通外科杂志,2016,25(7):939-943.
[21]ChenQ,XiaoH,GuY,etal.Deeplearningforevaluationofmicrovascularinvasioninhepatocellularcarcinomafromtumorareasofhistologyimages[J].HepatolInt,2022,16(3):590-602.
[22]WangK,XiangY,YanJ,etal.AdeeplearningmodelwithincorporationofmicrovascularinvasionareaasafactorinpredictingprognosisofhepatocellularcarcinomaafterR0hepatectomy[J].HepatolInt,2022,16(5):1188-1198.
[23]吴兆平,彭浪,金煜东,等.基于CT肝癌3Dslicer人工智能建模精准辅助外科的应用研究[J].中国医学创新,2021,18(18):5-9.
[24]严律南,杨家印.人工智能肝癌临床决策支持系统的开发、验证和应用价值[J].中国普外基础与临床杂志,2020,27(9):1052-1056.
[26]ShiJY,WangX,DingGY,etal.Exploringprognosticindicatorsinthepathologicalimagesofhepatocellularcarcinomabasedondeeplearning[J].Gut,2021,70(5):951-961.
[27]SaillardC,SchmauchB,LaifaO,etal.Predictingsurvivalafterhepatocellularcarcinomaresectionusingdeeplearningonhistologicalslides[J].Hepatology,2020,72(6):2000-2013.
(2022-08-09收稿2022-09-20修回)
版权声明
本文为《中国实用外科杂志》原创文章。其他媒体、网站、公众号等如需转载本文,请联系本刊编辑部获得授权,并在文题下醒目位置注明“原文刊发于《中国实用外科杂志》,卷(期):起止页码”。谢谢合作!返回搜狐,查看更多