【 综述】人工智能在骨科术中导航的应用进展

点击标题下「蓝色微信名」可快速关注

文章来源： 中华骨科杂志, 2023,43(21)：1460-1466.

作者：霍彤彤 刘松相 谢毅 叶哲伟

摘要  

骨科手术复杂而精细。骨科导航系统的开发旨在通过分析术前、术中和术后数据，提供增强现实的三维可视化环境，提高治疗效果。随着数字化技术的迅速发展及临床应用，人工智能技术被引入到骨科术中导航系统中。人工智能与器械设备、成像技术相结合，增强了骨科医生的可视化能力，使他们在手术过程中获得实时反馈和指导，进而提供最佳临床决策。人工智能在骨科术中导航的应用还能提高手术的可重复性，降低了人为错误的发生率。本文综述了人工智能在骨科术中导航的应用现状，并介绍人工智能的基本概念以及基于人工智能的图像配准、实时跟踪和三维可视化技术的发展，对目前存在的局限和不足进行探讨。

骨科手术复杂而精细。在骨科手术中，医生须准确地识别和定位关节、骨骼、韧带、肌肉和神经等组织结构，同时还要考虑手术时间、出血量、创伤面积、患者疼痛等因素 ^[ 1 ]。由于术野狭小、操作空间窄，对医生手术技术的要求非常高 ^[ 2 ]。此外，术中的关键操作，如植入物的定位、截骨、钻孔、切割韧带等对精度有很高的要求，轻微的误差可能造成严重的并发症 ^[ 3 ]。

在过去的三十年中，为降低手术风险，术者和工程师开发了各种各样的医疗设备和软件来辅助手术的顺利完成，其中之一是手术导航 ^[ 4 ]。手术导航系统通过整合术前手术计划、术中器械跟踪和成像数据，提供增强现实的三维（three-dimensional，3D）可视化环境，目前成为手术室中不可或缺的一部分 ^[ 5 ]。在导航系统的辅助下，骨科医生可以进行精准跟踪并观察解剖部位和手术器械，对术中操作进行实时调整，进而做出最佳决策 ^[ 6 ]。此外，骨科手术导航系统能够实时收集特定解剖结构（如髋、膝关节）的数据，以帮助医生在手术过程中调整软组织平衡 ^[ 6 ]。

骨科手术的高风险和复杂性使引入人工智能（artificial intelligence，AI）技术成为必要，以提高手术质量和降低手术风险 ^[ 7 ]。基于AI的手术导航系统已广泛应用于包括髋、膝关节置换术 ^[ 8 ]、脊柱手术 ^[ 9 ]、软组织修复 ^[ 10 ]、截骨术 ^[ 11 ]、骨肿瘤切除术以及骨折复位和固定 ^[ 12 ]等多种骨科临床实践中 ^{[ 13 , 14 , 15 ]}。尽管如此，AI在骨科中的应用仍处于初级阶段。近年来，AI在骨科领域飞速发展，同时涌现出大量临床研究。本文综述了AI在骨科术中导航的应用现状，并介绍AI的基本概念以及基于AI的图像配准、实时跟踪和3D可视化技术的发展，并对目前存在的局限和不足进行探讨。

一、检索策略

在中国知网和万方数据库中以”人工智能”、”骨科手术”、”术中导航”作为中文检索词进行检索。在PubMed和Web of Science数据库限定语言为”English”，并以关键词”artificial intelligence”、”orthopedic surgery”和”intra-operative navigation”进行检索，时间定义为2018年1月至2023年8月。

文献纳入标准为：（1）与”AI在骨科术中导航的应用”主题相关的临床或基础研究；（2）文献类型为正式发表的研究性论著或综述。文献排除标准为：（1）重复性研究；（2）主题相关度不高、循证医学等级低的研究；（3）文献类型为技术介绍、勘误或评论；（4）无法获取全文的文献；（5）除中文和英文外其他语种的文献。

共检索中文、英文文献984篇，通过EndNote软件排除重复文献77篇，得到907篇文献，并依据上述纳入及排除标准最终共纳入相关文献87篇，其中中文文献4篇、英文文献83篇。

二、AI的概念

AI是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，目的是赋予计算机像人类一样的智力来解决实际问题。机器学习（machine learning，ML）是AI的子集，使计算机”从经验中学习” ^[ 16 ]；深度学习（deep learning，DL）是ML的子集，其采用具有多层处理单元的大规模神经网络结构训练计算机识别和学习更微妙和复杂的模式。

骨科领域中涉及的DL技术大致可以分为监督学习（supervised learning，SL）和无监督学习（unsupervised learning，UL） ^[ 17 ]。SL需要人类的专业知识来预处理和标记训练数据，并分配正确的类别 ^[ 18 ]。算法被明确告知要查找的内容，通过学习带有标注的数据和输出类别之间的相对关系，尝试对未见过的新数据进行分类或预测 ^[ 19 ]。SL可用于分类问题（如图像中是肩还是膝？）和回归（如不同变量之间的关系是什么？）。常用的SL算法包括支持向量机、决策树、随机森林和卷积神经网络等 ^[ 20 ]。在骨科手术导航系统中，SL可以帮助医生识别和检测细微的骨折及骨密度的变化，还可以分割骨骼结构生成3D重建模型，提供更准确的手术导航和指导 ^{[ 21 , 22 , 23 , 24 ]}。

UL训练过程不需要操作者的标记，也没有预测输出 ^[ 25 ]。UL允许机器在没有特定指令的情况下执行任务，并通过发现以前未知的数据模式来创造新的知识。常用的UL算法包括自编码器、聚类分析和生成对抗网络（generating adversarial networks，GAN）等。在骨科手术导航系统中，UL可以帮助医生分割和定位骨骼、血管、神经和其他软组织结构，还可以用来增强成像质量 ^{[ 26 , 27 , 28 ]}。Ranti等 ^[ 29 ]报告了采用聚类分析预测接受关节置换手术的患者预后。Ahn等 ^[ 30 ]报告使用GAN能够生成能准确反映膝关节骨关节炎进展阶段的X线图像，而资深专家和AI均无法将其与真实膝关节X线片鉴别。GAN还常被用来增强图像质量和图像去噪 ^[ 31 ]，通过GAN网络生成更清晰、更容易识别的医学图像，有助于提高医生在手术过程中的决策能力 ^[ 32 ]。此外，使用GAN能生成更多的数据，从而扩大训练数据集，提高模型的泛化能力。总之，目前的研究开辟了采用生成模型来合成真实匿名图像的潜力，为解决数据稀缺的问题提供了方法。

三、骨科手术术中的导航系统

导航曾经只是简单的术中定位工具，但过去三十年来手术导航系统迅速发展，已成为骨科手术中不可或缺的内容。骨科手术导航系统有三个重要作用：定位、寻找空间关系和轨迹规划；也就是说，手术导航系统需要解决的问题是决定”去哪里”，找出”它在哪里”，并计划”如何到达那里” ^[ 33 ]。与其一一对应，定位可以通过实时跟踪完成，寻找空间关系需借助图像配准技术，而轨迹规划则通过3D可视化实现。目前，手术导航系统被广泛应用于各类骨科手术中，当医生持手术器械进行操作时，导航系统可以准确跟踪并实时可视化患者解剖结构的位置、识别感兴趣区域、监控手术器械，并引导医生操纵手术器械以准确到达手术部位。

骨科导航技术首次应用于1994年。Digioia等 ^[ 34 ]在匹兹堡开发了基于CT的计算机导航系统，成功完成了全髋关节置换术中髋臼假体的精准放置。随后，首个计算机辅助膝关节置换系统在1997年投入使用 ^[ 35 ]，并相继出现了多个骨科手术导航系统，如ROSA ^[ 36 ]和NavioPFS ^[ 37 ]，以及一些轻量型的系统，如用于微创脊柱手术的Mazor ^[ 38 ]和用于全膝关节置换术的MNIBotics ^[ 39 ]。目前，骨科手术中常用的主流导航系统还包括CurveTM、Kick、SpineMap 3D和Stryker NAV3i等 ^[ 2 ]。用于全髋关节置换和全膝关节置换的骨科Mako系统 ^[ 40 ]是目前国际上应用最广泛，且智能化程度最高的骨科手术导航系统。2016年，我国天智航公司推出第三代骨科手术导航机器人TiRobot ^[ 41 ]，是目前世界上唯一能够开展四肢、骨盆骨折以及脊柱全节段手术的骨科机器人系统 ^[ 42 ]。

手术导航系统可用于术前、术中和术后三个阶段，术中导航对骨科手术的实施最为重要。术中导航系统借助图像配准技术实时反馈器械与患者解剖结构之间的空间位置关系，通过实时跟踪技术精准定位手术器械和解剖位置，结合3D可视化技术分离并渲染感兴趣区域，引导骨科医生完成手术操作。骨科术中导航系统的实时跟踪、图像配准以及3D可视化均属于图像处理技术，也是术中导航的关键。基于AI的图像识别通过对大量影像数据的训练学习，自动识别和分析图像中的特征，使其成为医学图像处理领域中的一种重要工具 ^[ 43 ]。近年来，随着AI技术的发展，骨科术中导航相关技术也得到了快速进步。

骨科手术导航系统通常包含以下几个基本步骤：（1）术前计划，即数据采集与建模；（2）配准术前与术者数据、实时跟踪手术器械；（3）可视化关键结构信息；（4）术后验证，即比较术后结果与术前计划的结果。

（一）图像配准

无论选择何种影像学检查，导航系统首先必须建立术前或术中影像学与患者解剖结构之间的空间关系，建立这种关系是通过图像配准技术来实现的。在术前采集的3D数据（基于CT或MRI图像）或构建的3D解剖模型用于手术指导前，必须通过配准过程将其匹配到手术场景内患者的解剖系统中，并在三维坐标系中显示其位置，这也是在成像数据的”虚拟”坐标系与患者参考阵列定义的”真实”坐标系之间建立关系的过程 ^[ 44 ]。配准的精准度会直接影响导航程序中的后续所有步骤：一方面，配准可能发生在导航前，但在这种情况下，配准后地标的任何移动都会影响导航的准确性；另一方面，如果使用术中3D成像，此时的配准过程可以在手术过程中实现自动化。

图像配准根据维度可以分为时间序列和空间维度 ^[ 45 ]。基于时间序列的配准是指在不同时间序列上对齐相同或不同模式的医学图像；而基于空间维度的配准按照图像空间的几何维度数量又可以划分为2D-2D、2D-3D和3D-3D配准 ^[ 46 ]。大多数骨科导航系统是利用2D-3D的图像配准，这是一种估计术前3D体积结构（CT、MRI或3D模型）与其2D图像（术中”C”型臂X线机透视或内镜成像）之间的空间关系的技术。

近期开发了许多基于AI的2D-3D图像配准技术。Klebingat等 ^[ 47 ]报告了一种能够自动确定全髋关节置换手术参数的方法。术者使用基于卷积神经网络的2D-3D配准方法准确地评估全髋关节置换术中植入物磨损、前倾和倾斜度的参数，并在患者髋关节X线片上准确分割、定位骨盆（如股骨头或髋臼杯区域）和假体组件。Guo等 ^[ 48 ]引入全卷积网络框架，在无须任何用户交互的情况下完成术前CT数据和术中X线片之间的刚性配准，利用DL算法完成了患者特定解剖的分割细化，并在74例患者的骨盆上进行了验证，结果显示全卷积网络的配准效果稳定，用时短（<0.1 s）。该方法不仅保证了可变形图像配准的准确性，而且大幅减少了图像配准所需的时间。Lutter等 ^[ 49 ]使用2D-3D配准确定了膝关节X线片中膝关节的磨损部位和程度，基于卷积神经网络精准分割定位X线片上的假体组件，基于模型的2D-3D配准精确计算植入物在膝关节中的空间位置和方向。Van Houtte等 ^[ 50 ]提出了基于图谱的端到端的2D-3D配准DL模型，该模型将3D图谱中的图像配准到股骨X线片上，通过对扭曲图集图像或任何其他辅助数据的变形场进行回归，准确地重建了患者的股骨CT图像并进行了验证，证实了其精准性。Zhang等 ^[ 51 ]提出了时间一致的2D-3D配准技术对颅面结构进行3D生长测量，使用基于卷积神经网络的回归和初始化相应的3D数据形成了对应的锥形束CT图像的密集位移场。Han等 ^[ 52 ]基于骨折复位手术导航提出多体2D-3D配准方法，将术前骨盆骨折复位计划配准到患者特定的解剖结构中，以跟踪术中2D透视图像中的多个骨碎片，在骨盆表面配准的误差降低至（2.2±0.3） mm。这些基于AI的2D-3D配准方法显著提高了骨科手术实时导航的效率、精准度和稳定性。

（二）实时跟踪

手术导航系统的导航器是一种空间位置跟踪设备，可以确定对象的位置和方向，并以3D坐标的形式提供这些数据。实时跟踪是同步骨科导航中各种信息的关键步骤，在进行手术操作时无论采用何种切口，术中只能显露出部分病灶，病变之间或病变组织与正常组织之间的空间位置关系不可见，给手术操作增加了难度。跟踪设备完美地解决了这个问题。手术导航系统利用跟踪设备实时确定手术器械、病变部位及手术对象的3D位置和方向，帮助术者准确、有效地校准和定位。骨科手术导航系统目前在全髋关节置换术 ^[ 53 ]、全膝关节置换术 ^[ 54 ]、脊柱外科手术 ^[ 55 ]和骨折修复中 ^{[ 15 , 56 ]}广泛应用，其中最主要的一个原因是骨骼结构比形变较大的软组织更容易被跟踪 ^[ 57 ]。

许多早期的手术导航系统使用基于物理介质的跟踪方法，如声学、磁性、光学和机械等方法，其中光学跟踪系统因其精准度高和非接触式等优势一度成为骨科术中导航的金标准 ^[ 58 ]。近年来，许多研究人员在光学导航的基础上开发了AI算法，以提高骨科手术的准确性和效率。与其他导航系统相比，AI光学导航系统的巨大优势在于算法只需要几秒就可以完成目标跟踪。von Atzigen等 ^[ 59 ]开发了HoloYolo系统，利用ML跟踪椎弓根螺钉尖端的空间位置，在无接触的情况下导航脊柱钉棒系统的植入。随着深度传感技术的快速发展，一些研究开始探索使用RGB-D相机来替代光学系统 ^[ 60 ]。Liu等 ^[ 61 ]描述了一种基于RGB-D深度相机和DL的骨骼跟踪的新方法。在手术过程中，RGB-D相机反复捕获暴露骨骼的深度图像，深度神经网络使用这些图像学习定位、分割和提取目标骨骼的表面几何形状，随后将提取的表面几何形状与同一骨骼的术前模型进行比较以实现跟踪，研究结果显示平均位移和角度误差分别为2.74 mm和6.66°。Hu等 ^[ 62 ]报告了一种基于DL算法的RGB-D相机无标记跟踪法，可以辅助完成膝关节置换手术。DL模型动态定位2D感兴趣区域和实时分割3D骨组织，结果证实该方法对目标遮挡具有稳健性，且跟踪误差在4 mm以下，可基本满足临床要求。

（三）3D可视化

骨科导航系统中采集的实时多模态数据为医生提供了关键的结构信息，并最大限度地减少对手术过程的干扰。骨科术前和术中产生了大量的多模态数据，尤其是3D数据（CT和MRI等），这些数据必须以直观可视化的方式呈现给术者，以显示术区重要的解剖结构。3D可视化技术基于患者的2D医学图像数据使用计算机图形技术呈现出3D结构，利用分割和渲染等方法将感兴趣目标从结构中分离出来，使医生可以更加直观、清晰地观察患者的解剖结构以及手术器械的移动情况，为手术方案的调整和入路的选择提供了决策支持，提高手术效率和精准性。

AI的发展促进了虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）的进步 ^[ 63 ]。AR和VR结合跟踪设备将物体的空间信息实时传送至显示器或监视器上，以更直观的形式可视化相关结构。AR和VR的实现需要依靠快速的数据处理能力，而AI在增强视频和图像数据分辨率方面的优势可以降低系统计算的压力和软件、硬件的成本。AR、VR和AI的结合产生了快速准确的导航系统 ^{[ 64 , 65 ]}。Chen等 ^[ 66 ]开发了基于AR/AI的手术导航系统，可自动识别患者的骨盆结构并实时跟踪手术器械，同时在术者的头戴式显示器上实时渲染虚拟解剖模型，使术者清楚地观察骨盆结构。Choi等 ^[ 67 ]开发了一种基于AR/AI的便携式手术导航设备，用于实时显示骨肿瘤手术过程中的安全间隙。该系统通过与手术器械相连，实时反馈切除平面和最小间距，帮助术者在手术过程中准确切除肿瘤区域。Auloge等 ^[ 68 ]评估了基于AR/AI的新型导航系统的可行性、准确性、安全性和患者的辐射暴露量。在对椎体压缩性骨折患者进行经皮椎体成形术时，AR/AI系统均可识别目标椎体并生成安全准确的手术轨迹，穿刺针定位的准确性与透视辅助相似，但辐射剂量降低了50%。Ma等 ^[ 69 ]提出采用AR/AI导航系统辅助脊柱手术中的椎弓根螺钉放置，利用DL算法将3D解剖标记配准到脊柱的CT图像，AR/AI导航系统显示平均位移误差为3.79 mm，平均角度误差为4.51°。

四、总结与展望

虽然AI在骨科术中导航中存在许多优势，但也面临着一些挑战和不足。首先是数据的质量、隐私性和可靠性的问题。AI算法的训练和验证需要依靠大样本数据，由于数据往往难以获取，且质量参差不齐，目前大多数研究还仅仅是基于内部构建的数据集。其次，在实际医疗场景中，积累和标记大量的医疗数据工作量庞大，且一些发病率低的疾病的数据收集难度更大，导致数据量失衡，不利于深度学习。如何实现在有限的样本中完成学习是当前AI的发展方向 ^[ 70 ]，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别仅需要少量的样本就能快速学习，这就是小样本学习。由于建立高质量医学数据集的成本很高，相关研究也致力于小样本学习 ^{[ 71 , 72 , 73 , 74 , 75 ]}。其次，数据标记需要依靠专业医生的经验，该过程耗费大量人力，且不同层级的医生之间也存在差异。另外，AI的使用应以保护患者的隐私安全，以遵循法律框架和原则作为基本要求，因此数据的使用必须征询患者的知情同意。最后，AI仅从患者的给定数据中学习，因此手术的准确性取决于给定的数据。AI只做它被编程要做的事情，这些机器不理解情感、人类思想和做出准确决定的原因，因此需要在使用过程中进行监督。AI算法应该加强其结果的可解释性，使医生明确其推理过程，有效应对由于算法偏差引起的临床应用中的各类问题 ^{[ 76 , 77 , 78 , 79 ]}。为实现这一目标，医疗机构应当鼓励AI的临床使用，为数字化新时代做铺垫。

尽管存在上述问题和局限性，不可否认AI在骨科手术导航中有着巨大的应用前景 ^[ 80 ]。未来，随着算法的不断升级和硬件设备的不断完善，手术辅助和导航系统的精准度和效率将会进一步提高。同时，自动化操作和智能化决策将成为今后的发展趋势 ^[ 81 ]。学者正在探索如何利用AI自动规划手术路径、选择最佳手术方案、实时监控手术进程 ^[ 82 ]，并提供基于数据的决策支持 ^[ 83 ]。此外，一些新兴的技术也将为骨科手术提供更多的选择，如基于VR和AR的手术辅助系统 ^[ 84 ]、基于ML的个性化手术方案等 ^{[ 85 , 86 , 87 ]}。无论是术中指导、术前计划，还是术后预测，AI都是高效的辅助工具。未来，随着数据库中大数据可靠性与稳定性的提高，以及通过医生与工程师共同参与制定合理算法，基于AI的术中导航必能成为骨科医生的利器。

参考文献（略）