中科院携手全球顶尖机构发布十亿参数级手术视频基础模型 SurgMotion

手术视频理解领域正经历从单帧静态分析到全流程动态解析的范式转型。由中国科学院香港创新研究院人工智能与机器人创新中心领衔，联合全球多家顶尖机构，近日正式发布全球首个十亿级参数、基于最大规模数据集训练的手术视频原生基础模型——SurgMotion，标志着手术AI迈入全新发展阶段。

论文名称：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos。论文地址：https://arxiv.org/pdf/2602.05638。代码仓库：https://github.com/CAIR-HKISI/SurgMotion。模型权重：https://huggingface.co/CAIR-HKISI/SurgMotion。

作为手术AI领域的重要里程碑，SurgMotion依托于目前全球规模最大、术式覆盖最全面的千万帧级手术视频数据集SurgMotion-15M，首次突破十亿级参数规模，实现了对器械-组织交互及复杂时空运动语义的深度建模。在首次覆盖17项核心手术任务的系统性评测中，该模型展现出卓越性能：手术视频动态理解性能平均提升达16.5%，静态任务如深度估计和病灶分割的平均误差降低2.9%，全面定义了通用手术视频理解的新技术标杆。

发布仅三个月，SurgMotion迅速成为Hugging Face平台上全球下载量最大的手术视频基础模型。目前，已有来自5大洲、14个国家和地区的近40个全球顶尖机构与研究团队正式申请使用。

图1展示了SurgMotion基础模型的架构及其在多场景、多任务中的赋能示意图。

01. 范式颠覆：

从“像素重建”到“时空运动预测”

传统医疗视觉模型通常受限于单帧图像的静态感知，或深陷于低效的像素级重建。在实际手术中，烟雾、反光、出血等低级视觉噪声会消耗大量计算资源，导致模型无法真正理解手术的动态语义。

SurgMotion带来了行业内首次根本性的范式颠覆。基于先进的视频联合嵌入预测架构V-JEPA，该模型彻底摒弃了传统的像素级解码，专注于潜空间中的运动预测。SurgMotion引入了三大核心技术创新：

1. 运动引导的潜空间遮蔽预测：引导模型自动过滤无用噪声，将注意力聚焦于器械运动、组织形变等关键手术语义区域。
2. 时空亲和力自蒸馏：强制模型学习手术视频在时间和空间上的强关联性，实现对复杂手术流程的连贯理解。
3. 时空特征多样性正则化：有效解决手术场景中因纹理单一导致的表征崩溃问题，确保模型在各种极端手术场景下保持高鲁棒性。

图2展示了SurgMotion的预训练框架与下游评估流程。

02. 全球最大：

SurgMotion-15M预训练数据集

手术视频的高门槛、隐私性和标注难度导致行业长期处于数据孤岛状态。为打破这一瓶颈，研究团队打造了目前全球规模最大、术式最丰富、覆盖最全面的手术视频预训练数据集SurgMotion-15M：

1. 超大体量：包含3,658小时的真实手术视频，总帧数高达1,500万帧。
2. 极高多样性：汇聚了来自50个不同数据源的珍贵影像。
3. 全科室覆盖：横跨13个主要解剖区域，涵盖腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多学科复杂术式。

如此庞大且高质量的数据滋养，赋予了SurgMotion史无前例的泛化能力与跨科室通用性。

图3对比了SurgMotion-15M与国内外主流手术视频数据集的总时长。

03. 模型参数史上首次迈入十亿级

在10亿参数支持下，SurgMotion成功整合视频特征空间，对手术视频核心动态与时空信息进行深度学习。该模型对器械-组织交互、组织形变及操作节奏的捕捉能力显著超越以往。

图4展示了预训练数据规模、模型参数量与流程识别性能的对比。

04. 首次全面评测：

覆盖17项核心手术任务

在涵盖手术工作流识别、动作理解、深度估计、病灶分割、器械交互以及手术技能评估等17项权威基准测试中，SurgMotion接受了系统性评测并展现出统治级性能：

1. 手术工作流理解：在EgoSurgery数据集上，F1分数大幅提升14.6%；在PitVis数据集上提升10.3%。
2. 动作三元组识别：在CholecT50数据集上，以39.54% mAP-IVT刷新世界纪录。
3. 静态视觉与几何感知：在深度估计任务中，误差平均降低2.95%；在息肉或病灶分割任务中，精度相较于现有最强模型平均提升约1.0%，展现出极强的空间几何感知力。

无论是宏观的手术步骤推理，还是微观的器械-组织交互，SurgMotion都用详尽评测数据证明了其作为通用底座的强大实力。

图5展示了SurgMotion在各项主流手术理解任务及科室中的性能雷达图。

05. 全球生态共鸣：推动技术落地与合作

对于广大医疗AI科研团队而言，数据清洗、算力开销以及环境配置是创新的主要痛点。为此，SurgMotion在GitHub和Hugging Face上全面开放了模型权重、微调代码、开箱即用的评估框架与环境配置接口。自发布以来，SurgMotion的影响力已从学术界延伸至全球医疗技术与临床研究生态，并在产业界、科研机构和临床场景中形成广泛共鸣：

1. 产业合作方面：已有至少5家医疗科技企业和行业机构申请使用SurgMotion，包括用于手术视频理解、内镜智能分析、机器人辅助手术等方向的技术评估与应用探索。
2. 高校与科研生态方面：已有至少22所高校和科研机构加入SurgMotion的使用与验证，研究方向覆盖手术VLA模型开发、视频特征提取、时序推理、手术动作理解和多模态手术智能等前沿领域。
3. 临床实践合作方面：已有至少7家医院、医学院及临床相关机构申请使用SurgMotion，围绕手术教学、术中质量评估、数据质控和结构化复盘等真实临床需求开展探索。SurgMotion团队通过自动化手术视频结构化分析，推动手术标准化教学、手术质量复盘与临床质控流程的智能化升级。

这一生态扩展为SurgMotion提供了从基础研究、产业验证到临床落地的多维应用场景，进一步体现了其作为手术视频基础模型的通用能力与真实价值。SurgMotion的发布与应用，为手术视频理解领域树立了全新标杆，推动了从静态感知到动态理解的技术跨越。