本研究通过构建新数据集Surg-QA，包含102,000个外科视频-指令对，并采用两阶段问答生成管道，提高了外科视频的多模态对话能力。研究结果显示，LLaVA-Surg在开放式外科视频问答任务中性能明显超越之前的模型，展现出卓越的多模态对话能力。

本文介绍了CholecTrack20数据集在外科视频工具跟踪中的应用，比较了机器人与传统腹腔镜手术中基于视觉的器械分割和追踪方法。研究表明，深度学习在器械分割方面表现优异，但器械追踪仍面临挑战。通过机器学习和卷积神经网络，实现了手术器械的自动检测和追踪，提高了手术效率和技能评估的准确性。

介绍了CholecTrack20数据集解决外科视频中工具跟踪需求，包含多类多工具的三个视角的工具轨迹，满足手术过程中的辅助要求。