在视频中寻找特定动作？这种基于人工智能的方法可以为您找到它
内容提要
麻省理工学院的研究人员开发了一种新技术，利用未标记的视频和自动生成的文本训练机器学习模型，以识别长视频中的特定动作。这种方法通过关注空间和时间信息，提高了多活动视频中动作识别的准确性，具有在线学习和医疗应用的潜力。研究人员还创建了新的基准数据集，以评估模型在未剪辑视频中的表现。
延伸解读
无需人工标注的训练策略
传统动作识别模型依赖人工标注视频中动作的起止时间，成本高且标注标准难以统一。该研究利用未标记的视频和自动生成的文本转录作为训练数据，无需额外人工处理。通过将训练分为空间和时间两个分支，模型分别学习物体位置和动作时序，再结合两者提高识别精度。这种方法降低了对昂贵标注数据的依赖，更具可扩展性。
空间与时间信息的协同训练
研究将空间和时间信息分开处理：空间分支关注动作发生的具体区域，如厨师手中的木勺；时间分支理解整个视频中动作发生的时段。同时训练这两个分支，模型在识别每个信息时都表现更好。这种设计缓解了 narration 与视频内容可能存在的错位问题，例如解说先于动作发生。实验表明，该方法在长视频多活动场景中比现有技术更准确。
新基准数据集的创新标注
为评估模型在未剪辑长视频上的表现，研究人员创建了新的基准数据集，并采用点标注技术：用户标记物体交互的关键点，如刀切番茄的接触点，而非绘制边界框。这种方法定义更清晰，能加速标注过程，减少人工劳动和成本。多人对同一视频进行点标注，还能更好地捕捉随时间变化的动作，如倒牛奶的流动过程。
应用潜力与未来方向
该技术可应用于在线学习、虚拟培训以及医疗场景，例如快速定位诊断程序视频中的关键时刻。未来，研究人员计划让模型自动检测文本与 narration 不对齐的情况，并切换关注模态；同时将框架扩展到音频数据，利用动作与声音的强关联。尽管视频理解仍落后于图像理解，这项工作为利用多模态数据提供了新思路。
Q&A
麻省理工学院的研究人员开发了什么新技术？
他们开发了一种利用未标记视频和自动生成文本训练机器学习模型的方法，以识别长视频中的特定动作。
这种技术如何提高动作识别的准确性？
该技术通过同时关注空间信息和时间信息，提高了多活动视频中动作识别的准确性。
研究人员创建了什么新的基准数据集？
研究人员创建了一个新的基准数据集，以评估模型在未剪辑视频中的表现，采用新的注释技术来识别多步骤动作。
这种技术在医疗应用中有什么潜力？
这种技术可以快速找到诊断程序视频中的关键时刻，从而在医疗应用中发挥潜力。
研究人员是如何处理视频和文本之间的对齐问题的？
他们在框架中加入了一个额外的组件，以减轻叙述与视频之间的错位问题。
这种新方法与传统方法相比有什么优势？
新方法不依赖于大量人工标注的数据，能够更有效地识别多步骤动作，且在长视频中表现更佳。
