BriefGPT - AI 论文速递 · 2024-01-23T00:00:00Z

文本输入模态对动作预测效果的研究

📝

内容提要

我们提出了一种多模态预测变压器（MAT）架构，使用多模态特征和文本字幕预测未来动作。通过实验评估了预训练阶段的有效性，并展示了模型的优势。结果显示文本描述有助于更有效的动作预测。

🏷️

标签

动作预测 多模态特征 多模态预测变压器 文本字幕 预训练阶段