本研究提出了一种多模态模型MM-When2Speak，旨在解决大型语言模型在实时对话中的反应时机问题。该模型结合视觉、听觉和文本信息，能够准确预测何时及如何回应。实验结果表明，其在响应时机的准确性上显著优于现有模型，强调了多模态输入在对话AI中的重要性。