语音AI的“人味”取决于响应时机而非模型大小,小模型实时处理反而更像真人。“电话兜住率”具误导性,应关注解决率。听起来像人却会编造答案的AI,比机械但基于真实数据的AI更糟。语音智能在于不存储什么,专注小模型可胜过大模型。理想部署应识别能力边界并适时转人工。语音不会取代其他界面,而是增强。简单拼接API算不上语音智能体,规模化需芯片级优化。
本研究提出了一种多模态模型MM-When2Speak,旨在解决大型语言模型在实时对话中的反应时机问题。该模型结合视觉、听觉和文本信息,能够准确预测何时及如何回应。实验结果表明,其在响应时机的准确性上显著优于现有模型,强调了多模态输入在对话AI中的重要性。
完成下面两步后,将自动完成登录并继续当前操作。