该文汇总多项语音技术研究：端到端ASR联合取向预测，会话句子识别准确率超97%、延迟100毫秒；音视频多人说话识别模型VCAM解决标签歧义；视觉感知TTS依听者语音表情生成语音；低延迟CPU端到端TTS达31倍实时；弱监督活跃讲话者检测；VoCopilot声音跟踪系统结合大模型转录对话并保护隐私；轻量自适应神经TTS在CPU上快3倍；音视频转换器定位多人会话主要发言者；TS-VAD解决重叠说话，DER较基准改善超30%；零样本语音克隆可从数秒参考语音复制目标音色。

该系统是一个实时的说话人检测系统，利用麦克风阵列和360度摄像机的数据，通过虚拟电影摄影模块进行优化。该系统在计算预算耗尽时表现出优雅的降级，仍能正常运行。与传统的声源角估计方法不同，该系统利用检测到的头部位置学习查询可用的声学数据。该系统在一个现实的会议数据集上进行了训练和评估，包含达到14个与会者的同一会议、语音重叠和其他具有挑战性的场景。

该文介绍了一种低功耗边缘计算优化的实时因果神经网络活动说话人检测系统，能够在具有挑战性的场景下正常运行。作者在一个现实的会议数据集上训练和评估了该算法。