字节大模型同传智能体，一出手就是媲美人类的同声传译水平
内容提要
字节跳动的研究人员推出了端到端同声传译智能体CLASI，效果接近专业人工水平。CLASI采用了端到端架构，具备获取外部知识的能力。在人工评测中，CLASI超过商业系统和开源SOTA系统，甚至达到或超过人类同传水平。研究人员还引入了多模态检索增强生成过程，提高了翻译质量。
延伸解读
端到端架构如何解决传统同传的痛点
传统同传软件采用级联模型，先语音识别再机器翻译，容易导致错误传播，且受限于低延迟只能使用小模型。CLASI采用端到端架构，直接处理音频流，避免了中间环节的误差累积，同时依托大语言模型，能够灵活调整处理策略，在保证实时性的同时提升翻译质量。
多模态检索增强生成的实际作用
CLASI引入多模态检索增强生成过程，能够从用户自定义的知识库中实时获取领域特定信息。例如，在翻译专业术语时，系统可以检索到正确的译法，从而提升翻译准确性。这一过程在推理时计算开销小，却有效提高了翻译质量，尤其适合会议等专业场景。
人工评测指标VIP的意义与局限
研究人员与专业译员合作，制定了“有效信息占比”（VIP）作为评估指标，以百分制衡量翻译中有效信息的比例。CLASI在中英、英中翻译中VIP超过78%，超过商业系统和开源SOTA，甚至达到或超过人类同传水平（一般认为人类平均约80%）。但VIP主要关注信息完整性，可能无法全面反映翻译的流畅度和风格。
CLASI的读写策略与确定性输出
CLASI采用数据驱动的读写策略，通过模仿专业译员的行为，无需复杂预设即可平衡翻译质量和延迟。与多数商业系统频繁重写输出不同，CLASI保证所有输出在保持高质量的同时是确定性的，这有助于提升同传的稳定性和可靠性。
Q&A
CLASI同声传译智能体的主要特点是什么？
CLASI采用端到端架构，避免了传统模型中的错误传播，具备从外部获取知识的能力，翻译效果接近专业人工水平。
CLASI在翻译质量上与其他系统相比如何？
在人工评测中，CLASI显著超过了商业系统和开源SOTA系统，达到或超过了人类同传水平。
CLASI如何提高翻译的准确性和连贯性？
CLASI通过大语言模型自主控制翻译流程，灵活调整处理策略，确保信息传递的准确性和连贯性。
CLASI的评估标准是什么？
研究人员制定了新的人工评估策略“有效信息占比”(VIP)，用于评估翻译的准确性。
CLASI在中英翻译中的表现如何？
CLASI在中英、英中翻译中表现优异，人工评测有效信息占比超过78%。
CLASI的系统架构是怎样的？
CLASI基于大语言模型的架构，将同声传译定义为一系列简单且协调的操作，确保高效的实时翻译。
