淘宝直播数字人：LLM弹幕互动技术

淘宝直播技术团队总结了智能数字人直播的实践，涵盖文案生成、互动能力、语音合成等六大核心环节。

结合AIGC技术，数字人直播提升用户体验，增强参与感，优化意图识别和商品解析。

LLM文案生产赋予数字人思考和内容生成能力，LLM互动能力实现自然交互。

TTS技术将文字转化为富含情感的声音，形象驱动技术让语音与表情、口型同步。

音视频工程解决实时渲染和低延迟传输的技术挑战，服务端工程确保数字人服务高效稳定运行。

弹幕互动是增强用户体验的关键机制，设计良好的弹幕互动能提升直播质量和商业潜能。

多轮意图识别模块通过历史对话和弹幕进行意图识别，提升观众与主播之间的互动体验。

实体解析模块根据用户历史对话和识别的意图，解析出相关商品名称和属性。

生成模块将检索信息和观众弹幕插入到Prompt模板中，输入到LLM模型生成回复。

未来将探索引入知识图谱和多模态信息融合，提升问答的准确性和用户体验。