如何提升大型语言模型用户体验：速度、延迟与缓存

提升大型语言模型（LLM）应用速度至关重要，用户在1秒内保持思维流畅，超过10秒则易失去注意力。

应用缓慢的原因包括真实延迟和感知延迟，优化速度可以提升用户满意度和业务成果。

用户在使用LLM应用时，等待时间的感知受到多个因素的影响，包括输入确认、上下文获取和模型响应等。

缺乏反馈会加剧用户的不安，用户在等待时不知道发生了什么，导致短暂的延迟也显得更为漫长。

输出结果的质量直接影响用户体验，低质量的回答会导致用户需要多次提问或放弃使用。

LLM应用的速度是用户体验的基础，用户期望响应是对话式的，因此每一步的延迟都会累积。

诊断LLM用户体验和性能瓶颈需要明确时间的分配，识别延迟的具体来源。

优化用户体验的关键指标包括首次令牌时间（TTFT）、每秒令牌数（TPS）和成功所需的回合数。

许多延迟是自我造成的，常见问题包括重复发送大量聊天记录和不必要的检索。

减少真实延迟的方法包括提前流式传输、缩短提示长度和加速检索过程。

通过更好的交互设计来减少感知延迟，例如立即确认用户输入和提供部分输出。

用户体验的改善与业务成果密切相关，降低TTFT可以提高用户参与度和减少支持请求。

使用Redis等实时数据平台可以优化LLM应用的低延迟操作，提升整体性能。