在LLM应用中，p99延迟比平均延迟更为重要，因为它反映了最慢请求的用户体验。p99表示99%的请求完成时间，揭示潜在性能问题。常见的p99峰值原因包括检索延迟、缓存失效和多步骤操作。优化应集中在数据访问层，以确保快速一致的读取，从而降低p99延迟。