Memoriki结合LLM Wiki与MemPalace，解决AI对话中的记忆问题，实现知识的持续积累。通过结构化知识库和语义搜索，AI能够高效检索信息，记录会话日志，从而提升工作效率，成为长期合作伙伴。

Hermes Agent与LLM-Wiki结合，构建自我学习的知识库。通过三层架构，将原始资料转化为结构化资产，实现知识的持续积累。系统支持自动更新，确保数据安全与一致性，解决知识沉淀问题，提升AI的长期协作能力。

卡帕西提出通过大模型构建个人知识库，先收集资料，再让LLM自动编译成结构化的wiki，最后通过Obsidian进行管理和查询。用户可提问，LLM基于知识库回答，并定期维护内容。未来设想是启动AI团队协作，自动生成报告，改变传统学习方式，强调知识系统的构建与管理。

在LLM应用中，p99延迟比平均延迟更为重要，因为它反映了最慢请求的用户体验。p99表示99%的请求完成时间，揭示潜在性能问题。常见的p99峰值原因包括检索延迟、缓存失效和多步骤操作。优化应集中在数据访问层，以确保快速一致的读取，从而降低p99延迟。

Meta通过自适应排名模型提升广告推荐系统效率，解决了模型复杂性与系统效率的矛盾，实现低延迟和高效能，显著提高广告转化率和点击率。该模型通过请求导向优化与深度模型系统协同设计，确保每个请求由最有效的模型处理，以满足全球用户需求。

在运行大型语言模型（LLM）时，需关注安全风险，包括提示注入、敏感信息泄露、供应链风险和过度自主性。建议在应用层实施输入验证和输出过滤，并通过政策层管理这些风险，以确保模型行为符合安全标准。

本文探讨了福州大学利用大语言模型（LLM）解析假期调课通知的实践。通过将自然语言通知转化为结构化调课信息，系统显著减轻了用户的认知负担。LLM被封装为函数，能够高效解析不同格式的通知，提升用户体验，最终自动生成调整后的课程表。

llm-d项目已被纳入云原生计算基金会（CNCF）沙箱，旨在推动Kubernetes及AI基础设施的发展。该项目由Red Hat、Google、IBM等公司合作创建，目标是实现硬件无关的最先进推理性能。llm-d提供了一个Kubernetes原生的分布式推理框架，解决了传统服务路由和自动扩展的不足，确保高效的AI服务，并致力于建立开放的基准测试标准。

本文讨论了使用Ollama和OpenWeb UI运行本地LLM的经验，强调数据隐私和离线操作的重要性。作者分享了硬件需求、模型管理和自定义功能，指出RAG功能的局限性，并探讨了集成网络搜索的必要性。总体而言，Ollama与OpenWeb UI的结合满足了作者的编程需求。

Prose2Policy（P2P）是一个基于大型语言模型的工具，能够将自然语言访问控制政策转换为可执行的Rego代码。它提供了一个模块化的端到端管道，涵盖政策检测、组件提取和模式验证等功能。在ACRE数据集上的评估显示，政策的编译率为95.3%，自动测试的正向通过率为82.2%，表明P2P生成的Rego政策在零信任和合规环境中是可靠的。

本文介绍了 LLM Agent 的多种范式，包括单步回答、链式思维、ReAct、反思型、任务规划、记忆增强和多 Agent 协作。详细说明了每种范式的特点、适用场景及其优势与局限，强调了模型能力与实现成本之间的关系。

本文介绍了如何在FastAPI应用中使用OpenTelemetry实现端到端的LLM可观察性。传统监控方法无法满足LLM系统的需求，因为LLM请求结果的不确定性。文章强调设计跟踪、跨度和语义属性的重要性，以捕捉LLM请求的完整生命周期。通过合理的架构设计，工程师可以更好地调试和优化LLM应用，控制成本，提高响应质量。最终目标是将LLM调用视为分布式系统的重要组成部分，以实现更高效的监控和改进。

DoorDash开发了一种模拟评估系统，能够快速进行数百次客服聊天机器人测试，显著提高实验效率。该系统将幻觉率降低了约90%，通过生成真实客户互动的多轮对话，结合自动评估框架，确保聊天机器人在实际场景中的表现。工程师通过持续迭代优化提示和上下文处理，以达到上线前的评估标准。