为了解决LLM调用的无状态问题,需要将消息历史作为上下文发送给LLM。随着对话的进行,消息历史不断增长,可能超出LLM的上下文窗口限制,导致响应质量下降。因此,压缩对话历史是必要的。MAF提供了多种压缩策略,CompactionProvider支持摘要、折叠、删除和替换等策略,有效压缩消息历史,保留核心信息。
该项目是一个实时聊天微服务,使用Firebase、React.js、Express.js和Node.js开发。用户可以注册、登录并实时聊天,消息保存在Firestore中。项目在1.5小时内完成,核心功能包括用户认证、实时消息和历史记录显示。尽管面临消息结构和排序问题,但已解决。未来可增加附件发送和群聊功能。整体体验积极且有教育意义。
完成下面两步后,将自动完成登录并继续当前操作。