MacGeeker
·
Flask框架Stream为True的时候，计算token的问题
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
chatgpt-mirror项目模拟了openai的chat/completions API，提供了一个接口供用户使用chatgpt。作者解决了在SSE模式下获取response和计算token的问题，并使用Flask框架获取stream API的response内容，使用tiktoken包计算token数量。作者还提供了计算文本字符串中token数量的方法。
🎯
关键要点
- 背景介绍了openai封禁翻墙用户的情况，作者尝试使用openai的API搭建服务端。
- 项目名称为chatgpt-mirror，旨在模拟openai的chat/completions API。
- chatgpt-mirror提供一个接口，验证Fake API key后调用openai的API并返回结果。
- 为每个用户配置Fake API key，并计算token消耗量以便共享使用。
- 解决token计算问题的经验包括在SSE模式下获取response和使用Flask框架获取stream API的response内容。
- Flask框架中通过注册call_on_close()方法获取response内容。
- 使用tiktoken包简化token计算，提供了计算token数量的方法。
➡️
