Flask框架Stream为True的时候,计算token的问题

Flask框架Stream为True的时候,计算token的问题

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

chatgpt-mirror项目模拟了openai的chat/completions API,提供了一个接口供用户使用chatgpt。作者解决了在SSE模式下获取response和计算token的问题,并使用Flask框架获取stream API的response内容,使用tiktoken包计算token数量。作者还提供了计算文本字符串中token数量的方法。

🏷️

标签

➡️

继续阅读