Flask框架Stream为True的时候,计算token的问题
原文中文,约1600字,阅读约需4分钟。发表于: 。背景 现在有很多的短视频博主发布视频,说 openai 在封翻墙使用 chatgpt 的用户。力度之大,乃至付费的用户也被大批的封。我试了一下自己的,chat.openai.com 是被禁止访问了,但是API还是可以正常访问的,为了正常使用chatgpt,我试着使用 openai 的 api 自己撸一个服务端,对外提供的 chat/completions API 完全模拟...
chatgpt-mirror项目模拟了openai的chat/completions API,提供了一个接口供用户使用chatgpt。作者解决了在SSE模式下获取response和计算token的问题,并使用Flask框架获取stream API的response内容,使用tiktoken包计算token数量。作者还提供了计算文本字符串中token数量的方法。