OpenAI 的 Chat Completions API 的一些更新

OpenAI 的 Chat Completions API 的一些更新

💡 原文中文,约1300字,阅读约需3分钟。
📝

内容提要

OpenAI Chat Completions API 新增 logprobs 参数,设为 true 可查看每个生成 Token 的概率;配合 top_logprobs(0-5)可显示当时最可能的候选 Token 及概率,便于调试 Prompt。另有 n 参数可一次返回多个结果,seed 参数让相同输入尽量保持一致。functions 和 function_call 分别改名为 tools 和 tool_choice。

🔎

延伸解读

logprobs 的调试价值与局限

文章指出,logprobs 参数让开发者首次能直接看到每个生成 Token 的概率,配合 top_logprobs 还能查看候选 Token 及其概率。这有助于在调试 Prompt 时观察参数设置对生成结果的影响,而不再只能看到最终输出。不过作者也认为,对普通开发者用处不大,可能只有真正的 Prompt Engineer 才会用得上。

Token 切分细节值得注意

文章通过示例说明,top_logprobs 返回的候选 Token 可能包含空格差异,例如“How”后候选有带空格的“can”和不带空格的“dy”,后者可与前词组成“Howdy”。这提醒开发者,Token 既可能是独立单词,也可能与前文组合成新词,理解这一点对分析概率分布和调试生成结果有实际意义。

n 与 seed 参数的实用场景

文章提到 n 参数可一次返回多个生成结果,适合让用户从多个选项中挑选最佳答案;seed 参数则类似 Stable Diffusion 的种子,在传入相同 seed 和其他相同参数时,尽量保持每次返回结果一致。这两个参数为需要多样输出或可复现结果的场景提供了直接支持。

函数调用参数改名需留意

文章提醒,functions 和 function_call 已分别改名为 tools 和 tool_choice,参数结构似乎没有明显变化。对于已在代码中使用旧参数名的开发者,这意味着需要关注官方文档并适时调整调用方式,以免因命名变更影响现有集成。

❓

Q&A

OpenAI Chat Completions API 新增的 logprobs 参数有什么作用?

logprobs 参数默认是 false,设置为 true 后,返回结果中会多一个 logprobs 项,列出每个生成 Token 的概率,方便调试 Prompt 时直观看到 Prompt 和参数设置对生成结果的影响。

top_logprobs 参数怎么用?它和 logprobs 有什么关系?

top_logprobs 需要同时将 logprobs 设置为 true 才能生效,它是一个 0-5 之间的数字,用于在返回结果时显示生成时最有可能的候选 Token 及其概率。例如设置为 5,可以看到每个位置最可能的 5 个 Token 及概率。

Chat Completions API 的 n 参数有什么用途?

n 参数可以同时返回多个生成结果,例如一次性生成几个不同的结果,让用户选择他们认为最好的一个。

seed 参数在 Chat Completions API 中起什么作用?

seed 参数类似于 Stable Diffusion 画图时的 seed 参数,当每次传入相同的 seed 和其他相同参数时,每次返回的结果会尽可能保持一致。

functions 和 function_call 参数改名后变成了什么?

functions 参数改名为 tools,function_call 改名为 tool_choice,参数结果似乎没有明显变化。

logprobs 和 top_logprobs 对普通开发者有用吗?

文章认为对于普通开发者来说,感觉并没有太大的用处,只有真正的 Prompt Engineer 才可能会用得上。

🏷️

标签

➡️

继续阅读