问:是模型在限制 tokens 长度还是应用在限制?

问:是模型在限制 tokens 长度还是应用在限制?

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

模型的TOKEN数量受上下文窗口长度和应用限制影响。虽然模型最大可达128K,但应用通常限制在16K,以提高输出质量并降低成本。因此,需控制输入长度。

🏷️

标签

➡️

继续阅读