【vLLM 学习】Structured Outputs
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
本文介绍了如何使用vLLM库进行引导式解码，包括候选选项、正则表达式、Pydantic模式和生成SQL查询。通过不同的引导参数，可以生成情感分类、电子邮件地址和JSON格式的汽车描述。
🎯
关键要点
-
介绍了如何使用vLLM库进行引导式解码。
-
使用候选选项列表进行情感分类的示例。
-
使用正则表达式生成电子邮件地址的示例。
-
使用Pydantic模式生成汽车描述的JSON格式示例。
-
使用语法生成SQL查询的示例。
❓
延伸问答
如何使用vLLM库进行情感分类？
可以通过候选选项列表进行引导式解码，设置引导参数为正面或负面，然后生成情感分类结果。
vLLM库如何生成电子邮件地址？
使用正则表达式作为引导参数，设置生成电子邮件地址的提示，并指定结束符号为换行。
如何使用Pydantic模式生成汽车描述的JSON格式？
定义汽车类型和描述的Pydantic模型，然后使用该模型的JSON模式作为引导参数进行解码。
vLLM库支持生成SQL查询吗？
是的，vLLM库可以使用语法引导解码生成SQL查询，通过定义SQL语法并提供相应的提示。
vLLM库的引导式解码有什么应用场景？
引导式解码可用于情感分析、数据生成（如电子邮件、JSON格式描述）和SQL查询生成等场景。
如何设置vLLM库的引导参数？
可以通过创建GuidedDecodingParams对象并传入所需的参数（如候选选项、正则表达式或语法）来设置引导参数。
➡️
