phodal
·
PromptScript：轻量级 DSL 脚本，加速多样化的 LLM 测试与验证
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
PromptScript是一个轻量级DSL脚本工具，支持LLM测试和验证，包括模板生成、多数据源支持、任务策略和结果验证等功能。通过YAML配置文件支持不同的LLM接入，提高效能和测试效果。
🎯
关键要点
-
PromptScript是一个轻量级的DSL脚本工具，用于LLM测试和验证。
-
支持模板生成、多数据源、任务策略和结果验证等功能。
-
通过YAML配置文件支持不同的LLM接入，提高效能和测试效果。
-
PromptScript旨在简化LLM测试过程，提高效率和灵活性。
-
模型接入通过YAML配置支持不同的LLM提供者。
-
Prompt生成依赖于模型引擎和数据源，支持多种模板引擎。
-
任务策略支持重复和参数化配置，用于验证Prompt结果。
-
结果校验支持多种验证方法，包括JsonPath、字符串、正则表达式等。
-
PromptScript为研究LLM、批量数据处理和Prompt验证提供便捷工具。
🏷️
