Dev Proxy v0.28 具备语言模型使用和成本跟踪功能

Dev Proxy v0.28 具备语言模型使用和成本跟踪功能

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

Dev Proxy v0.28发布,新增OpenAITelemetryPlugin以跟踪语言模型使用和成本,改进TypeSpec生成和插件灵活性,支持JSONC,增强OpenAI有效载荷支持,并修复多个bug。同时简化了与.NET Aspire的集成,提升开发效率。

🔎

延伸解读

语言模型使用成本监控的重要性

Dev Proxy v0.28引入的OpenAITelemetryPlugin功能,能够帮助开发者实时监控语言模型的使用情况和相关成本。这对于预算控制和资源优化至关重要,尤其是在大规模应用中,了解每次请求的成本可以帮助团队做出更明智的决策。

与Foundry Local的集成优势

通过将Dev Proxy配置为使用Foundry Local,开发者可以在本地环境中运行语言模型,减少云服务的依赖。这不仅可以降低成本,还能提高开发效率,特别是在离线开发场景中,能够更灵活地进行测试和迭代。

TypeSpec生成的改进

Dev Proxy v0.28对TypeSpec生成的改进,使得API描述更加符合最新标准。这一变化将有助于开发者更好地管理和维护API,确保在团队协作时,文档和代码的一致性,减少因版本不一致带来的问题。

Q&A

Dev Proxy v0.28的新功能有哪些?

Dev Proxy v0.28新增了OpenAITelemetryPlugin以跟踪语言模型使用和成本,改进了TypeSpec生成和插件灵活性,支持JSONC,并增强了OpenAI有效载荷支持。

OpenAITelemetryPlugin的作用是什么?

OpenAITelemetryPlugin可以跟踪语言模型的使用情况、令牌计数和请求成本估算,帮助用户了解应用与OpenAI的交互。

如何将Dev Proxy与Foundry Local集成?

用户可以配置Dev Proxy使用Foundry Local作为本地语言模型提供者,从而提高OpenAPI规格和TypeSpec文件的生成效率。

Dev Proxy v0.28修复了哪些bug?

修复了与并发请求相关的日志问题,提升了日志显示的准确性,并改进了CRUD API插件对CORS的支持。

Dev Proxy的.NET Aspire扩展有什么优势?

Dev Proxy的.NET Aspire扩展简化了与.NET Aspire应用的集成,只需少量代码即可完成集成,支持本地安装或Docker容器运行。

Dev Proxy Toolkit v0.24.0包含哪些新功能?

Dev Proxy Toolkit v0.24.0新增了发现模式命令和多个更新的代码片段,改进了对Dev Proxy Beta的支持。

🏷️

标签

➡️

继续阅读