InfoQ
·
Dev Proxy v0.28 引入了大语言模型使用情况和成本分析的遥测功能
内容提要
.NET团队发布Dev Proxy 0.28版本，新增OpenAITelemetryPlugin插件，帮助开发者跟踪OpenAI请求的使用情况和成本。该版本支持Foundry Local本地AI环境，简化了与Aspire应用的集成，并扩展了对OpenAI负载的支持，同时改进了TypeSpec生成和日志处理，增强了并发性能。
关键要点
-
发布了Dev Proxy 0.28版本，新增OpenAITelemetryPlugin插件。
-
OpenAITelemetryPlugin插件帮助开发者跟踪OpenAI请求的使用情况和成本。
-
插件记录请求细节，包括使用的模型、令牌计数和每请求成本估算。
-
支持Microsoft的Foundry Local本地AI环境，减少成本并支持离线开发。
-
Dev Proxy可以配置使用本地模型，提供更具成本效益的开发选项。
-
Dev Proxy扩展的预览版本现已提供，简化与Aspire应用的集成。
-
扩展了对OpenAI负载的支持，增加了与OpenAI API的兼容性。
-
TypeSpec生成得到了增强，支持改进的PATCH操作生成。
-
支持JSONC格式的配置文件，便于团队协作和长期维护。
-
改进了并发性能，确保并行请求的日志准确分组。
-
移除了GraphConnectorNotificationPlugin，更新了devproxy jwt create命令的--audience标志。
-
CRUD API插件更新了CORS处理和一致的JSON响应。
-
Dev Proxy Toolkit for Visual Studio Code更新至0.24.0版本，增加了新代码片段和命令。
延伸解读
OpenAITelemetryPlugin的实用性
OpenAITelemetryPlugin插件为开发者提供了详细的请求跟踪功能，包括模型使用情况和成本估算。这使得开发者能够更好地理解AI模型的使用模式，从而优化资源配置，降低开发成本。通过可视化工具如OpenLIT，团队可以更直观地分析数据，提升决策效率。
Foundry Local的优势
Dev Proxy 0.28版本支持Foundry Local，允许开发者将云端LLM调用重定向到本地环境。这不仅降低了使用成本，还支持离线开发，适合需要高性能和灵活性的项目。开发者可以通过配置文件轻松指定本地模型，提升开发效率。
对Aspire用户的影响
对于使用.NET Aspire的开发者，Dev Proxy的扩展版本简化了与Aspire应用的集成。这一改进使得开发者能够更快速地部署应用，尤其是在分布式开发环境中，降低了配置复杂性，提升了团队协作的效率。
并发性能的提升
此次更新增强了并发性能，确保并行请求的日志准确分组。这一改进对于需要处理大量请求的应用尤为重要，能够帮助开发者更有效地追踪和调试请求行为，提升应用的稳定性和响应速度。
延伸问答
Dev Proxy 0.28版本新增了哪些主要功能？
Dev Proxy 0.28版本新增了OpenAITelemetryPlugin插件，支持跟踪OpenAI请求的使用情况和成本，并扩展了对OpenAI负载的支持。
OpenAITelemetryPlugin插件的作用是什么？
OpenAITelemetryPlugin插件帮助开发者记录请求细节，包括使用的模型、令牌计数和每请求成本估算。
如何配置Dev Proxy使用本地模型？
开发者可以在代理的配置文件中指定本地模型和端点，以配置Dev Proxy使用Foundry Local。
Dev Proxy 0.28版本对Aspire应用的集成有什么改进？
Dev Proxy 0.28版本的预览扩展简化了与Aspire应用的集成，允许在本地或通过Docker运行，减少了设置复杂性。
Dev Proxy 0.28版本在并发性能方面有哪些改进？
该版本改进了并发性能，确保并行请求的日志准确分组，帮助开发者更有效地追踪请求行为。
Dev Proxy Toolkit for Visual Studio Code更新了哪些内容？
Dev Proxy Toolkit更新至0.24.0版本，增加了新代码片段和命令，并改善了与Dev Proxy Beta的兼容性。
