Manjusaka
·
Pydantic 不是免费的——聊聊数据校验的边界
💡
原文中文，约7000字，阅读约需17分钟。
📝
内容提要
最近对使用Pydantic的Web服务进行性能分析，发现数据校验导致显著的CPU开销。建议在内部数据容器中使用标准库的dataclass替代Pydantic，以降低性能损耗。合理划分Pydantic的使用场景可以提高服务性能。
🎯
关键要点
-
最近对使用Pydantic的Web服务进行性能分析，发现数据校验导致显著的CPU开销。
-
在某个推荐链路服务中，实例化Pydantic模型占用了超过25%的CPU时间。
-
Pydantic v2虽然性能有所提升，但在高QPS和复杂请求下，开销仍然显著。
-
Pydantic的使用场景应合理划分，主要包括API边界、响应序列化、应用配置和业务规则校验。
-
对于内部数据容器，建议使用标准库的dataclass替代Pydantic，以降低性能损耗。
-
使用dataclass可以减少不必要的开销，同时保持类型安全。
-
在特定情况下，如需要业务规则校验或序列化时，仍需保留Pydantic的使用。
-
合理的使用边界可以避免不必要的性能损失，确保服务的高效运行。
❓
延伸问答
Pydantic在Web服务中的性能开销有多大？
在某个推荐链路服务中，实例化Pydantic模型占用了超过25%的CPU时间。
如何降低Pydantic的性能损耗？
建议在内部数据容器中使用标准库的dataclass替代Pydantic，以降低性能损耗。
Pydantic的使用场景有哪些？
Pydantic主要用于API边界、响应序列化、应用配置和业务规则校验。
在什么情况下应该保留Pydantic的使用？
应保留Pydantic用于需要业务规则校验、序列化或配置类等场景。
使用dataclass替代Pydantic有什么好处？
使用dataclass可以减少不必要的开销，同时保持类型安全。
Pydantic v2相比于v1有什么改进？
Pydantic v2将validator内核换成Rust编写，性能提升了一个数量级。
➡️
