💡
原文英文,约1000词,阅读约需4分钟。
📝
内容提要
Safetensors是一个用于在常见框架中保存和加载张量的库,包括PyTorch、TensorFlow、JAX、PaddlePaddle和NumPy。该库已通过安全审计,没有发现关键安全漏洞。Safetensors将成为transformers的默认格式,并计划在不久的将来发布1.0版本。该库使用Rust编写,具有额外的安全性。
🎯
关键要点
-
Safetensors是一个用于在常见框架中保存和加载张量的库,包括PyTorch、TensorFlow、JAX、PaddlePaddle和NumPy。
-
该库已通过安全审计,没有发现关键安全漏洞。
-
Safetensors将成为transformers的默认格式,并计划在不久的将来发布1.0版本。
-
该库使用Rust编写,具有额外的安全性。
-
创建Safetensors的原因是PyTorch使用的pickle格式不安全,可能导致恶意文件控制用户计算机。
-
Safetensors支持懒加载和更快的加载速度,能够在不同框架中高效加载模型。
-
安全审计发现了一些不精确的规范格式和缺失的验证,但没有发现导致任意代码执行的关键安全缺陷。
-
Hugging Face、EleutherAI和Stability AI计划将Safetensors作为默认格式,逐步实现其核心依赖。
-
Safetensors的未来计划包括添加更多高级功能以支持LLM训练,并在用户基础上进行最终测试。
➡️