在巴黎的PyTorch大会上,PyTorch基金会宣布了三个新项目:Safetensors、ExecuTorch和Helion,旨在增强开源AI的安全性和效率。Safetensors提供安全的模型分发,ExecuTorch简化边缘设备上的模型运行,Helion则简化机器学习内核的开发。这标志着PyTorch在开源AI领域的进一步发展。
Docker Model Runner已集成vLLM推理引擎和safetensors模型,支持高吞吐量的AI推理,用户可在Docker环境中轻松运行大型语言模型,提升开发灵活性。
Safetensors是一个用于在常见框架中保存和加载张量的库,包括PyTorch、TensorFlow、JAX、PaddlePaddle和NumPy。该库已通过安全审计,没有发现关键安全漏洞。Safetensors将成为transformers的默认格式,并计划在不久的将来发布1.0版本。该库使用Rust编写,具有额外的安全性。
完成下面两步后,将自动完成登录并继续当前操作。