NVIDIA Blog
·
小而强大：NVIDIA加速Microsoft的开放Phi-3 Mini语言模型
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
NVIDIA加速了Microsoft的Phi-3 Mini开放语言模型，并使用NVIDIA TensorRT-LLM进行优化。Phi-3 Mini具有10倍大模型的能力，可用于研究和商业用途。Phi-3 Mini有两个变体，一个支持4k tokens，另一个支持128K tokens。开发者可以在ai.nvidia.com上尝试Phi-3 Mini，并在Jetson AI Lab上学习部署。TensorRT-LLM将支持Phi-3 Mini的长上下文窗口，并提供多种优化和内核。NVIDIA是开源生态系统的积极贡献者，并与Microsoft合作加速DirectML、Azure云、生成AI研究、医疗和生命科学等创新。
🎯
关键要点
- NVIDIA加速了Microsoft的Phi-3 Mini开放语言模型，并使用NVIDIA TensorRT-LLM进行优化。
- Phi-3 Mini具有10倍大模型的能力，适用于研究和商业用途。
- 该模型有两个变体，一个支持4k tokens，另一个支持128K tokens，适合处理长上下文。
- 开发者可以在ai.nvidia.com上尝试Phi-3 Mini，并在Jetson AI Lab上学习部署。
- Phi-3 Mini模型有3.8亿参数，训练使用了3.3万亿tokens，仅用七天时间在512个NVIDIA H100 Tensor Core GPUs上完成。
- Phi-3 Mini适合在边缘设备上高效运行，能够在资源受限的情况下执行简单任务。
- TensorRT-LLM支持Phi-3 Mini的长上下文窗口，并使用多种优化和内核提高推理吞吐量和延迟。
- NVIDIA积极参与开源生态系统，发布了超过500个开源项目，并支持多个外部项目。
- NVIDIA与Microsoft的长期合作推动了DirectML、Azure云、生成AI研究及医疗生命科学等创新。
➡️
