Fly.io 上的 GPU 服务现已向所有人开放！
内容提要
Fly.io 现已推出 GPU 服务，用户可以轻松创建支持 A100 和 L40s 等显卡的 GPU 实例。只需调整应用的 vm.size 设置即可使用 GPU。此外，Fly.io 还计划推出更低成本的 A10 GPU。
延伸解读
GPU 实例的配置方式
在 Fly.io 上启用 GPU 非常简单，只需修改应用的 vm.size 设置，将其指定为 a100-40gb、a100-80gb 或 l40s 即可。这意味着无需复杂的底层配置，现有应用可以快速获得 GPU 加速能力。文章还给出了部署 Ollama 的示例配置，展示了如何结合挂载卷和自动启停来运行大语言模型推理服务。
可用 GPU 型号与未来计划
目前 Fly.io 提供三种数据中心级 GPU：Ampere A100 的 40GB 和 80GB 版本，以及 Lovelace L40s 的 48GB 版本。这些显卡适合大语言模型、文本转录和图像生成等任务。此外，官方计划在未来几周推出更低成本的 A10 GPU，为预算敏感的用户提供更多选择。
使用前需注意的验证步骤
文章提醒，根据组织年龄和付款历史等因素，部分用户可能需要完成额外的验证步骤才能使用 GPU 实例。这意味着并非所有账户都能立即开通，新组织或付款记录较少的用户应提前了解可能的审核流程，以免影响部署计划。
Q&A
Fly.io 的 GPU 服务支持哪些显卡？
Fly.io 的 GPU 服务支持 Ampere A100（40GB 和 80GB）以及 Lovelace L40s（48GB）显卡。
如何在 Fly.io 上使用 GPU 实例？
用户只需调整应用的 vm.size 设置为支持的 GPU 类型即可使用 GPU 实例。
Fly.io 计划推出什么新型号的 GPU？
Fly.io 计划在未来几周推出更低成本的 A10 GPU。
Fly.io 的 GPU 服务适合哪些应用场景？
Fly.io 的 GPU 服务适合大语言模型、文本转录和图像生成等应用场景。
使用 Fly.io GPU 实例有什么优势？
使用 Fly.io GPU 实例可以轻松部署强大的计算能力，支持全球范围内的应用。
如何在 Fly.io 上快速部署 Ollama 服务器？
可以通过设置应用的 vm.size 为 l40s，并配置相关参数来快速部署 Ollama 服务器。
