Fly.io 现在支持 GPU
内容提要
Fly.io推出支持GPU的云服务，允许用户在边缘计算中进行AI工作负载，快速部署应用，利用Nvidia A100 GPU进行语音识别和文本分割等任务。该服务在全球多个数据中心提供，支持按需扩展，用户仅在使用时支付费用。
延伸解读
边缘推理的延迟优势
文章强调，将GPU部署在靠近用户的数据中心可以显著减少网络延迟。例如，在芝加哥和 Amsterdam 分别运行实例，让两地用户都能快速获得响应。对于需要实时交互的AI应用，如语音识别或文本生成，这种边缘推理能提升用户体验，避免因跨洋传输造成的延迟。
按需计费与自动扩缩容
Fly.io 的GPU服务支持按使用付费，用户只需在请求时支付GPU费用。通过配置 auto_stop_machines 和 auto_start_machines，应用可以在无请求时自动停止GPU实例，从而降低成本。这种弹性扩缩容特别适合流量波动大的场景，避免资源闲置浪费。
GPU规格与定价
文章列出了可用的GPU型号和价格：Nvidia A100 40GB为每小时2.50美元，80GB为每小时3.50美元，L40s也已推出，价格相同。默认配置附带8个AMD EPYC CPU核心，并可挂载最大500GB的卷。用户还可以咨询预留实例和专用主机的折扣。
部署与扩展的便捷性
通过简单的 fly.toml 配置和命令行操作，用户可以快速部署GPU应用，并利用 fly scale count 命令轻松将应用扩展到其他区域。相同的公共IP和TLS证书使得多区域部署无缝衔接，简化了全球服务的运维。
Q&A
Fly.io的GPU服务支持哪些AI工作负载？
Fly.io的GPU服务支持语音识别、文本分割、文章摘要、图像合成等AI工作负载。
Fly.io的GPU服务如何帮助降低成本？
用户可以根据需求自动扩展和缩减GPU资源，仅在使用时支付费用，从而降低成本。
Fly.io的GPU服务在哪些地区可用？
Fly.io的GPU服务在多个美国和欧洲地区以及悉尼提供。
使用Fly.io的GPU服务需要哪些步骤？
用户只需在fly.toml中配置应用，然后运行命令创建和部署应用即可。
Fly.io的GPU服务如何提升用户体验？
Fly.io的GPU服务可以快速部署应用，特别是在需要快速响应的场景中，提升用户体验。
Fly.io的GPU定价是怎样的？
Fly.io的GPU定价为每小时$2.50（40GB RAM）和$3.50（80GB RAM），并提供预留实例和专用主机的折扣。
