我们将L40S价格减半
内容提要
Fly.io宣布NVIDIA L40S GPU的价格降至每小时1.25美元。A10 GPU因其足以应对随机推理和中型生成式AI工作负载而最受用户欢迎。Fly.io将L40S GPU定位为客户的经济实惠选择，提供与A100相当的AI工作负载计算性能。鼓励用户利用L40S GPU来革新行业。
延伸解读
推理需求主导GPU选择
Fly.io的客户数据表明，大多数用户将GPU用于推理而非训练。A10 GPU虽然性能较低，但足以应对随机推理和中型生成式AI工作负载，因此成为最受欢迎的选择。这反映出在实际应用中，响应HTTP请求的推理任务更注重网络、存储和内存的平衡，而非单纯追求顶级GPU。
L40S的定位与性价比
L40S是AI优化版GPU，性能与A100相当，但价格降至每小时1.25美元，与A10相同。Fly.io将其定位为经济实惠的选择，适合运行Llama 3.1、Flux、Whisper等任务。对于需要更强计算能力但预算有限的用户，L40S提供了接近A100的性能，而无需支付高昂费用。
从训练到推理的策略转变
Fly.io曾尝试解决训练相关的GPU问题，如A100切片和NVLink集群，但最终发现推理才是主要需求。训练任务类似批处理，对网络和可靠性不敏感；而推理任务类似事务，对网络和存储要求高。因此，Fly.io调整策略，专注于优化推理体验，并利用Tigris对象存储和Anycast网络提升整体性能。
Q&A
L40S GPU的价格是多少？
L40S GPU的价格降至每小时1.25美元。
L40S GPU适合哪些AI工作负载？
L40S GPU适合运行Llama 3.1、Flux、Whisper等多种AI任务。
为什么A10 GPU在用户中最受欢迎？
A10 GPU适合随机推理和中型生成式AI工作负载，因此受到用户青睐。
L40S GPU与A100 GPU的性能比较如何？
L40S GPU的AI工作负载计算性能与A100相当。
Fly.io对L40S GPU的市场定位是什么？
Fly.io将L40S GPU定位为经济实惠的选择，适合各种AI工作负载。
使用L40S GPU有什么优势？
使用L40S GPU可以享受与A100相当的性能，同时价格更为亲民。
