大语言模型推理的价格战 - 靠规模取胜？[译]

Mistral的Mixtral模型在基准测试中表现优于OpenAI的GPT-3.5。其他有前景的模型包括Inflection-2、Anthropic Claude 2、Google Gemini Pro和X.AI Grok。价格竞争激烈，Together、Perplexity、Anyscale和Deepinfra等公司提供更低的价格。GPU和PyTorch使公司更容易进入市场。批量大小和推测解码技术影响模型性能。H200和MI300X模型预计将带来具有成本效益的改进。