大语言模型推理的价格战 - 靠规模取胜？[译]
原文中文，约5200字，阅读约需13分钟。发表于：。目前除了 OpenAI，还有五家公司的模型在多个基准测试中超越了 GPT-3.5，这些公司包括 Mistral Mixtral、Inflection-2、Anthropic Claude 2、Google Gemini Pro 和 X.AI Grok。更令人惊讶的是，Mistral 和 X.AI 仅靠不到 20 人的团队便取得了这样的成就。此外，我们还预计...
Mistral的Mixtral模型在基准测试中表现优于OpenAI的GPT-3.5。其他有前景的模型包括Inflection-2、Anthropic Claude 2、Google Gemini Pro和X.AI Grok。价格竞争激烈，Together、Perplexity、Anyscale和Deepinfra等公司提供更低的价格。GPU和PyTorch使公司更容易进入市场。批量大小和推测解码技术影响模型性能。H200和MI300X模型预计将带来具有成本效益的改进。
