Google Stax旨在使AI模型评估对开发者更易获取

Google Stax是一个框架，旨在通过数据驱动的方式客观评估AI模型的输出质量。

开发者可以根据特定用例定制评估过程，而不是依赖于通用基准。

评估对于选择合适模型、比较质量、延迟和成本至关重要。

Stax提供数据和工具，支持结合人类判断与自动评估的基准。

用户可以导入现成的数据集或生成合成数据，支持多种模型提供商。

可以创建自定义评估器，步骤包括选择基础LLM作为评判者并提供评估提示。

评估提示需包含评分类别定义和数值分数，确保评估者的可靠性。

Google Stax的竞争对手包括OpenAI Evals、DeepEval、MLFlow LLM Evaluate等。

Stax支持多种模型提供商的基准测试，包括OpenAI、Anthropic等，且在测试阶段免费使用。

Google承诺不会拥有用户数据，也不会将其用于训练语言模型。