内容提要
DigitalOcean推理引擎推出模型合成功能,通过多模型并行处理与合成器整合输出,提升深度研究任务的质量与成本效率。基准测试显示,开源组合GLM 5.2+Kimi K2.6在质量上超越所有单一模型,成本仅为Fable 5的一半。该功能提供预设配置,用户可按需选择,实现智能与成本的平衡。
延伸解读
合成器选择比面板大小更关键
测试显示,在相同面板下,更换合成器可使质量分数变动3至5分,而两模型面板与三模型面板的差距仅约0.4分。最佳两模型组合(GLM 5.2 + Kimi K2.6)甚至优于三模型组合,说明增加模型数量并非提升质量的关键,优先选择强合成器并保持面板精简更为有效。
开源组合的性价比优势
GLM 5.2 + Kimi K2.6组合在质量上超越所有单一模型,包括前沿模型Fable 5,但成本仅为后者的一半左右。这打破了前沿模型必然更优的假设,表明在深度研究任务中,开源模型通过协作可以达到更高性价比,为预算有限的用户提供了可行替代方案。
按任务需求调整智能投入
模型合成提供了灵活的智能成本调节选项:对于批量分类、常规摘要等成本敏感任务,单一开源模型即可满足;而对于尽调、竞争分析等研究密集型任务,可采用GLM 5.2 + Kimi K2.6组合。用户无需更换API,仅调整配置即可在不同智能水平间切换,实现按需分配资源。
Q&A
DigitalOcean推理引擎的模型合成功能是什么?
模型合成是DigitalOcean推理引擎上的一项新服务端工具,它通过并行运行多个模型(称为面板)并让一个合成器模型整合它们的输出,从而生成一个综合响应。用户可以使用预设配置或自定义面板和合成器。
模型合成在深度研究任务上的表现如何?
在DRACO基准测试(100个深度研究任务)中,开源组合GLM 5.2 + Kimi K2.6取得了65.65%的质量分数,超过了所有单一模型,包括Fable 5(62.21%),而成本仅为每任务0.83美元,大约是Fable 5(1.59美元)的一半。
模型合成中合成器的选择对质量有什么影响?
合成器的选择对质量影响显著。在所有面板中,GLM 5.2作为合成器表现最佳,DeepSeek V4 Pro次之,Kimi K2.6最差。仅更换合成器就能使质量分数变化3到5个百分点,这比增加一个模型(从两模型到三模型)的影响更大。
模型合成有哪些预设配置?
模型合成提供三种预设:Budget(预算型)使用较小的模型面板和较轻的推理设置,成本最低;Balanced(均衡型)使用中等面板和适度推理深度,平衡质量与成本;Quality(质量型)使用最大的模型面板和最深的推理配置,但成本和延迟更高。
如何通过API调用模型合成功能?
可以通过DigitalOcean推理引擎的API调用模型合成。例如,使用curl命令发送POST请求到https://inference.do-ai.run/v1/chat/completions,在tools参数中指定type为model_synthesis,并设置preset或自定义model和analysis_models。
模型合成与推理路由器(Inference Router)有什么区别?
推理路由器根据用户偏好(成本、延迟、质量)为单个请求选择最合适的模型,而模型合成用于当一个模型不够用时,让多个模型并行处理同一问题并整合输出。两者可以协同工作,提供从单模型路由到完整面板的灵活选择。
模型合成适合哪些应用场景?
模型合成适合研究密集型任务,如尽职调查、竞争分析、法律或医学研究,这些任务需要高质量、证据充分的答案。对于高容量、成本敏感的工作(如批量分类、常规摘要),建议使用单一开源模型以降低成本。