群体思考：多个同时推理代理在令牌级粒度下的协作

本研究解决了现有推理代理在交互中存在的延迟与质量之间的权衡问题。提出的“群体思考”方法通过将单个大型语言模型转化为多个并发推理代理，使它们在令牌级别上动态协作，从而减少冗余推理并显著降低延迟。最重要的发现是该方法能有效利用闲置计算资源，尤其适用于小批量推理场景，提高生成质量和效率。