本研究提出了一种名为MCAF的无训练框架,旨在解决长视频理解的挑战。MCAF通过多模态粗到细的注意力集中策略,优先处理与理解任务相关的片段,从而显著提高准确性和整体性能,超越现有方法。
本研究提出了一种名为SpecPrefill的无训练框架,通过轻量级模型预测重要令牌,显著提高大型语言模型的首次令牌时间(TTFT)。结果表明,SpecPrefill在多种任务中可将最大端到端QPS提升7倍,TTFT改进达到7.66倍。
完成下面两步后,将自动完成登录并继续当前操作。