Jeff Dean 参与了 Google 的 AI 基础设施建设,包括 Gemini 项目。他在播客中讨论了蒸馏技术、AI 模型的需求与未来发展,强调前沿模型与小模型的关系,以及通过分层检索实现复杂任务的方式。他预测个性化模型将超越通用模型,未来目标是达到每秒处理 10,000 个 token 的速度。
本研究提出了一种一次性聚类联邦学习(OCFL)算法,旨在解决联邦学习中个性化模型交付的客户端聚类问题。该算法通过计算客户端梯度的余弦相似度,自动检测聚类时机,实验结果表明其在多个任务中表现优异,具有显著的实用价值。
本研究提出了一种新颖的LoRACLR方法,解决了多个人性化模型合并中的属性缠结问题,能够有效整合多个LoRA模型,提升个性化图像生成能力。
本研究提出UniHands方法,解决手部运动捕捉中的低保真度和数据不一致性问题,通过整合不同来源的关键点,构建标准化的个性化手部模型。实验结果表明,该方法在捕捉精度和模型自然感方面优于现有技术。
文章探讨了从大型语言模型(LLM)到人工通用智能(AGI)的路径,强调AGI系统应以LLM为核心,存储推理中的重要结论,超越仅处理原始数据的方法。提出每个人都应拥有个性化的大型模型,并讨论AI本地记忆在AGI时代的潜力及其隐私和安全挑战。
本研究针对个性化模型在不同上下文中表现不佳的问题,尤其是临床数据有限的挑战。提出的CRoP方法结合预训练模型和剪枝技术,提高了个性化和泛化能力,在四个数据集上表现优异,具有重要的实际和社会影响。
本论文研究了协作对等网络中学习代理的个性化模型,提出了两种异步流言算法,分别是平滑预训练的本地模型和共同学习和传播模型。算法基于ADMM,旨在优化目标。
本文提出了一种高效的分散式和异步算法,满足强隐私要求,用于个性化模型的学习。算法保护个人数据集的信息披露,实验结果表明,在隐私约束下,可以显著改进独立学习中的模型。
本文介绍了微调技术,用于提高自动语音识别系统对非标准语音的识别准确性,特别是针对肌萎缩侧索硬化症患者的言语和带口音的言语。通过训练个性化模型,相对于标准语音,相对词错误率能提高62%和35%,仅五分钟的训练就能带来71%的提升。微调部分层的结果往往比微调整个模型更好,是构建肌无力性言语最先进的自动语音识别模型的第一步。
本文提出了一种高效的分散式和异步算法,用于个性化模型的学习,并满足强隐私要求。算法保护个人数据集的信息披露,实验结果表明,在隐私约束下,可以显著改进在独立学习中得到的模型。
该文介绍了一种学习自动驾驶车辆驾驶模型的框架,通过知识分享和个性化模型,实现多个车辆之间的协作,提高在真实世界中驾驶场景的暴露度。
完成下面两步后,将自动完成登录并继续当前操作。