我们提出了一种新架构,可以快速实例化不同数据混合的模型,而无需重新训练。该架构通过线性组合专家权重,基于输入直方图学习组合系数。我们在多个数据集上展示了该方法的潜力,以快速获得小型专用模型。
本研究探讨了预测算法中准确性与公平性之间的矛盾,提出通过线性组合这两者的度量来评估算法的整体价值,并为使用COMPAS数据集的分析提供理论支持。
本研究提出了解决多实例时间锁难题的方法,支持可验证同态计算。进一步发展出的多实例多客户端可验证部分同态TLP具有可扩展性和成本效益。
本研究解决了当前生成模型在结合潜变量时存在的不足,尤其是常规插值方法在生成过程中效果不佳的问题。提出了一种新的插值方法——高斯变量组合(COG),该方法易于实现,并且在性能上等同于或优于现有的方法。COG不仅支持一般的线性组合,还能定义潜空间的子空间,从而简化基于高斯潜变量的高维对象的低维表达的创建。
本文介绍了线性代数中的矩阵乘法,包括右乘列向量和左乘行向量的概念。通过拆解矩阵乘法的过程,展示了如何使用权重对矩阵中的向量进行线性组合。强调了理解矩阵运算的多种物理意义,并建议积累多种工具方法,以更好地应用矩阵运算。
为了安全地将敏感信息传输到未来,我们引入了 Tempora-Fusion,这是一种允许服务器对来自不同客户的拼图进行同态线性组合并确保计算正确性验证的 TLP 方案。该方案避免了非对称密钥密码学的使用,从而为高效实现铺平了道路。我们讨论了该方案在联邦学习、在线银行中的定期支付和电子投票等各个领域的应用。
提出了一种基于指数移动平均(EMA)的预测模型,实验证明其在预测准确性上的优势,性能比EMA更好。
Delta-LoRA是一种新颖的参数高效的方法,用于微调大型语言模型。它通过更新低秩矩阵A和B,并利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W,从而有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。Delta-LoRA与LoRA具有相当的内存需求和计算成本,大量实验表明Delta-LoRA明显优于现有的低秩适应方法。
完成下面两步后,将自动完成登录并继续当前操作。