微软亚洲研究院将于7月11日举办开放日,面向高校在读学生,活动包括技术前沿介绍、人才项目解读、研究员交流及沉浸式参观,旨在展示人工智能最新科研成果。
微软亚洲研究院推出了数据编译器Ladder和算法T-MAC,支持低比特量化技术在硬件设备上的运行。Ladder转换数据类型指令,提高DNN计算效率;T-MAC通过查找表操作实现低比特混合精度矩阵乘法,提高CPU推理速度。研究员设计了LUT Tensor Core硬件架构,为人工智能硬件提供新思路。创新技术使大模型在资源受限设备上高效运行,推动人工智能应用。
微软亚洲研究院提出了一种名为Q-Sparse的模型稀疏化方法,只需激活60%的参数就能实现与全激活稠密模型相当的性能。该方法适用于从头训练、继续训练和微调,并能与量化技术结合使用。研究还发现了适用于模型推理优化的“Scaling Law”。实验结果表明,Q-Sparse在稀疏率和模型表现上优于之前的ReLU方法。此外,作者还发现稀疏激活模型的性能遵循幂律缩放关系,随着模型规模的增大,稀疏激活模型与密集模型之间的性能差距逐渐缩小。
微软亚洲研究院(MSRA)的Vid-ICL团队提出了视频上下文学习(Vid-ICL)方法,通过示例视频生成一致任务的大模型。使用Transformer结构和自回归方式训练,实验结果显示Vid-ICL在视频质量和语义一致性方面优于基准模型。该方法可与模拟器结合,实现与真实环境的交互。
微软亚洲研究院发布了新的1-bit大语言模型BitNet b1.58,比传统的FP16 LLM在速度、内存使用和能耗方面更优。BitNet b1.58使用三进制表示参数,推理速度比FP16 LLM快2-4倍,内存使用减少3-4倍,能耗比FP16 LLM低70倍以上。该模型降低了存储和计算成本,提高了性能,适用于移动设备、物联网和云计算。然而,BitNet b1.58仍存在模型容量和训练难度问题。
微软亚洲研究院举办ACE Talk系列讲座,邀请斯坦福大学助理教授杨笛分享她在社会负责任自然语言处理方面的研究成果。她将介绍语言偏见和零样本大模型的研究,并讨论构建社会负责任自然语言处理系统的挑战和潜在风险。讲座由微软亚洲研究院高级研究员王晋东主持。
完成下面两步后,将自动完成登录并继续当前操作。