浮点数比想象中复杂,IEEE 754 规范并非绝对。Julia Desmazes 重新实现浮点运算,发现 bfloat16 的 C++ 实现与硬件结果不一致。她的设计去掉了不必要的功能,最终实现了高效的 FPU。她强调深入理解浮点数的重要性,依赖抽象可能导致意外问题。
GSoC 2025项目实现了BFloat16类型在LLVM libc中的支持,包含基本数学函数。BFloat16是一种适用于AI和机器学习的16位浮点格式,性能优于IEEE binary32。项目旨在确保其在所有编译器和平台上的兼容性,未来计划实现更多高阶数学函数。
Vulkan 1.4.311 规范引入了 VK_KHR_shader_bfloat16,支持 SPIR-V 着色器中的 BF16 类型。Mesa 25.2 更新了英特尔 Vulkan 驱动程序,增强了对 BFloat16 的支持,推动了 Vulkan 加速的人工智能和机器学习应用。
Vulkan 1.4.311 更新发布,修复了一些问题,并新增两个扩展:VK_EXT_fragment_density_map_offset(允许指定片段密度图偏移)和 VK_KHR_shader_bfloat16(支持着色器中的 BF16 操作,促进机器学习与 AI)。
TensorFlow 2.19发布,主要更新包括LiteRT的C++ API变更、tflite支持bfloat16,以及停止发布libtensorflow包。Keras 3.0的多后端更新将发布在keras.io。
本研究探讨了BFloat16格式与Rotary Positional Embedding(RoPE)结合时在长上下文训练中的数值问题。通过开发AnchorAttention方法,解决了位置编码偏差,提升了长上下文处理能力,训练时间缩短超过50%,同时保持了大型语言模型的任务能力。
本研究提出了AlphaTuning方法,结合后训练量化与定向任务的精细调整,通过二进制编码量化和参数调整,在11种下游任务中实现高效微调。研究发现,分词器选择对多语言模型性能影响显著,使用英语分词器会导致性能下降和高成本。参数高效微调能提升低资源语言的性能,但可能对高资源语言产生负面影响。
完成下面两步后,将自动完成登录并继续当前操作。