浮点数比想象中复杂，IEEE 754 规范并非绝对。Julia Desmazes 重新实现浮点运算，发现 bfloat16 的 C++ 实现与硬件结果不一致。她的设计去掉了不必要的功能，最终实现了高效的 FPU。她强调深入理解浮点数的重要性，依赖抽象可能导致意外问题。

GSoC 2025项目实现了BFloat16类型在LLVM libc中的支持，包含基本数学函数。BFloat16是一种适用于AI和机器学习的16位浮点格式，性能优于IEEE binary32。项目旨在确保其在所有编译器和平台上的兼容性，未来计划实现更多高阶数学函数。

TensorFlow 2.19发布，主要更新包括LiteRT的C++ API变更、tflite支持bfloat16，以及停止发布libtensorflow包。Keras 3.0的多后端更新将发布在keras.io。

本研究探讨了BFloat16格式与Rotary Positional Embedding（RoPE）结合时在长上下文训练中的数值问题。通过开发AnchorAttention方法，解决了位置编码偏差，提升了长上下文处理能力，训练时间缩短超过50%，同时保持了大型语言模型的任务能力。

本研究提出了AlphaTuning方法，结合后训练量化与定向任务的精细调整，通过二进制编码量化和参数调整，在11种下游任务中实现高效微调。研究发现，分词器选择对多语言模型性能影响显著，使用英语分词器会导致性能下降和高成本。参数高效微调能提升低资源语言的性能，但可能对高资源语言产生负面影响。