本文介绍了一种通过硬件单元专门化和数据流架构实现大型语言模型加速的方法，实验结果显示在BERT模型方面可以实现16.1倍的加速，在GPT生成推理方面分别实现2.2倍的加速和5.7倍的能效提升。

本文介绍了一个硬件优化的数据流架构，用于将计算图形的高阶梯度转化为硬件优化。该架构通过设计一个使用FIFO流和优化计算内核库的数据流架构，并提出一个编译器来提取和优化计算图形，以实现最大吞吐量，同时确保无死锁操作，并输出FPGA实现的高级综合（HLS）代码。实验结果显示，该架构实现了1.8-4.8倍和1.5-3.6倍的加速比，以及较低的内存使用率和能耗延迟乘积。