该论文提出了一种名为ITA的新型加速器架构，可用于高效推理Transformer模型和相关模型。该架构利用8位量化和一种仅操作整数值的创新softmax实现，实现了低功耗和高效能。ITA与最先进的Transformer加速器相媲美，达到了16.9 TOPS/W和每平方毫米5.93 TOPS/mm²的性能。