本研究提出JAQ框架，解决资源受限边缘设备上神经网络架构与硬件加速器的联合设计问题。JAQ通过通道稀疏量化和BatchTile方法显著减少内存开销，加速硬件搜索。在ImageNet上的实验表明，Top-1准确率提高约7%，硬件搜索时间降至0.15秒。

本研究探讨了在苹果iPhone等设备上运行大型语言模型（LLMs）的可行性与性能，分析了硬件加速器对模型优化的影响，并提出了在资源受限环境中部署LLMs的指导方针，强调了性能与资源利用之间的平衡。

本文研究了大型语言模型（LLMs）在不同硬件加速器上的性能，特别是在AMD FPGA上实现的BERT和GPT2模型，显示出显著的性能和能效提升。同时，探讨了新型硅光子硬件加速器在图数据处理中的应用，提升了吞吐量和能源效率。此外，分析了LLMs在移动设备上的执行情况，并提出了优化架构和压缩技术的解决方案，以应对资源限制问题。

本研究提出了一种名为Snowflake的编译器和定制硬件加速器，优化了卷积神经网络的性能。通过FPGA实现的DNN算法-硬件协同优化框架显著提高了能效和性能，并探讨了深度学习模型的硬件优化方法及未来挑战。

本文研究了大型语言模型（LLMs）推理服务的能源效率，提出了一种混合数据中心模型，通过动态分配硬件加速器降低能耗，能耗降低7.5%。同时，介绍了ServerlessLLM系统，推理性能显著提高，延迟比现有技术快10-200倍。此外，研究还探讨了在SQL查询中优化LLM调用的方法，提升了4.4倍的延迟性能。

本文介绍了一种优化的 Transformer 硬件加速器，专为 AIoT 系统中的设备端时间序列预测设计。通过整数量化和量化感知训练，实现了 4 位和 6 位量化模型，性能接近 8 位模型。实验结果显示，4 位模型测试损失仅增加 0.63%，运行速度提升 132.33 倍，能耗降低 48.19 倍，证明了在嵌入式 IoT 设备上部署 Transformer 模型的可行性。

本研究探讨了协同设计神经网络架构与硬件加速器的重要性，发现联合搜索方法在延迟目标上优于传统方法，显著降低边缘加速器的能耗。提出了一种新的贝叶斯优化框架，自动识别优化点，改善能量延迟性能，并通过量化和成本限制优化边缘平台的系统设计。

本文介绍了智能处理单元（IPU）的架构与性能，分析了其在并行计算中的优势。研究表明，IPU在蝶形结构实现上可提高性能，并在实际数据集上加速训练时间。与传统处理器相比，IPU在AI/ML应用中展现出显著的吞吐量和能效优势，为下一代硬件加速器的发展提供了参考。

该研究综述了大型语言模型的硬件加速器，分析了其性能和能源效率，并提供了优化部署的见解。研究探讨了不同加速器的架构、性能指标及训练策略，强调提高效率的必要性，并创建了相关文献的GitHub存储库，以支持进一步探索。

该文综述Transformer模型在边缘设备上的高效部署研究，涵盖二值化、三元化、混合精度量化及专用硬件加速器等方法，通过弹性激活函数、二次幂量化、整型softmax等技术实现模型大幅压缩与能效提升，在GLUE等基准上接近全精度表现，兼顾低功耗与隐私保护。

提出了一种新的内存数据排列策略，通过硬件加速器的内核大小来减小芯片外数据访问，特别适用于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理。实验证明该方法能够实现高达2.8倍的速度提升。