HW-GPT-Bench：面向语言模型的硬件感知架构基准测试
内容提要
本研究提出了 HW-NAS-Bench 数据集，分析了网络搜索空间中所有网络的硬件性能，以促进 HW-NAS 研究。同时介绍了 psybench 和 GlobalBench 测试集，评估 NLP 系统在不同领域的表现，指出 LLMs 在波斯语和编程任务中的不足，并提出改进方向。
延伸解读
硬件感知搜索的平民化工具
HW-NAS-Bench 数据集提供了网络搜索空间中所有网络的硬件性能数据，使不熟悉硬件的研究者也能参与硬件感知神经架构搜索（HW-NAS）。这降低了该领域的研究门槛，并证明针对特定设备进行搜索能实现最佳的准确率-成本平衡。
轻量Transformer搜索的实用优势
轻量Transformer搜索（LTS）算法利用解码器参数作为感性代理，无需模型训练，直接在目标设备上运行，快速制定任务性能与硬件成本的Pareto前沿方案。应用于自回归语言模型时，它能获得高准确率，同时避免数百个GPU小时的训练碳足迹。
多语言与领域基准揭示LLM短板
GlobalBench覆盖190种语言的966个数据集，关注NLP系统的效用和平等性；psybench是首个全面覆盖心理学知识的中文评估套件，发现仅ChatGPT平均准确率超70%。这些基准表明LLMs在资源稀缺语言和特定领域仍有很大改进空间。
真实编程与伦理评估的挑战
DevBench评估LLMs在软件开发生命周期各阶段的表现，发现包括GPT-4-Turbo在内的模型难以解决复杂结构理解、编译管理和高级编程概念等挑战。TrustGPT则从毒性、偏见和价值对齐三方面评价LLMs，促进更具伦理和社会责任感的模型发展。
Q&A
HW-NAS-Bench 数据集的主要功能是什么？
HW-NAS-Bench 数据集分析了网络搜索空间中所有网络的硬件性能表现，促进 HW-NAS 研究。
轻量 Transformer 搜索（LTS）算法的优势是什么？
LTS 算法直接在目标设备上运行，制定任务性能与硬件成本的 Pareto 前沿方案，无需模型训练。
GlobalBench 测试集的主要目的是什么？
GlobalBench 旨在跟踪和激励全球对不平衡 NLP 系统表现的关注，覆盖 190 种语言的 966 个数据集。
DevBench 基准测试的重点是什么？
DevBench 评估 LLMs 在软件开发生命周期的各个阶段，涵盖设计、实施和测试等任务。
LLMs 在波斯语中的表现如何？
研究发现 LLMs 在波斯语任务中表现不佳，尤其是在需要推理能力的任务中，提升其性能具有潜力。
TrustGPT 的目标是什么？
TrustGPT 旨在评价 LLMs 在毒性、偏见和价值对齐方面的表现，以促进更具伦理的语言模型发展。
