HW-GPT-Bench：面向语言模型的硬件感知架构基准测试
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
本研究提出了 HW-NAS-Bench 数据集，分析了网络搜索空间中所有网络的硬件性能，以促进 HW-NAS 研究。同时介绍了 psybench 和 GlobalBench 测试集，评估 NLP 系统在不同领域的表现，指出 LLMs 在波斯语和编程任务中的不足，并提出改进方向。
❓
Q&A
HW-NAS-Bench 数据集的主要功能是什么？
HW-NAS-Bench 数据集分析了网络搜索空间中所有网络的硬件性能表现，促进 HW-NAS 研究。
轻量 Transformer 搜索（LTS）算法的优势是什么？
LTS 算法直接在目标设备上运行，制定任务性能与硬件成本的 Pareto 前沿方案，无需模型训练。
GlobalBench 测试集的主要目的是什么？
GlobalBench 旨在跟踪和激励全球对不平衡 NLP 系统表现的关注，覆盖 190 种语言的 966 个数据集。
DevBench 基准测试的重点是什么？
DevBench 评估 LLMs 在软件开发生命周期的各个阶段，涵盖设计、实施和测试等任务。
LLMs 在波斯语中的表现如何？
研究发现 LLMs 在波斯语任务中表现不佳，尤其是在需要推理能力的任务中，提升其性能具有潜力。
TrustGPT 的目标是什么？
TrustGPT 旨在评价 LLMs 在毒性、偏见和价值对齐方面的表现，以促进更具伦理的语言模型发展。
🏷️
