语言模型的困惑度(perplexity)用于衡量模型对文本的预测能力,表示为样本中标记概率的几何平均数的倒数。困惑度越低,模型对下一个标记的预测越准确。可以使用HellaSwag数据集来评估模型的困惑度,示例代码展示了如何计算每个结尾的困惑度并评估模型的准确性。
正在访问的资源需要验证您是否真人。
或在微信中搜索公众号“小红花技术领袖”并关注
第二步:在公众号对话中发送验证码: