揭示语言模型嵌入中的潜在人类福祉
原文中文,约400字,阅读约需1分钟。发表于: 。语言模型是否会隐含地学习到人类福祉的概念?我们通过 ETHICS Utilitarianism 任务进行探索,评估缩放是否增强了预训练模型的表示能力。我们的初步发现表明,即使没有任何提示工程或微调,OpenAI 的 text-embedding-ada-002 的领先主成分的准确率达到了 73.9%。这与整个 ETHICS 数据集上微调的 BERT-large 的 74.6%...
研究发现,OpenAI的text-embedding-ada-002模型在ETHICS Utilitarianism任务中对人类福祉有深刻理解。准确率随模型参数增加而不下降。