数据标注的大型语言模型调查
内容提要
本文综述大语言模型（LLM）用于文本标注的研究。GPT-4可复现27项标注任务，但性能依赖数据集与任务类型，需逐任务验证。LLM在元数据标注、教育反馈分析、医疗文本标注等领域有潜力，结合主动学习可提升效率。研究强调需建立可靠、可重复、符合伦理的使用标准，LLM尚不能完全替代人工标注。
延伸解读
LLM标注性能：任务依赖与验证必要性
文章指出，GPT-4能复现27项标注任务，但性能高度依赖数据集和任务类型。这意味着在实际应用中，不能假设LLM在所有标注场景下都表现一致，必须针对每个具体任务进行验证。这种逐任务验证的要求，增加了部署LLM标注的初期成本，但也避免了因盲目信任而导致的标注质量风险。
LLM与主动学习结合：提升标注效率
文章提到LLMaAA方法将LLM作为标注者放入主动学习循环，在命名实体识别和关系抽取任务上性能超过基线。这表明，LLM并非孤立使用，而是可以与主动学习策略协同，利用无标签数据提升效率。对于标注资源有限的团队，这种结合方式可能比纯人工或纯LLM标注更具成本效益。
LLM标注的伦理与标准：可靠、可重复、符合伦理
文章强调需建立可靠、可重复、符合伦理的使用标准，涵盖模型选择、提示工程、验证等关键领域。这提示研究者和从业者，LLM标注不仅是技术问题，还涉及伦理和法律影响。在社会科学等敏感领域，需对LLM进行细致而批判性的参与，确保标注实践的完整性和鲁棒性。
LLM在专业领域的应用潜力与局限
文章展示了LLM在医疗文本标注、教育反馈分析等领域的潜力，可减少人工负担并保持高准确性。然而，文章也明确指出LLM尚不能完全替代人工标注。因此，在专业领域部署时，应结合人类专家进行验证和修正，以平衡效率与准确性。
Q&A
大型语言模型在文本标注任务中的表现如何？
GPT-4可以复现27项标注任务，性能有前景，但高度依赖数据集和任务类型，因此必须逐任务验证。
LLM能完全替代人工标注吗？
不能。尽管LLM在某些任务上表现出色，但它们无法替代人类标注的需求。
如何利用LLM提高数据标注效率？
可以将LLM放入主动学习循环中，例如LLMaAA方法，充分利用无标签数据，在命名实体识别和关系抽取等任务上取得更高性能。
LLM在医疗文本标注中有哪些应用？
使用LLM结合人类专家，可以快速生成医疗文本注释的地面真实标签，减少人工注释负担并保持高准确性。
使用LLM进行文本标注需要遵循哪些伦理和标准？
需要建立可靠、可重复和符合伦理的使用标准和最佳实践，涵盖模型选择、提示工程、结构化提示、提示稳定性分析、严格模型验证以及伦理和法律影响等。
LLM生成的数据与人工标注数据相比质量如何？
使用指令跟随型LLM创建的数据在分布外评估上比人工标注数据表现更好（高达17.5%），同时在分布内任务上保持可比较的性能。
