LLM 中能否生成与文化相关的常识问答数据？印尼文和巽他语案例研究
内容提要
本文综述利用大语言模型进行数据增强以提升跨语言常识推理、医学问答和低资源阅读理解等任务性能的研究。GPT-4生成数据效果最佳，CultureLLM等方法显著优于对比模型，但模型在抽取式问答和证据检索方面仍存挑战，需更全面评估框架。
延伸解读
数据增强策略：生成与翻译的权衡
文章比较了直接生成目标语言数据与将英语生成数据翻译成目标语言两种策略。实验表明，GPT-4生成的合成数据训练效果优于其他模型，但翻译策略在某些情况下可能损失文化特异性。对于印尼文和巽他语等低资源语言，直接生成可能更有效，但需注意模型对目标语言文化背景的理解程度。
文化相关常识问答的挑战与进展
CultureLLM利用世界价值观调查作为种子数据，通过语义数据增强生成文化特定训练数据，在9种文化相关数据集上性能显著优于GPT-3.5和Gemini Pro，甚至与GPT-4相当。这表明针对文化常识问答，结合种子数据的增强方法能有效提升模型的文化适应性，但覆盖文化范围仍有限。
评估框架与证据检索的不足
文章指出，LLM在抽取式问答和证据检索方面仍存在挑战，性能落后现有技术10个点以上，且可能注入错误信息。与神谕检索器的对比强调了有效证据检索的关键作用。因此，在利用LLM生成文化常识问答数据时，需建立更全面的评估框架，并关注检索增强方法以减少错误。
Q&A
使用大语言模型进行数据增强在跨语言常识推理中效果如何？
研究表明，使用GPT-4生成的合成数据进行训练的性能优于其他模型，ChatGPT和GPT-4在大多数语言中生成的自然文本效果非常好，但在某些情况下效益会下降。
CultureLLM是什么？它如何提升文化相关的问答性能？
CultureLLM是一种经济高效的解决方案，利用World Value Survey作为种子数据，通过语义数据增强生成语义等价的训练数据，然后微调文化特定的LLM，并有一个统一模型CultureLLM-One覆盖9种文化。实验表明，其性能明显优于GPT-3.5（8.1%）和Gemini Pro（9.5%），与GPT-4相当甚至更好。
大语言模型在条件问答任务中存在哪些局限性？
经过微调的LLM在某些情况下可以超越现有技术，但在抽取性问答方面落后10个点以上，并且在减少注入错误信息的风险方面也存在问题。与神谕检索器的研究强调了有效证据检索的关键作用，需要更全面的评估框架。
GPT-4在低资源阅读理解任务中能否替代人工标注？
本文探讨了使用GPT-4作为人工标注的替代品来提供低资源阅读理解任务的性能，通过精细调节后的性能和标注成本的对比，这是对LLM作为合成数据增广器用于QA系统的第一次分析，强调了机遇和挑战，并提供了低资源数据集的增广版本。
大语言模型在医学问答任务中如何通过数据增强提升小模型性能？
Dr. LLaMA方法通过使用大语言模型进行生成式数据增强来改善小型语言模型，主要关注医学问答任务和PubMedQA数据集。研究表明，LLM可以有效地改善和多样化问题-答案对，从而在微调后使得规模更小的模型获得更好的领域特定QA数据集性能。
CPopQA任务是什么？大语言模型在其中的表现如何？
CPopQA是一种新的少样本问答任务，评估大语言模型对长尾文化概念（如假期）的统计排名能力，特别关注这些概念在美国和英国的受欢迎程度。研究发现GPT-3.5在跨大洲识别地理文化接近性方面表现出卓越性能。
