利用人工智能增强新闻报道：使用大型语言模型和大型多模态模型进行新闻文章的情境化图像标题生成研究
内容提要
本文回顾了多模态大型语言模型（MM-LLM）的发展，探讨了注意力机制和模型调整技术在新闻中的应用。研究表明，LLMs在生成新闻标题时需要人类修正，强调了伦理和人类判断的重要性。同时分析了LLMs在上下文学习和语音识别中的潜力与挑战。
延伸解读
人机协作在新闻标题生成中的必要性
文章指出，尽管大型语言模型能生成令人满意的新闻标题，但平均而言仍需人类修正不符合要求的输出。在引导、选择和自由编辑等交互方式中，引导和选择模型输出成本最低且收益最大，且不会损害使用者的控制感。这表明在新闻场景中，完全自动化的标题生成尚不可靠，人类判断仍是必要环节。
模型偏见与新闻影响分类的关联
研究通过新闻媒体数据分析构建了十类人工智能影响分类法，发现细调模型与新闻媒体识别的负面影响分类几乎一致，而指令型模型在某些类别上存在生成差距。这提示最先进的大语言模型在预测影响时可能带有潜在偏见，而将较小模型与新闻媒体反映的多样化影响对齐，有助于更全面地呈现影响。
伦理与人类判断在AI新闻应用中的核心地位
文章多次强调伦理考虑和人类判断的重要性。例如，在识别误导性新闻标题时，ChatGPT-4在标注者一致认为误导的情况下表现更准确，说明人本评估对开发大语言模型至关重要。此外，记者使用大语言模型时存在有限干预即发表机器生成文章的现象，呼吁制定明确准则和最佳实践，确保负责任地使用AI。
多模态大语言模型的潜力与挑战
文章回顾了多模态大语言模型的发展，涵盖注意力机制、微调和提示工程等技术，并讨论了开源与专有模型的影响。这些模型在上下文学习和语音识别中展现出新兴能力，例如通过少量适配器参数实现上下文化语音识别。然而，在自然语言理解和问答方面，泛化能力和准确性仍是未充分探索的关键挑战。
Q&A
多模态大型语言模型（MM-LLM）有哪些发展历程？
MM-LLM的发展历程包括对注意力机制的应用、模型调整技术的进步，以及在新闻报道中的潜在应用。
在生成新闻标题时，LLMs需要人类进行哪些修正？
LLMs在生成新闻标题时，通常需要人类对不符合要求的输出进行修正，以确保准确性和符合伦理标准。
LLMs在上下文学习和语音识别中面临哪些挑战？
LLMs在上下文学习和语音识别中面临的挑战包括泛化能力不足和准确性问题。
如何提高人类对LLMs的控制感和信任感？
通过引导和选择模型输出的交互方法，可以提高人类对LLMs的控制感和信任感。
细调的模型与新闻媒体识别的负面影响分类有什么关系？
研究发现，细调的模型与新闻媒体识别的负面影响分类几乎一致，显示出潜在的偏见。
LLMs在生成误导性新闻标题方面的表现如何？
研究表明，LLMs在识别误导性与非误导性新闻标题时，表现存在显著差异，ChatGPT-4在一致标注者意见下表现更准确。
