INACIA: 巴西审计法院中大型语言模型的整合：机会与挑战
内容提要
本文综述大型语言模型在法律领域的应用，包括法律咨询、协助法官审案和判决预测。研究发现，少量提示可提升模型性能，但模型尚不能像专业律师那样推理判断，且存在过度自信、忽视客户真实意图等问题，可通过意图引导、监督微调或强化学习改进。研究还涉及模型审计工具、税法应用、隐私与偏见等法律问题，以及阿拉伯法院判决预测（GPT-3.5表现最佳）。
延伸解读
法律AI的“自信”陷阱：意图理解比答案更重要
文章指出，当前法律大模型倾向于根据训练数据给出“最佳猜测”，却忽视客户的真实意图或具体法律情况。这可能导致用户未提供关键背景信息，从而影响法律案件。研究提出通过自由形式交互引出意图，并建议用监督微调或离线强化学习自动融入意图与语境，而非依赖显式提示。这提示法律AI应用需优先解决意图理解问题。
模型审计工具AdaTest++：人机协作发现26种失效模式
文章介绍了一种新的大语言模型审计工具AdaTest++，它利用人类在模式化、假设形成和测试方面的优势，与生成模型协作审计，帮助鉴定了26种此前鲜有报道的失效模式。这表明法律领域部署大模型时，需要配套的审计工具来系统识别潜在错误，而非仅依赖模型输出。
判决预测的评估困境：人工评估之外指标不可靠
在阿拉伯法院判决预测研究中，GPT-3.5模型表现最佳，超过专门针对阿拉伯文的JAIS模型平均得分50%。但研究同时发现，除人工评估外，其他评估指标不一致且不可靠。这提醒读者，法律判决预测模型的性能评估需谨慎对待自动化指标，人工评估仍不可替代。
信息检索有时胜过LLM组合：模型角色可能冗余
文章提到，在法律判决预测任务中，类似案例和多项选择选项对模型领域知识回忆至关重要，但信息检索系统在某些情况下超过了大型语言模型与信息检索系统的组合，从而使大模型的角色变得多余。这说明在法律任务中，传统检索方法仍有价值，大模型并非总是必要组件。
Q&A
大型语言模型在法律领域主要有哪些应用场景？
大型语言模型在法律领域可用于为用户提供法律咨询、协助法官审理案件、进行判决预测，以及简化法律信息获取流程，降低法律援助组织的工作量和成本。
当前法律领域的大型语言模型存在哪些主要局限性？
当前模型倾向于过于自信地根据训练数据输出‘最佳猜测’，往往忽视客户的真实意图或具体法律情况；客户可能未意识到提供额外背景信息的重要性。此外，模型尚不能像专业律师那样进行推理和判断，还存在隐私、偏见等法律问题。
如何改进法律聊天机器人以更好地理解客户意图？
可以通过自由形式的语言交互来引出和推断客户的潜在意图和具体法律情况，并采用有监督的精细调整或离线强化学习，在聊天机器人中自动融入意图和语境引出，而无需明确提示。
在税法应用中，少量提示对大型语言模型性能有何影响？
使用少量提示可以显著提高最先进模型的性能，但它们仍不能像专业的税务律师那样进行推理和判断。
AdaTest++ 是什么？它有什么作用？
AdaTest++ 是一个新的大型语言模型审计工具，它利用人类和生成模型在协作审计中的互补优势，帮助鉴定了之前鲜有报道的26种不同类型的失效模式。
在阿拉伯法院判决预测任务中，哪个模型表现最佳？
基于GPT-3.5的模型在所有模型中表现最佳，超过专门针对阿拉伯文的JAIS模型平均得分的50%。
