本文探讨了生成式大型语言模型（LLMs）的人工评估方法，提出了ConSiDERS-The-Human评估框架，涵盖一致性、评分标准等六个支柱。同时引入SECURE基准测试，评估LLMs在网络安全中的表现，并提出SciEval基准以解决数据泄露问题。最后，介绍了COGNET-MD工具包用于医学领域的评估，旨在提升LLMs的可靠性和实用性。

本文综述多模态大模型在医学领域的应用与评估。LLaVA-Med能回答生物医学图像问题；GPT-4V在医学视觉问答中表现次优，诊断准确性不可靠，但生成胸部X射线报告有潜力；Med-PaLM M在14项基准任务上超越专家模型。研究还涉及胃肠道图像问答、SpeechGPT及医疗问答风险，指出大模型支持临床决策仍有较大差距。

多项研究评估GPT-4等大语言模型在医学领域的表现：GPT-4在USMLE考试中超出合格线约20分，优于GPT-3.5及Med-PaLM等专用模型；在眼科、内科等专科测试中优于开源模型，接近或超过医生水平。提示工程影响显著，闲聊不影响其医疗建议准确性，但模型仍存在解释不足、错误陈述等问题。