本期节目主持人Andrey Kurenkov和Jeremie Harris讨论了上周的重大AI新闻，包括OpenAI发布的GPT 4.0 Mini和Mistral的开源模型，以及它们对价格和性能的影响。他们还探讨了企业合规工具、文本到视频模型和YouTube音乐的改进。此外，还讨论了AI研究领域的一些话题，如多个小型专家模型的好处、新颖的基准测试技术和先进的AI推理。还讨论了一些政策问题，包括美国对中国的AI技术出口管制和OpenAI内部的争议，以及埃隆·马斯克的超级计算机计划和OpenAI的Prover-Verify Games倡议。

中国的Llama3.1 405b模型超越了GPT-4，支持8种语言但不支持中文。Llama3.1是Llama系列的第一个多模态大模型，需要大量显卡和云端支持。Llama3.1的开源模型引发了中国的价格战，中国团队开始冲锋。Llama3.1的发布对开源生态系统有积极影响，中国团队有望超越GPT-4。

该研究提出了一种多步骤评估法的大型语言模型（LLM）评估范例，通过交互方式评估GPT-4-Vision-Preview在病理学领域的医学诊断准确性，结果显示约84%的正确诊断。该方法可应用于评估其他LLMs的准确性和实用性。

OpenAI推出了GPT-4o等模型的微调工具，用于训练获得更好的输出结果。该工具目前仅限于API平台第4-5级开发者，后续将向更多开发者开放。开发者可以免费使用200万tokens进行训练微调，超出部分将按照API进行收费。微调工具支持多种模型，改善模型输出结果质量，提升few-shot-learning效果。

GPT-4o mini has become the top performer in the large model arena, matching the full-blooded version at a fraction of the cost. OpenAI is gradually allowing fine-tuning of GPT-4o mini and offering 2 million free training tokens daily until September 23. In the lmsys rankings, GPT-4o mini is tied for first place with the full-blooded version, only 7 points behind. The release of GPT-4o mini has led to the development of smaller models by other companies.

人工智能Meta发布了Llama 3.1系列开放模型，最高提供4050亿参数版本，能力超过GPT-4和Claude 3.5 Sonnet等闭源模型。开发者可通过云平台或Meta下载模型进行调试。Llama 3.1-405B版能力超过GPT-4-0125、GPT-4o和Claude 3.5 Sonnet。扎克伯格表示，Llama已在开放性、可修改性和成本效率等方面处于领先地位。

Llama 3.1已正式发布，上下文长度扩展至128K。405B版本的Llama 3.1能够与最佳闭源模型竞争。研究论文《Llama 3系列模型》揭示了Llama 3系列的细节。高质量模型的开发依赖于数据、规模和复杂性管理。Llama 3.1在数据质量和数量方面有了显著改进。405B模型通过将16位量化为8位，支持大规模生产推理。训练堆栈已经优化，并在后训练阶段进行了多轮对齐。Llama 3系列还包括图像识别、视频识别和语音理解的多模态扩展。Llama 3.1的生态系统已准备就绪，有超过25个合作伙伴提供服务。

清华大学等研究人员发布了名为MultiTrust的综合基准，对多模态大语言模型的可信度进行了全面评估。研究人员发现多模态大模型存在幻觉、偏见、隐私泄漏等安全威胁，并维护了一个多模态大模型可信度榜单。未来需要创新高效的算法来提升多模态大模型的可信度。

社会卫生决定因素（SDoH）在儿科人群中起关键作用。研究使用儿科社会历史标注语料库（PedSHAC）和大型语言模型（LLMs）评估SDoH的自动提取。PedSHAC包含1260个儿科患者的临床记录，涵盖十个健康决定因素。通过精细调整的基于LLM的提取器，实现了高性能。结合GPT-4的上下文学习方法，展现了可靠的SDoH提取前景。

开源模型Llama 3.1发布，超越闭源模型GPT-4o和Claude 3.5 Sonnet。Llama 3.1支持八种语言，上下文长度扩展到128K。模型架构采用标准的仅解码器的Transformer架构，并做一些细微改动。Llama 3.1的推理成本低，支持实时和批量推理、监督微调等。开源人工智能对开发者、Meta和世界都有好处。