在北京举办的“AI变量研究所”交流活动中，许华哲探讨了具身智能的三大失败模式：数据依赖、任务选择和仿真局限。他强调AI发展是复杂网络，需不断修正路径。活动吸引了多位AI从业者分享见解，推动科学知识传播。

该研究分析了多智能体系统（MAS）在基准测试中的表现不佳，识别出14种失败模式并提出分类法，指出MAS的失败需要更复杂的解决方案，为未来研究提供了方向。

本研究提出了一种基于NPR周日拼图挑战的新基准测试，主要考察一般知识。结果显示，OpenAI o1在推理能力测试中表现出色，揭示了新的失败模式，强调了改进推理时间技术的必要性。

验证产品市场契合度（PMF）至关重要，需通过与用户对话来确认问题。创业者应建立人际关系，运用有效的会面技巧，快速推进产品开发，并保持与早期用户的联系，以避免常见的失败模式，从而更有效地验证想法，加速成功。

本研究提出了一种新方法来评估内容搜索系统，测量查询与搜索结果的语义匹配程度，并引入“主题相关率”指标，以识别失败模式并提升相关性。

该研究通过收集专家材料偏好的数据集，评估了大型语言模型在材料选择方面与专家建议的一致性，并发现了两种失败模式和并行提示的有效性。研究结果表明，大型语言模型的建议与人类专家存在明显差异，需要进一步研究如何调整它们以复制专家决策。该研究对大型语言模型在设计过程中的应用提供了见解。

研究通过L2CEval系统评估了大型语言模型在语言到代码生成方面的能力，并分析了影响其性能的因素。该研究还评估了模型的置信度校准情况和输出的程序，并识别了典型的失败模式。提供了对语言模型在语言到代码生成方面能力和限制的全面了解，并发布了评估框架和模型输出，为未来研究提供基础。