到2025年，国产AI编程工具迅速发展，逐步实现模型能力的追平、开放集成和端到端落地。AI不仅能生成代码，还能理解任务和验证结果，替代重复劳动，提升全栈能力。未来开发者需关注系统设计和不可替代的核心能力。

近年来，技术浪潮频繁冲击职场，许多AI项目失败，主要因技术与市场需求脱节。成功的关键在于关注用户需求、培养核心能力和保持技术敏感度，以避免重蹈覆辙。

本研究提出了一种改进的大型语言模型（LLMs）评估方法，强调其在实际应用中的能力。通过调查数据识别出六个核心能力，并指出现有基准在覆盖和效率测量方面的不足。研究结果显示，Google Gemini在实用性指标上优于其他模型，具有重要的应用价值。

京东将职级序列合并为新的专业主序列P，设定统一的职级能力矩阵。每个职级需具备核心能力（如职业道德、沟通协作）和岗位特定能力，以确保公平性和透明度。此调整旨在促进员工职业发展。

通过研究评估作品，发现两个问题：1）视觉内容对于很多样本来说是不必要的；答案可以从问题和选项中推断出来，或者来自于世界知识。2）在训练中存在数据泄漏。为解决这些问题，提出了MMStar，一个具有6个核心能力和18个详细方向的多模态基准。在MMStar上评估了16个主要的LVLM，并调查了它们的数据泄漏和实际多模态增益。

本文是作者在SDCon 2024全球软件研发技术大会上的主题演讲的节选，讨论了大模型对软件开发智能化的影响。作者指出了大模型在企业级项目中的不足和代码领域的训练不足等误区，并提出了关注抽象能力、演化能力、协作能力和工具能力等核心能力。最后，作者列举了十个基础建设方面的重要方向，希望能给读者带来启发。