多模态 + 大模型会带来哪些 “化学反应”？
内容提要
2024年，AI将继续成为科技界的主角，多模态大模型技术在智慧零售等领域产生了深远影响。购物助手将更个性化、智能化和助手化，但仍存在幻觉问题和对中文理解不够深入的挑战。技术人员应快速学习，核心能力包括数据、算法和算力的协同设计。团队应专注于自己擅长的领域，多学科交叉合作，快速迭代和保持一致的技术目标。
延伸解读
多模态大模型的现实瓶颈
文章指出，多模态大模型虽在智慧零售等领域带来变革，但仍存在幻觉问题、中文理解不深入、局部物体理解不足等挑战。在垂直领域如细粒度识别和情感计算上表现欠佳。这些局限与训练数据、方式和内部架构有关，意味着技术落地需谨慎，尤其在需要高可靠性的场景中。
B端或成AGI落地先行者
彭长平判断，AGI技术在B端场景可能更早实现可靠应用，因为商家运营等场景更看重效率提升，对心理门槛的跨越更容易。相比之下，C端产品需满足NPS和留存率，对可靠性要求更高，当前技术尚难达到。这提示企业可优先在B端探索AGI的降本增效价值。
购物助手的进化方向
未来购物助手将更个性化、助手化，能深入理解用户真实诉求，甚至发现用户未意识到的需求。它需突破多模态技术以识别场景，并融入行业知识。推荐系统可能从列表选择转向直接推荐少数高度匹配商品，减少用户挑选过程，提升体验。
技术人员的核心能力迁移
大模型时代，工程师的核心竞争力转向数据、算法、算力的协同设计，尤其是无监督训练任务设计和多场景数据联合训练。技术人员需适应技术范式迁移，团队应保持技术目标一致、能力多元，并快速迭代。小而精的团队结构可能更适应当前阶段。
Q&A
多模态大模型技术在智慧零售领域的影响是什么？
多模态大模型技术使智慧零售中的广告呈现方式变得更加高效，能够通过语音与大模型交互，快速达到理想效果。
购物助手在未来将如何改变消费者的购物体验？
购物助手将变得更加个性化和智能化，能够深入了解用户需求，甚至发现用户未意识到的需求，从而提升购物体验。
多模态大模型面临哪些主要挑战？
主要挑战包括幻觉问题、对中文理解不足、以及不同模态数据的对齐困难。
技术人员在多模态和大模型时代需要具备哪些核心能力？
技术人员需具备数据、算法和算力的协同设计能力，适应快速变化的技术环境。
京东与清华大学的合作重点是什么？
合作重点是多模态研究，旨在推动零售行业的数字化智能升级。
未来推荐系统将如何改变用户的购物选择过程？
未来推荐系统将减少用户挑选过程，提供更符合需求的商品推荐，可能只推荐一到两个高度匹配的商品。
