随着2026年马年临近，Pixel和Gemini提供即时翻译服务，帮助用户克服语言障碍。Pixel Live Translate支持20多种语言的即时信息翻译，Gemini Live通过相机提供翻译和视觉指导，Circle to Search可翻译屏幕内容。

本研究提出了一种基于语言模型的框架，旨在提升机器人在非结构化环境中的自主运动和操控能力。通过结合视觉和语言指导，机器人能够根据文本指令自主规划和执行任务，显著提高成功率，无需额外的人类示范。实验结果验证了该方法的有效性和应用潜力。

本文介绍了多模态大型语言模型（MLLM）的评估基准MME，评估了10种先进模型的性能，并探讨了模型优化方向。研究表明，视觉指导调整在自然语言处理中的应用提升了模型的真实性和道德一致性。新基准测试评估了MLLM在抽象推理、人类活动预测和物理交互预测等领域的能力，强调了对现有模型的改进需求。