The Verge ·

苹果推出AI图像工具，通过描述进行编辑

💡 原文英文，约400词，阅读约需2分钟。

📝

内容提要

苹果研究人员发布了一种新模型，允许用户用简单的语言描述他们想要在照片中改变的内容，而无需触碰照片编辑软件。该模型名为MGIE，由苹果与加州大学圣塔芭芭拉分校合作开发。它可以通过文本提示对图像进行裁剪、调整大小、翻转和添加滤镜。MGIE结合了两种多模态语言模型的用途，学习如何解释用户的提示并“想象”编辑后的效果。苹果已在GitHub上提供了MGIE的下载，并在Hugging Face Spaces上发布了一个网络演示。

🔎

延伸解读

技术原理：多模态语言模型的双重角色

MGIE 的核心在于融合了多模态语言模型的两种能力：首先理解用户的自然语言指令，然后“想象”编辑后的视觉效果。例如，当用户要求“让天空更蓝”时，模型会将其转化为对天空区域亮度的调整。这种两阶段方法使编辑更符合用户意图，避免了传统工具中繁琐的参数调整。

实际应用：从简单到复杂的编辑任务

MGIE 不仅能完成裁剪、旋转等基础操作，还能处理更复杂的编辑，如改变物体形状或亮度。论文示例中，输入“让它更健康”可为披萨添加蔬菜配料；对撒哈拉老虎照片说“增加对比度以模拟更多光线”则能提亮图像。这表明模型能理解抽象指令并执行具体编辑。

行业对比：与现有AI编辑工具的差异

与 OpenAI 的 DALL-E 3 和 Adobe 的 Firefly 等工具相比，MGIE 专注于通过自然语言指令编辑现有照片，而非仅生成新图像。DALL-E 3 主要编辑其生成的图片，Firefly 的生成填充则侧重于添加背景。MGIE 的独特之处在于对用户上传的任意照片进行多样化编辑，且完全基于文本提示。

可用性与未来展望

苹果已在 GitHub 上提供 MGIE 的下载，并在 Hugging Face Spaces 上发布了网络演示，方便研究者和开发者试用。不过，苹果尚未公布该模型除研究外的具体计划。目前，MGIE 仍是一个研究项目，其长期影响和商业化前景有待观察。

❓

Q&A

苹果的MGIE模型是什么？

MGIE是苹果与加州大学圣塔芭芭拉分校合作开发的一种AI图像编辑模型，全称为MLLM-Guided Image Editing。它允许用户通过简单的文本描述来编辑照片，而无需使用传统的照片编辑软件。

MGIE模型能进行哪些图像编辑操作？

MGIE可以通过文本提示对图像进行裁剪、调整大小、翻转和添加滤镜，还能修改照片中的特定对象，例如改变形状或亮度。

MGIE是如何理解并执行用户的编辑指令的？

MGIE结合了两种多模态语言模型的用途：首先学习解释用户的提示，然后“想象”编辑后的效果。例如，要求“让天空更蓝”会转化为提高图像中天空部分的亮度。

如何使用MGIE编辑照片？能举个例子吗？

用户只需输入想要改变的内容。例如，对于一张意大利辣香肠披萨的照片，输入“让它更健康”会添加蔬菜配料；对于撒哈拉沙漠中老虎的照片，输入“增加对比度以模拟更多光线”会使图片变亮。

MGIE模型在哪里可以获取或体验？

苹果在GitHub上提供了MGIE的下载，并在Hugging Face Spaces上发布了一个网络演示。

MGIE与其他AI图像编辑工具（如DALL-E 3或Adobe Firefly）有何不同？

MGIE专注于通过文本提示进行图像编辑，而DALL-E 3主要在其生成的图像上进行简单编辑，Adobe Firefly则提供生成填充功能。MGIE的特点在于结合多模态语言模型来理解和执行编辑指令。

🏷️