InfoQ
·
DeepSeek发布了另一个开源AI模型Janus-Pro
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
DeepSeek发布了更新版多模态模型Janus-Pro，提升了训练策略、数据规模和模型大小，增强了多模态理解和文本生成图像的能力。该模型分离了视觉编码，解决了稳定性和性能问题，并使用合成美学数据。在多个基准测试中，Janus-Pro表现优于之前的模型，支持384x384图像输入，并已在GitHub上开源。
🎯
关键要点
- DeepSeek发布了更新版多模态模型Janus-Pro，提升了训练策略、数据规模和模型大小。
- Janus-Pro分离了视觉编码，解决了稳定性和性能问题，增强了多模态理解和文本生成图像的能力。
- 该模型采用自回归框架，保持单一的变换器架构，增加了灵活性，减少了视觉编码器角色的冲突。
- Janus-Pro在多个基准测试中表现优于之前的统一多模态模型和一些任务特定模型。
- 该模型基于DeepSeek-LLM-1.5B和DeepSeek-LLM-7B，支持384x384图像输入。
- Janus-Pro-7B在GenEval和DPG-Bench等基准测试中优于OpenAI的DALL-E 3，得益于改进的训练过程、数据质量和模型大小。
- DeepSeek的Janus-Pro-7B被认为是文本生成图像领域的先进模型，具有统一、灵活和成本效益高的特点。
- Janus-Pro在GitHub上以MIT许可证开源，用户可以参考仓库获取设置说明。
❓
延伸问答
Janus-Pro模型有哪些主要改进？
Janus-Pro模型在训练策略、数据规模和模型大小上进行了改进，增强了多模态理解和文本生成图像的能力。
Janus-Pro如何解决稳定性和性能问题？
Janus-Pro通过分离视觉编码来解决稳定性和性能问题，增强了理解和生成任务的能力。
Janus-Pro与DALL-E 3相比有什么优势？
Janus-Pro-7B在GenEval和DPG-Bench等基准测试中表现优于DALL-E 3，得益于改进的训练过程、数据质量和模型大小。
Janus-Pro支持什么样的图像输入？
Janus-Pro支持384x384的图像输入。
如何获取Janus-Pro模型？
Janus-Pro模型已在GitHub上开源，用户可以在该平台上找到使用说明。
Janus-Pro的架构特点是什么？
Janus-Pro采用自回归框架，保持单一的变换器架构，增加了灵活性，减少了视觉编码器角色的冲突。
➡️
