DeepSeek再放大招Janus-Pro-7B 开源

DeepSeek发布Janus-Pro-开源模型，GenEval和DPG-Bench基准测试中全面超越StableDiffusion和DALL-E探秘这一划时代的视觉多模态模型！

GitHub：点此前往

HuggingFace：点此前往

官方对该模型的介绍大意如下：

Janus-Pro 是一种革命性的自回归框架，旨在统一理解和生成多模态信息。与其他方法相比，它通过将视觉编码分解为多个独立路径，克服了传统框架中的限制，并保持了统一的单一架构处理机制。这种创新方式使得Janus-Pro 在处理复杂任务时表现出色，提供了更高效、准确的结果。

这种解耦方法有效地解决了视觉编码器在理解与生成过程中的冲突问题，并增强了框架的灵活性和适应性。

Janus展现出了传统单一框架所不及的能力，在与特定任务模型对比时同样表现出众。得益于其简洁的设计、高度灵活性以及卓越性能，Janus-Pro已成为推动未来统一多模态模型发展的重要力量。

摘要的大意如下：

Janus-Pro是一种高度整合且高效的大语言模型，它通过分离视觉编码过程，实现了更快的处理能力。Janus-Pro由DeepSeek-LLM--base和DeepSeek-LLM--base模型构建而成。

在多模态理解任务中，Janus-Pro 利用 SigLIP-L 作为视觉编码器，支持x 像素图像输入；而在图像生成任务中，它使用特定来源的分词器，并采用降采样率

Janus-Pro是基于先前工作的进阶版本，它包含了优化的训练策略、扩大的训练数据以及更大的模型规模扩展。通过这些改进，Janus-Pro在多模态理解和文本到图像指令遵循上有了显著的进步，并且提高了对文本到图像生成的稳定性。

据官方介绍，JanusFlow 引入了一种简化架构，将自回归语言模型与校正流（一种最先进的生成模型）相整合。研究显示，校正流可以独立在大型语言模型框架中进行训练，无需复杂的结构改变。大量实验表明，在各自领域内，JanusFlow 的性能达到了甚至超过了专用模型，同时在标准基准测试中也显著优于现有的综合方法。这项工作标志着向更高效、通用的视觉语言模型迈出了一大步。