全员离开老东家:Stable Diffusion一作带团创业:出手即击败MJ v6、SD3:还开源
今年3月底从Stability AI离职的Robin Rombach，作为Stable Diffusion主要作者之一，如今宣布成立Black Forest Labs，推出文生图模型系列FLUX.1。
从Stability AI离职将近五个月后，Robin Rombach通过推特公布了这一创业消息。他创立了Black Forest Labs，目标在于推动图像和视频领域最先进的高质量生成式深度学习模型，并向尽可能多的用户开放。
该团队由杰出的AI研究者和工程师组成，他们的先前代表性成果包括VQGAN和Latent Diffusion、图像和视频生成领域的Stable Diffusion模型（例如Stable Diffusion XL、Stable Video Diffusion、Rectified Flow Transformers），以及用于超快实时图像合成的Adversarial Diffusion Distillation。
值得留意的是，除Robin Rombach外，Stable Diffusion的另外三位作者也成为创始团队成员，他们分别是Andreas Blattmann、Dominik Lorenz、Patrick Esser。这几人均在今年早些时候离开了Stability AI，外界猜测他们当时离开正是为了创业。
目前Black Forest Labs已完成3100万美元的种子轮融资，由Andreessen Horowitz领投。其他投资者包括天使投资人Brendan Iribe、Michael Ovitz、Garry Tan、Timo Aila、Vladlen Koltun以及若干知名AI研究和创业专家。此外，General Catalyst和MätchVC也提供了后续投资。
该实验室还组建了顾问委员会，成员涵盖内容创作行业的科技大佬Michael Ovitz以及神经风格迁移先驱、欧洲开放AI研究顶级专家Matthias Bethge教授。
Black Forest Labs的首个模型系列命名为FLUX.1，包含以下三个变体：
第一款变体是FLUX.1 [pro]，这是一款全新的SOTA文生图模型，具备极为丰富的图像细节、出色的提示词遵循能力以及多样化风格。目前可通过API使用。API地址：https://docs.bfl.ml/
第二款是FLUX.1 [dev]，这是FLUX.1 [pro]的开放权重非商用变体，直接基于后者蒸馏而成。该模型表现优于Midjourney和Stable Diffusion 3等其他图像模型。推理代码和权重已上传至GitHub。下图呈现了与竞品图像模型的比较。GitHub地址：https://github.com/black-forest-labs/flux
第三款是开源模型FLUX.1 [schnell]，这是一个超高效的4-step模型，遵循Apache 2.0协议。该模型在性能上与[dev]、[pro]非常接近，可在Hugging Face上使用。Hugging Face地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell
与此同时，Black Forest Labs也开始进行自我推广。
下一步目标是推出面向所有用户的SOTA文生视频模型，值得期待。
一出手即王炸：文生图模型系列「FLUX.1」来袭
此次推出的三款模型均采用多模态和并行扩散Transformer的混合架构。与别家按参数量划分“中杯、大杯、超大杯”不同，FLUX.1家族成员统一扩展为120亿参数的庞大规模。
研究团队采用流匹配框架对先前SOTA扩散模型进行了升级。从官方博客注释推测，团队延续了今年3月仍在Stability AI任职时提出的Rectified flow+Transformer方法。
论文链接：https://arxiv.org/pdf/2403.03206.pdf
他们还引入了旋转位置嵌入与并行注意力层，这些方法显著提升了模型生成图片的性能，同时在硬件设备上加快了生成速度。Black Forest Labs此次未公开模型的详细技术，但更详尽的技术报告将很快发布。
三款模型均在各自领域确立了新标准。在生成图像美观度、图像与文本提示词契合度、尺寸/宽高比可变性以及输出格式多样性上，FLUX.1 [pro]和FLUX.1 [dev]超越了Midjourney v6.0、DALL·E 3 (HD)以及老东家SD3-Ultra等当红图片生成模型。FLUX.1 [schnell]是迄今为止最先进的少步骤模型，不仅超越了同类竞品，还超越了Midjourney v6.0和DALL·E 3 (HD)这类强大的非蒸馏模型。
这些模型经过专门微调，以保留预训练阶段的全部输出多样性。与当前最先进技术相比，FLUX.1系列仍保留了充分的进步空间。
所有FLUX.1系列模型均支持多种纵横比和分辨率，覆盖范围从0.1到200万像素。
已有动作迅速的网友抢先体验，看来Black Forest Labs反复强调的“最强”并非自卖自夸。简单的提示词就能打造出如下效果，羊驼身上垫子的花纹没有出现扭曲或变形。
提示词：An emerald Emu riding on top of a white llama.
若不说这是AI生成的图片，很难分辨是否出自摄影师之手。
提示词：A horse is playing with two aligators at the river.
含有文字的图像也能轻松驾驭，景深处理得很符合真实镜头感。
三款模型中性能稍弱的FLUX.1 [schnell]用起来也又快又强，有网友晒出在Mac上的运行体验，不禁感叹立等可取。
不太了解Stable Diffusion作者与Stability AI之间故事的网友感叹：不知从哪里冒出来的文生图模型，强得可怕。
关于Stable Diffusion作者与前公司之间的故事，可查阅机器之心之前的报道：价值1亿美金时，Stable Diffusion背后的团队开始互撕，谁才是真官方？
除了三款最强的文生图模型，Black Forest Labs还藏着“大招”。凭借如此强大的图片生成能力，该团队为视频生成模型打下了坚实基础。正如预告所述，这些计算机视觉领域的顶尖科学家正朝着为所有人提供最先进文生视频技术的目标前行。
Black Forest Labs凭借FLUX.1系列在文生图领域树立了新标杆，而团队正致力于开发面向所有用户的SOTA文生视频模型。相关资源：公司博客（https://blackforestlabs.ai/announcements/）、GitHub（https://github.com/black-forest-labs/flux）、Hugging Face（https://huggingface.co/black-forest-labs/FLUX.1-schnell）、论文（https://arxiv.org/pdf/2403.03206.pdf）、API（https://docs.bfl.ml/）。