CLIP ～ 众里寻她千百度

如果让你把左侧三张图和右侧三句话配对，你可以轻松完成这个连线。但对 AI 来说，图片就是一系列像素点，文本就是一串字符，要完成这个工作可不简单。

这需要 AI 在海量「文本-图片」数据上学习图片和文本的匹配。图中绿色方块是「图片潜在空间」的 N 张图片，紫色方块是「文本潜在空间」的 N 句描述语。AI 会努力将对应的 I1 与 T1 （蓝色方块）匹配，而不是 I2 与 T3 （灰色方块）匹配。这个 AI 就是广泛被用在 AI 作画中的 CLIP（Contrastive Language-Image Pre-Training / 对比式语言-文字预训练）。

当 AI 能成功完成这个连线，也就意味着 AI 建立了「文字潜在空间」到「图片潜在空间」的对应关系。这就是上一回中之所以 AI 能根据提示语 “一只骑摩托车的大熊猫” 找到「图片潜在空间」中对应（图片）点的原因。

图片：“我散开了” ～ Diffusion 的自白

对 AI 来说，过去大家熟知一些 AI 图像生成的项目主要使用了 GAN 技术（Generative Adversarial Network 生成对抗网络），在 ai绘画是什么意思？什么是ai绘画？ 中两个例子都是通过 GAN 生成的。但 GAN 的一大缺陷是不好加条件，比如 AI 只知道要生成人脸，但没法儿指定让 AI 生成黑长直美女头像。

为了让 AI 听懂人话，Diffusion （扩散）技术逐渐成为 AI 生成图像领域的新宠。如何理解 Diffusion 技术？Diffusion 来自一个物理现象：当我们把墨汁滴入水中，墨汁会均匀散开；这个过程一般不能逆转，那 AI 可以做到么？（AI：我太难了）

当墨汁刚滴入水中时，我们能区分哪里是墨哪里是水，信息是非常集中的；当墨汁扩散开来，墨和水就难分彼此了，信息是分散的。类比于图片，这个墨汁扩散的过程就是图片逐渐变成噪点的过程：从信息集中的图片变成信息分散、没有信息的噪点图很简单，逆转这个过程就需要 AI 的加持了。

研究人员对图片加噪点，让图片逐渐变成纯噪点图；再让 AI 学习这个过程的逆过程，也就是如何从一张噪点图得到一张有信息的高清图。

跟 GAN 相比，Diffusion 是可以加条件的，也就是我们指定 AI 生成图片时描述的那句话。依靠这样的学习，AI 就实现了我们看到的一句话生成图片的惊艳效果。

图片引用：

• CLIP ～ 众里寻她千百度
• 画宇宙 - 人工智能 AI 作画网站
• https://openai.com/blog/clip/
• https://unsplash.com/
• 图片：“我散开了” ～ Diffusion 的自白
• https://www.youtube.com/watch?v=yTAMrHVG1ew
• https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/
• https://arxiv.org/pdf/2006.11239.pdf

【原创】
作者：倒立的BOB