AI|NVIDIA实现从图像中抽象出概念再生成新的图像 人类幼崽技能AI终于学会了
人类幼崽2岁就能做的事，AI竟然才学会？早在2017年，就有网友吐槽：2岁幼童只要见过一次犀牛的照片，就能在其他图片里认出不同姿势、视角和风格的卡通犀牛，但AI却做不到 。
文章图片
直到现在，这一点终于被科学家攻克了！
最新研究发现，只要给AI喂3-5张图片，AI就能抽象出图片里的物体或风格，再随机生成个性化的新图片 。
文章图片
有网友评价：非常酷，这可能是我这几个月来看到的最好的项目 。
文章图片
它是如何工作的？
让我们先来看几个例子 。
当你上传3张不同角度的陶瓷猫照片，可能会得到以下4张新图像：两只在船上钓鱼的陶瓷猫、陶瓷猫书包、班克斯艺术风格的猫以及陶瓷猫主题的午餐盒 。
文章图片
同样的例子还有艺术品：
文章图片
铠甲小人：
文章图片
碗：
【AI|NVIDIA实现从图像中抽象出概念再生成新的图像 人类幼崽技能AI终于学会了】
文章图片
不只是提取图像中的物体，AI还能生成特定风格的新图像 。
例如下图，AI提取了输入图像的绘画风格，生成了一系列该风格的新画作 。
文章图片
更神奇的是，它还能将两组输入图像相结合，提取一组图像中的物体，再提取另一组的图像风格，两者结合，生成一张崭新的图像 。
文章图片
除此之外，有了这个功能，你还可以对一些经典图像“下手”，给它们添加一些新元素 。
文章图片
那么，这么神奇的功能背后是什么原理呢？
尽管近两年来，大规模文本-图像模型，如DALL·E、CLIP、GLIDE等，已经被证明有很强的自然语言推理能力 。
但有一点：如果用户提出一些特定的需求，比如生成一张包含我最喜欢的童年玩具的新照片，或者把孩子的涂鸦变成一件艺术品，这些大规模模型都很难做到 。
为了应对这一挑战，研究给出了一个固定的、预先训练好的文本-图像模型和一个描述概念的小图像集（用户输入的3-5张图像），目标是找到一个单一的词嵌入，从小集合中重建图像 。由于这种嵌入是通过优化过程发现的，于是称之为“文本倒置（Textual Inversion）” 。
具体来说，就是先抽象出用户输入图像中的物体或风格，并转换为“S?”这一伪词（pseudo-word），这时，这个伪词就可以被当作任何其他词来处理，最后根据“S?”组合成的自然语句，生成个性化的新图像，比如：
“一张S?在海滩上的照片”、”一幅挂在墙上的S?的油画”、”以S2?的风格画一幅S1?” 。
文章图片
值得注意的是，由于本次研究应用了一个小规模、经过策划的数据集，因此在生成图像时能有效地避免刻板印象 。
例如下图，当提示“医生”时，其他模型倾向于生成白种人和男性的图像，而本模型生成图像中则增加了女性和其他种族的人数 。
文章图片
目前，该项目的代码和数据已开源，感兴趣的小伙伴可以关注一下 。
作者介绍
该篇论文来自特拉维夫大学和英伟达的研究团队，作者分别是Rinon Gal、Yuval Alaluf、Yuval Atzmon、Or Patashnik、Amit H. Bermano、Gal Chechik、Daniel Cohen-Or 。
第一作者Rinon Gal，是特拉维夫大学的计算机科学博士生，师从Daniel Cohen-Or和Amit Bermano，主要研究方向是在减少监督的条件下生成2D和3D模型，目前在英伟达工作 。
文章图片
参考链接：
[1]
https://textual-inversion.github.io/
[2]https://github.com/rinongal/textual_inversion
[3]https://arxiv.org/abs/2208.01618
[4]https://twitter.com/_akhaliq/status/1554630742717726720
[5]https://rinongal.github.io/
推荐阅读
- 最新消息|爱马仕16.5万自行车被火速抢光 客服回应：库存已空、将从法国来货
- 最新消息|中国石油、中国石化、中国人寿、中国铝业拟自愿从纽交所退市
- nVIDIA|MLID：英伟达下场敦促AIB合作伙伴清理Ampere显卡库存
- nVIDIA|GTX 2080原型卡惊现人间！唯一支持光追的GTX显卡
- nVIDIA|英伟达GeForce GTX 2080工程样品被发现， 支持光线追踪和DLSS的GTX显卡
- 社交|马斯克与推特如何实现双赢？支付高额分手费卖给第三方
- 视点·观察|AMD和NVIDIA下调GPU出货量预期 降幅可能超过50%
- 硬件|清库存行动持续进行 分析称8月底AMD、NVIDIA显卡价格还要跌
- nVIDIA|显卡出货量将暴跌最多50％ NVIDIA终于吞下苦果
- nVIDIA|NVIDIA亲自下场清库存：RTX 3090/3090 Ti快卖光了