直接喂一张原图，AI就能化身梵高·本高一点点重绘整张图画（原图可任意）。
仔细对照两边，AI险些实现了1:1复刻，还为我们这些绘画小白清晰展示了整幅图的构建过程。
这项邪术来自华盛顿大学，项目名为Inverse Painting，干系论文已入选SIGGRAPH Asia 2024，个中两位作者还是东北大学（Bowei Chen ）和上海科技大学（Yifan Wang）的校友。
项目一经发布后即在Reddit引起热议，最高赞更是为艺术家群体操起了心（doge）。
艺术家可能会对此感到愤怒
不过也有人表示，这对付人们学习如何绘画非常有帮助。
乃至可以用来“破解”一些大师遗作，提取隐蔽或失落传的技能。
基于扩散模型
从原图→绘画过程延时视频，Inverse Painting采取基于扩散的逆绘画方法。
通过学习真实艺术家的绘画视频，结合文本和区域理解来定义绘画 “指令”，并利用基于扩散的渲染器更新画布，从而天生类似于人类艺术家绘画过程的视频。
进一步拆解，这一过程紧张包括以下步骤：
学习艺术家的绘画过程。网络了294个丙烯酸风景画绘画过程视频（均匀时长9分钟），并进行视频帧分割、裁剪和筛选等预处理操作，让模型学习绘画过程；定义绘画指令。基于对画作不同元素（比如天空、树木、人物等）以及元素相互关系的理解，模型会天生一组“绘画指令”，见告模型该当先画什么，后画什么；利用扩散模型。用扩散模型天生逼真图像，并逐步在画布上添加细节，就像艺术家绘画时一样；文本和区域理解。模型还会天生文本指令和区域掩码，前者见告模型要绘制的内容，后者用来指定内容的确切位置；逐步渲染。从一个空缺画布开始，逐步天生完全绘画过程；韶光掌握。为了仿照真实天下中艺术家的绘画速率，模型还会考虑每步之间的韶光间隔；这些步骤整体可归为两阶段演习+测试，如下所示：
第一阶段：指令天生（Instruction Generation）
这个阶段紧张天生两个关键指令集，文本指令天生器（Text Instruction Generator）和区域掩码天生器（Mask Instruction Generator）。
前者通过比较目标画作和当前画布的状态，天生一个简短的文本指令，比如“画天空”或“加花朵”，以此决定下一步该当添加哪些元素。
后者是一个二进制图像，指明了画布上该当更新哪些部分。
两者一结合，确保模型只在画布上得当的区域进行绘制。
△天生的文本指令第二阶段：画布渲染（Canvas Rendering）接下来利用第一阶段天生的指令来更新画布。
利用文本指令和区域掩码，以及当前画布的图像和目标画作，一个基于扩散的渲染器被用来更新画布。
这个渲染器采取了一种叫做“去噪扩散概率模型”的技能，它逐步从噪声图像中去除噪音，以天生连续的图像帧。
总之，渲染器在更新画布时会考虑多种条件旗子暗记，包括文本指令、区域掩码、韶光间隔，以及目标画作和当前画作的特色。
这些条件旗子暗记帮助渲染器更准确地仿照人类艺术家的绘画风格和过程。
测试（Test-Time Generation）
在测试阶段，模型利用演习好的管道从头开始天生一幅画作。
这里紧张有两个关键：
自回归过程。每一步都依赖于前一步天生的结果，以此生成一个连贯的绘画过程；固定时间间隔。在每一步之间采取固定时间来更新画布，仿照真实绘画过程中的韶光流逝；终极，与三个基线方法（Timecraft、Paint Transformer、Stable Video Diffusion）比较，其天生结果明显更优。
同时，干系变体也取得了SOTA结果。
个中两位作者为华人
大略先容下项目作者，一共5位，个中两位是华人。
Bowei Chen （陈柏维），本科就读于海内东北大学软件工程专业（2016年入学），后分别在卡内基梅隆大学机器人研究所和华盛顿大学攻读硕博。
研究兴趣为打算机视觉和图形学的交叉点，重点是图像和视频天生。
Yifan Wang，本科就读于上海科技大学打算机专业，今年刚得到华盛顿大学CS博士学位。
个人主页显示了多段事情经历（含字节、谷歌、Adobe等），目前是Meta Reality Labs Research的一名研究科学家。
实际上，这个团队进行的AI逆向绘画之前也有，网友们还提到了Paints Undo这个项目。
当时紧张运用于动漫领域，短短3个月已在GitHub揽星3.3K。
对付这事儿，人们一贯褒贬不一，最大争议在于人们担心有人会利用AI谎称作者。
毕竟通过讲解艺术思路是作者证明作品原创性的手段之一。
乃至对付它能教人们学绘画这事儿，也有网友以自身经历出来回嘴：
目前不太符合真实绘画过程
以是，有理解绘画的童鞋来说说看吗？
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态
