AI 教你画油画:任意画风都可驾驭,笔画序列秒秒钟呈现


来源:量子位   时间:2021-08-16 14:05:13


AI 已经能教你画油画了。

随便给一张图,笔画序列秒秒钟呈现。

比如世界名画蒙娜丽莎。

亦或是写实类的小鸟。

还有极具氛围感的河灯。

总之什么风格都可以驾驭。

这项技术在 Reddit 上 21 小时内就已经有 600 + 的点赞量。

究竟是如何打造的呢?

用前馈网络预测笔画

神经绘画,就是为给定的图像生成一系列笔画,并使用神经网络进行绘画式的真实再现过程。

研究团队提出了一个基于 Transformer 的框架,叫做 Paint Transformer,用前馈网络来预测笔画的参数。

由于当前没有可用的数据集来训练 Paint Transformer,受物体检测启发,研究人员设计了一个自训练 Pipeline。

整个模型由两个模块组成:笔画预测器和笔画渲染器。

给定目标图像和中间画布图像,笔画预测器,生成一组参数以确定当前笔画集。

预测器包含了两个用于特征嵌入的 CNN 网路和一个用于参数预测的 Transformer。

随后,笔画渲染器为笔画集汇总的每个笔画,生成笔画图像,并将它们绘制到画,产生结果图像,大小为 512*512。

在 DETR(用 Transformer 进行对象检测)的基础上,增加了二进制神经元来预测笔画是否应该被保留。

这样它就可以在没有任何现成的数据集的情况下进行训练,同时还能实现出色的泛化能力。

实验表明,这一方法比以前的方法取得了更好的绘画性能,而且训练和推理成本更低。

百度南大团队打造

这项技术由百度、南京大学、罗格斯大学共同打造。

目前代码已经开源,并在一刻相册 App 上应用。

论文地址:

https://arxiv.org/abs/2108.03798

GitHub 网址:

https://github.com/wzmsltw/PaintTransformer

  版权及免责声明:凡本网所属版权作品,转载时须获得授权并注明来源“物联之家 - 物联观察新视角,国内领先科技门户”,违者本网将保留追究其相关法律责任的权力。凡转载文章,不代表本网观点和立场。

延伸阅读

最新文章

AI 教你画油画:任意画风都可驾驭,笔画序列秒秒钟呈现 AI 教你画油画:任意画风都可驾驭,笔画序列秒秒钟呈现

精彩推荐

产业新闻

特斯拉文件显示到今年 6 月 30 日马斯克持有 2.44 亿股公司股票,持股比例为 23.1% 特斯拉文件显示到今年 6 月 30 日马斯克持有 2.44 亿股公司股票,持股比例为 23.1%

热门推荐

版权所有:物联之家 - 物联观察新视角,国内领先科技门户