二次元图片 拉伸&降噪 神器——waifu2x算法

二次元图片 拉伸&降噪 神器——waifu2x算法

我的 小鸟工坊 专栏本意是用于随心写写动画奖赏笔记的,不过面世以来一直在放羊……

为庆祝 吃蛋挞爱瑠 力克雪之下雪乃,摘得世萌2015萌王桂冠,今天不务正业一次,向大家分享一个nagadomi针对二次元图片拉伸放大而开发出来的黑科技——waifu2x算法,可用于漫画、动画截图、同人图、卡图、版权绘、海报等一切二次元图片但对三次元图片效果不佳。 本文意在分享和推广waifu2x工具,而并非专业分析,所以会有诸多表述不正确之处。国内顶级的动画压制组已经用waifu2x制作了一些成品。文末会分享程序并介绍用法。

阅读本文,非chrome浏览器观看图片时请务必使用电脑网页端,点开大图并右键单击图片,在新标签页打开图片!

阅读本文,非chrome浏览器观看图片时请务必使用电脑网页端,点开大图并右键单击图片,在新标签页打开图片!

阅读本文,非chrome浏览器观看图片时请务必使用电脑网页端,点开大图并右键单击图片,在新标签页打开图片!

此举对比用意,知乎网页端和手机客户端把图片一缩,什么区别都看不出来了。

正确对比方式:点击大图->右键在新标签页打开->点击放大->重复上述步骤->不断切换原图与成品的标签页进行比对。

一般来说,拉伸放大对图片清晰度是毁灭性打击。只要放大,几乎都无法避免锯齿、线条模糊、色块、马赛克等各种问题,而且放大越多,效果越感人,简直可以称为 “糊你一脸”。由于二次元图片描黑边和色块上色的特点,线条的锐利度和色块的纯净度直接影响观感,而waifu2x算法就是针对二次元图片这个特点开发的。得益于waifu2x算法的拉伸+降噪机制,不仅可以做到放大图片而几乎不模糊,甚至还可以超越原图画质。

举个例子,这是一张《Rewrite》的OP截图,720P:

十分容易发现,原图清晰度就很糟糕,人物轮廓(脸颊、手、头发)和衣物的边缘很模糊,有锯齿,线条附近还有毛刺。这是国内720p视频中质量算好的了,国内所有在线视频网站的720p视频画质少有超过此图的。

当我用比一切废柴xx影音们不知高到哪里去的madvr渲染器里的 jinc 8taps+anti-alising和相对优秀的nnedi3算法将其拉伸放大至1080P后,效果如下:

随着分辨率增大,画面瑕疵也被放大。线条边缘模糊的更严重了,色块也更明显,钛合金狗眼都能看出来清晰度变差了。连madvr的拉伸都这幅德行,xx影音之流的播放器和普通看图软件放大时的效果就更无法入眼了。

然后,看看waifu2x算法的效果:

分辨率增大,画质反而有所增强。线条顺滑度很高,边界分明,且因为降噪的缘故,瑕疵被消去了大部分,唯一的缺点是受手上等位置的线条略微发虚。不过,这张图看着基本上不会觉得不舒服。

当然,这上面的图对比效果并不明显,我们来个更明显的对比:

原图 ,1280x844分辨率:

线条非常模糊,画面上还覆盖着一层好像油状物的东西。

看图软件pisaca放大至横向1080P:

图片瑕疵也被放大,看起来非常明显。

waifu2x拉伸至1080P:

无需多言,对比一目了然,画质远超原图。waifu2x拉伸后线条更加锐利顺滑,画面中油状物也都被作为噪点去除了。当初我就是为了找这张冰菓图片的1080P版本,才发现了waifu2x算法。

我们再看一个小分辨率400x650的图片:

看图软件pisaca放大至1080P,惨不忍睹:

waifu2x拉伸至1080P(横向1920像素),效果惊人:

我们甚至可以将原图400x650拉伸至横向4K分辨率(横向3840P):

有何感想?实际上,如果硬件运算能力够强,一些条件好的图片拉成8K乃至16K都是可以的,只不过效果会稍差一些,线条看起来会发虚。一般使用,拉成1080P是最好的。

当然了,以上图片都是拉伸+降噪,下面我们来单独看看纯降噪的效果:

1920x1080P未降噪原图,画面有明显噪点:

用waifu2x算法进行降噪后的1920x1080P图:

比起原图,成品去掉了画面上密密麻麻的白色点状物,画面(尤其是头发和衣服)显得干净很多,看起来让人觉得更清晰了。

对于噪点、锯齿、毛刺等瑕疵影响观感的图片来说,降噪会使画面看起来干净清晰。当然,所谓降噪,其本质是在削减原图信息,破坏细节,所以这个度需要人为把握。降噪力度合适,可以大幅提升图片观感;降噪力度过强,可能妹子们被简化成一个点的鼻子都会被抹掉。

这是一张 凪のあすから 的图册扫图,不可避免地会产生重噪点:

用waifu2x进行强降噪:

降噪后效果于动画截图看起来几乎无异。如果我不强调,估计绝大部分人不会看出来这是一张扫图。但waifu2x降噪不是万能的,一方面,噪点本身就有遮盖瑕疵的功能,而原图的瑕疵会在降噪后充分暴露,色块(衣服)和色带(光背后的天空)会变得明显;另一方面,降噪对星空的效果有着毁灭性打击——图片左侧的星空经过降噪,细节损失非常严重,肉眼可见光点减少,涂抹感严重。因此,waifu2x的降噪能力是把双刃剑,要客观看待。


介绍就这么多,来欣赏几个waifu2x拉成1080P(横向1920像素)的图片对比:

原图:

「私気になります! 」「私気になります! 」「私気になります! 」

成品:

「私気になります! 」「私気になります! 」「私気になります! 」


「私は萌王になる! 」「私は萌王になる! 」「私は萌王になる! 」

原图:

成品:

原图:

「折木さん 死ね! 」「折木さん 死ね! 」「折木さん 死ね! 」

成品:

原图:

成品:

原图:

成品:

智乃就由我抱走了,原图:

成品:

原图:

成品:

你想到了什么?

如果你想看1080P分辨率甚至4K的漫画,

如果你抽到的UR卡分辨率太低,无法设为手机、电脑壁纸,

如果你遇到一见钟情的画作却死活找不到高清纯净大图,

如果你苦恼于做mad找不到高清的插画和漫画素材,

如果你为BD附带的特典扫图噪点太重而叹息,

如果你钟爱的CG分辨率太低

那么——

用waifu2x拉一下吧!



我们都知道越是效果好的算法,一般也都是越吃硬件。比如SVP补帧,比如madvr渲染。 那么,waifu2x这么好用的黑科技,该如何使用呢?

答案是——GPU运算。

选择一,你需要win系统PC + 一张N卡

选择二,你可以用任意系统的PC + A卡或N卡前提是你会写程序,自行调用waifu2x算法处理图片。实际上,同等级的A卡比N卡拥有更多的流处理器,更适合waifu2x这种大运算量的算法。用于waifu2x算法时,一张HD 7970或者R9 280X可以秒GTX970,并战平GTX980。

选择三,如果你实在没有N家独立显卡,强行用CPU拉图也可以,不过一张图至少要处理半个多小时,够你等的。

什么?你说你你的CPU是5960X,还有双路E5?所以你想要用CPU快速处理?

当然可以呀,不过是等到地老天荒而已嘛。waifu2x效率实在太低了经我测试,一张720P~1080P的图拉伸2倍,用四核E3运算需要8min左右,但是用GTX960只需要8s。


另一个好消息是,waifu2x算法用于视频拉伸已经有成品,mawen和holy已经将waifu2x算法移植至Vapoursynth,并且可启用cudnn加速。虽然Waifu2x的使用限制很大,效果也非万能,但依旧动画和Mad类视频DVD->720P,或者720P->1080P的最好算法。这是我个人制作的测试样品:Waifu2x拉伸的视频&视频源(对比用) 密码:cg88

Waifu2x用于压制视频是在太慢了,简直是噩梦,哪怕是调用GPU,比正在普及的x265-10bit编码还慢一个数量级。我用960满载几十个小时压制了上面几个视频,平均花费时间是视频时长的60倍;3min20s的那个eden的mad,我花了近4个小时才压完。

嗯,闲扯就到这里了,分享waifu2x工具,有汉化界面,且支持文件拖入:

链接:waifu2x中文版 密码:f9g0

(可能需要安装vcredist_x64或vcredist_x86才能运行waifu2x,我的win10就需要。文件分割大小不要大于200份,一次性放大倍数一般不要超过4倍,不然容易崩溃。)

waifu2x算法介绍:lltcggie/waifu2x-caffe · GitHub

发布页:nagadomi/waifu2x · GitHub
在线版试用:waifu2x

本文首发以及批量处理方法讨论:讨论分享二次元图片拉伸+降噪黑科技 waifu2x

最新版waifu2x汉化版:waifu2x-caffe ver 1.0.8.1 汉化版

PS: 鸣谢中文界面汉化者 Tautcony(The Captain of VCB-Studio)。

PS2:引用 LittlePox (The BOSS of VCB-Studio )原话解释一下waifu2x算法的原理:

waifu2x之所以可以“无中生有地创作高分辨率的图片”,与其神经网络的本质,以及训练集的使用分不开。
说的通俗一点:
这玩意原生是一个具有机器学习能力的东西,相当于一个人工大脑;
然后这玩意开发者把几万张gal的图片(记为A)和它们对应的缩小到1/2*1/2的缩小版(记为B)丢给这个大脑,让它试着学习如何从B出发,来试图得到很接近A的放大效果。
等学成出来后,它就可得心应手的处理其他类似的图片放大,特别是动漫类的图片。
所以这玩意之所以能“无中生有”,看似打破常识,其实跟你在高考时候算的来三角,解的出电磁,写的好议论文一个原理:之前它有经过很系统性的训练。

【特别声明:本文只做分(借)享(花)推(献)广(佛),所有原图都来自同人作品、版权绘、海报、动画截图,图片全部来源网络。点兔图片是原作者KOI的作品。其他同人图是P站画师作品,但是画师信息丢失,如有不妥请联系我。】

以上。(Update on 2016.5.28)


By 中津静流

编辑于 2016-06-21

文章被以下专栏收录