Real-ESRGAN超分算法效果
Published:
上一篇blog我们详细介绍了Real-ESRGAN论文的原理,以及paper中的所有技术细节。这篇blog我们来看一下Real-ESRGAN的实际效果。
Real-ESRGAN提供了如下几种不同的预训练模型: RealESRGAN_x4plus, RealESRNet_x4plus,RealESRGAN_x4plus_anime_6B, RealESRGAN_x2plus, realesr-animevideov3, realesr-general-x4v3
对于动漫插图类型的图,RealESRGAN_x4plus_anime_6B模型具有明显的优势:
对于下面分辨率62x90的原图
这4种模型跑出来的效果如下所示:
RealESRGAN_x4plus_anime_6B模型的明显最好。我们将原图和RealESRGAN_x4plus_anime_6B模型的输出放在一起对比:
对于下面这张图
看起来反而是RealESRGAN_x4plus的效果最好,虽然毛发处有些过于锐化,导致的看起来不自然。RealESRGAN_x4plus_anime_6B的毛发都是虚的。
我们将原图和RealESRGAN_x4plus的效果放在一起对比:
下面这个场景的超分
其实4种方法难分伯仲。我们把原图和RealESRGAN_x4plus的效果放在一起对比
只能说有提升,但不多。
对于下面这张图
4种方法的表现为:
RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型都把这块空岛给虚化掉了。
但是从光斑来说,RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型的效果是最好的。
我们取RealESRNet_x4plus的效果与原图进行对比:
再来看一个比较暗的场景
整体来说,anime模型的效果最好。
再来看下面的场景:
虽然anime模型会丢失一点点细节,但是整体清晰度是最好的。
再来看switch荒野大镖客的一些场景。
例如下面这个:
anime的模型虽然整体超分效果不错,但是anime的模型更加倾向于抹平很多细节。
从烟囱的黑烟表现上,只有anime模型和general模型正常一点。总结来看,general模型的整体效果是最好的。我们把原图和general模型的图对比一下。
再来看这个场景
对于文字的超分,RealESRGan模型的效果是最好的。
整体也没引入什么异常。我们将原图和RealESRGan的效果放在一起比较。
总结:
对于卡通场景,RealESRGAN_x4plus_anime_6B模型的效果是最好的。对于一般场景使用这个模型的话,这个模型会趋向于抹平掉很多细节。
对于一般场景,RealESRGAN_x4plus,RealESRNet_x4plus的效果一般都是可以的,RealESRGAN_x4plus可能在某些场景(比如烟雾上)引入artifacts,可以两个模型比较使用。