Real-ESRGAN超分算法效果

less than 1 minute read

Published:

上一篇blog我们详细介绍了Real-ESRGAN论文的原理,以及paper中的所有技术细节。这篇blog我们来看一下Real-ESRGAN的实际效果。

Real-ESRGAN提供了如下几种不同的预训练模型: RealESRGAN_x4plus, RealESRNet_x4plus,RealESRGAN_x4plus_anime_6B, RealESRGAN_x2plus, realesr-animevideov3, realesr-general-x4v3

对于动漫插图类型的图,RealESRGAN_x4plus_anime_6B模型具有明显的优势:

对于下面分辨率62x90的原图

这4种模型跑出来的效果如下所示:

RealESRGAN_x4plus_anime_6B模型的明显最好。我们将原图和RealESRGAN_x4plus_anime_6B模型的输出放在一起对比:

对于下面这张图

看起来反而是RealESRGAN_x4plus的效果最好,虽然毛发处有些过于锐化,导致的看起来不自然。RealESRGAN_x4plus_anime_6B的毛发都是虚的。

我们将原图和RealESRGAN_x4plus的效果放在一起对比:

下面这个场景的超分

其实4种方法难分伯仲。我们把原图和RealESRGAN_x4plus的效果放在一起对比

只能说有提升,但不多。

对于下面这张图

4种方法的表现为:

RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型都把这块空岛给虚化掉了。

但是从光斑来说,RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型的效果是最好的。

我们取RealESRNet_x4plus的效果与原图进行对比:

再来看一个比较暗的场景

整体来说,anime模型的效果最好。

再来看下面的场景:

虽然anime模型会丢失一点点细节,但是整体清晰度是最好的。

再来看switch荒野大镖客的一些场景。

例如下面这个:

anime的模型虽然整体超分效果不错,但是anime的模型更加倾向于抹平很多细节。

从烟囱的黑烟表现上,只有anime模型和general模型正常一点。总结来看,general模型的整体效果是最好的。我们把原图和general模型的图对比一下。

再来看这个场景

对于文字的超分,RealESRGan模型的效果是最好的。

整体也没引入什么异常。我们将原图和RealESRGan的效果放在一起比较。

总结:

  1. 对于卡通场景,RealESRGAN_x4plus_anime_6B模型的效果是最好的。对于一般场景使用这个模型的话,这个模型会趋向于抹平掉很多细节。

  2. 对于一般场景,RealESRGAN_x4plus,RealESRNet_x4plus的效果一般都是可以的,RealESRGAN_x4plus可能在某些场景(比如烟雾上)引入artifacts,可以两个模型比较使用。