[MangaRestoration] 漫画のスクリーントーン特化型超解像AIを動かす

本記事では、漫画の超解像に特化した機械学習手法MangaRestorationを用いて超解像を行う方法をご紹介します。

MangaRestoration

概要

MangaRestorationは、劣化した低解像度のモノクロ漫画を復元する超解像技術です。

MangaRestorationは劣化したモノクロ漫画を復元するために以下の2段階の処理で構成されています。

1段階目では、Scale Estimation Network(SE-Net)を介して劣化した漫画画像から目標解像度を予測し、2段階目では、Manga Restoration Network(MR-Net)を使用して、領域ごとのモノクロスクリーントーンを区別して修復しています。

結果、本手法は他の超解像手法と比較してスクリーントーンの復元に優れた結果を示しています。

詳細はこちらの論文をご参照ください。

本記事では上記手法を用いて、モノクロ漫画を超解像していきます。

デモ(Colaboratory)

それでは、実際に動かしながらモノクロ漫画の超解像を行います。
ソースコードは本記事にも記載していますが、下記のGitHubでも取得可能です。
GitHub - Colaboratory demo

また、下記から直接Google Colaboratoryで開くこともできます。

なお、このデモはPythonで実装しています。
Pythonの実装に不安がある方、Pythonを使った機械学習について詳しく勉強したい方は、以下の書籍やオンライン講座などがおすすめです。

おすすめの書籍

おすすめのオンライン講座

環境セットアップ

それではセットアップしていきます。 Colaboratoryを開いたら下記を設定しGPUを使用するようにしてください。

「ランタイムのタイプを変更」→「ハードウェアアクセラレータ」をGPUに変更

初めにGithubからソースコードを取得します。

%cd /content
!git clone https://github.com/msxie92/MangaRestoration.git

次にライブラリをインストールします。

%cd /content/MangaRestoration

!pip install --upgrade gdown

最後にライブラリをインポートします。

import os
import matplotlib.pyplot as plt
import cv2

以上で環境セットアップは完了です。

学習済みモデルのセットアップ

次に公開されている学習済みモデルをダウンロードします。

%cd /content/MangaRestoration
!mkdir -p release_model

if not os.path.exists('release_model/resattencv_manga_cons256.zip'):
  !gdown 'https://drive.google.com/uc?id=1sazt7jlvfR6KEjOp9Tq2GpjMe04uRgtn' \
    -O release_model/resattencv_manga_cons256.zip

!unzip release_model/resattencv_manga_cons256.zip -d release_model

テスト画像のセットアップ

次にモデルに入力する低解像度画像をダウンロードします。

%cd /content/MangaRestoration

!mkdir -p datazip/manga1/test flist/manga1

!wget -c https://github.com/msxie92/MangaRestoration/raw/main/examples/Akuhamu_020.jpg \
      -O datazip/manga1/test/test_01.jpg
!wget -c https://i.pinimg.com/736x/03/95/6b/03956bff323d9200a7e4d3b3020c5b58.jpg \
      -O datazip/manga1/test/test_02.jpg

2枚目の画像が大きいため縮小しておきます。

def imread(img_path):
  img = cv2.imread(img_path)
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  return img

img = imread('datazip/manga1/test/test_02.jpg')
dst = cv2.resize(img, dsize=None, fx=0.5, fy=0.5)
cv2.imwrite('datazip/manga1/test/test_02.jpg', dst)

最後に、入力画像のリストを生成しておきます。

!python scripts/flist.py \
  --path datazip/manga1/test \
  --output flist/manga1/test.flist