[DeepFake]ディープフェイクとは?ディープフェイクの概要と種類を一挙解説

2021年6月23日水曜日

Artificial Intelligence

昨今ディープフェイクを悪用して日本でも逮捕者が出ており何かと話題のディープフェイク
本記事では技術の良し悪しではなく純粋にディープフェイクの技術に目を向けてみたいと思います

アイキャッチ


ディープフェイク(DeepFake)とは

人工知能など高度な合成技術を用いて作られる、本物と見分けがつかないような、にせものの動画。出典: https://www.weblio.jp/content/deepfake
テレビ番組等でもお笑い芸人の方の顔をMusicVideoの出演者の顔に合成し
あたかもお笑い芸人の方がMusicVideoに出演しているような映像が放送されています

近年では専門家でなくともスマホのアプリやGitHubに公開されたオープンソースを使って、比較的簡単にDeepFakeを使った画像や動画の作成ができるようになってきています

ディープフェイク(DeepFake)の種類

一口にディープフェイクといってもいくつかの種類が存在します
本記事では論文:DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detectionに沿って4種類のディープフェイクを紹介します

顔全体の合成(Entire Face Synthesis)


顔全体の合成を出力した図
出典: https://arxiv.org/abs/2001.00179

この技術は高品質で非常にリアルな顔そのものを生成します
上図のFakeの顔画像はAIによって生成された画像であり実在する人ではありません

代表的な手法: StyleGAN
利用分野: ビデオゲーム、3Dモデリング等のキャラクター作成

属性操作(Attribute Manipulation)


顔の属性を操作した結果の図
出典: https://arxiv.org/abs/2001.00179

この技術は髪や肌の色、性別、年齢、眼鏡の追加など、顔のいくつかの属性を変更します
上図のFakeでは髪型やメガネの追加等の変更が行われています

代表的な手法: StarGAN
利用分野: メイク、メガネの仮想世界での試用試着等

顔の交換(Identity Swap)


顔の交換を行った結果の図
出典: https://arxiv.org/abs/2001.00179

この技術は画像または動画に含まれる人物の顔を、別の人物の顔に置き換えます
上図のFakeはSourceの顔をTargetの顔に置き換えたものです
先ほど例に出したMusicVideoの顔の置き換えはこちらの技術が基になっています

代表的な手法: DeepFakes7
利用分野: 映画産業(スタントマンと俳優の顔を置き換える等)

表情の交換(Expression Swap)

表情の交換をした結果の図
出典: https://arxiv.org/abs/2001.00179

この技術は画像または動画の人の表情を別の人の表情に置き換えます
上図のFakeはSrouceの表情をTargetの表情に置き換えたものです

代表的な手法: STGAN
利用分野: アバターの作成等

ディープフェイク(DeepFake)の検出技術

ディープフェイク自体が悪しき技術だと言うつもりはありませんが
悪用されていることも事実です
このため特定の画像や動画がディープフェイクであるか否かを判断する
検出技術も盛んに研究されています
下記はその一例です

ディープフェイク検出概要図
出典:
https://openaccess.thecvf.com/content_ICCV_2019/papers/Wang_Detecting_Photoshopped_Faces_by_Scripting_Photoshop_ICCV_2019_paper.pdf

出典論文: Detecting Photoshopped Faces by Scripting Photoshop

ディープフェイクを検出するためには
ディープフェイクで置き換えられていないReal画像と
ディープフェイクを適用されたFake画像を大量に用意し学習させる必要があります

この画像の用意が困難であるためFake画像を大量に必要としない技術も発表されています
出典論文: Detecting and Simulating Artifacts in GAN Fake Images (Extended Version)

ただこれらの検出技術は
未知のDeepFakeに対して学習ができていないため
検出精度が良好ではない傾向にあります
そのためいたちごっこのようにDeepFakeとその検出技術が発展しています

まとめ

ディープフェイクの概要と種類について論文をベースに紹介させて頂きました
これらの技術はリモートワークが一般的になっている昨今
リモート会議にて自動でメイクや寝癖を直して相手に配信してくれるサービスや
スマートフォンアプリで顔を交換して写真を撮るエンタメアプリ等
人々の生活を豊かに、便利にしてくれる技術として活用されています

一方で、逮捕者が出ているように特定の人物の名誉を毀損するような
動画も容易に作成できてしまう危険性も孕んでいます

しかしながらこれらは技術そのものの問題ではなく
その技術を利用する人間の問題だと思います

技術の使われ方の問題で技術そのものが悪く捉えられてしまうことは
残念でなりません

AIエンジニア向けフリーランスならここがおすすめです

まずは無料会員登録

プロフィール

自分の写真
製造業に勤務する傍ら、日々AIの技術動向を調査しブログにアウトプットしています。 AIに関するご相談やお仕事のご依頼はブログのお問い合わせフォームか以下のアドレスまでお気軽にお問い合わせください。 bhupb13511@yahoo.co.jp

カテゴリ

このブログを検索

ブログ アーカイブ

TeDokology