映像の世代が変わると、旧世代の解像度(現在であればSD解像度)をアップコンバート(以下アプコン)する技術が必須となりますが、家電メーカーがよく使う「超解像」の類や、一部ポスプロさんが好んで使う処理もアプコンの重要性から生まれた技術に他なりません。

先日発売された「らき☆すた」BD-BOXはジャギーが目立つと一部に不評ですが、個人的な好みでいえば、油絵のようなのっぺりフィルタを使われずに済み胸をなで下ろしている……というのが正直な感想です(とはいえ、これはこれで十分ひどい画質ですが)。おそらく、以下のようなフィルタリングをした方が多くの方にはウケが良いと思うのですが、それはそれで欠点を抱えており、アプコンの難しさと課題を浮き彫りにしています。

流行りのアプコン処理を少しでも上手く再現してみる
左がBD映像、右は私が再フィルタリング・再アプコンした映像です。おそらく、ジャギーを気にする方はこういう類の画質を期待していたのではないでしょうか。なお、フィルタリング実演のため、このフレームのみ拝借させていただきました。

BD版は、SD素材を単純にアップスケーリングしたような画質となっており、ジャギーだけでなく猛烈な色抜け・滲みが見てとれます(つかさの髪の輪郭にあるジャギー右側に紫ではない色がうっすら見える)。これはアプコン品質以前に、マスター素材の質があまり良くなかったのではないかと推測するに十分な画質です。

↑BD映像。
↑BD映像を再処理・再アプコン
↑左がBD映像、右が再処理・再アプコン。
フルHD解像度で見るのが厳しい方は右のトリミングをご覧下さい。再処理・再アプコンした映像は、誰が見てもフィルタリングの効果がわかりやすいよう意図的に強く処理していますが、多くの方は右側を好む傾向があるように思えます。パッと見はジャギーが低減されていますし、何となく見やすい。これは一部ポスプロさんがここ数年好んで使っているシステムのアプコン処理(ブラーやスムージングを掛けてからシェープしてジャギーを潰すWarpSharp系の処理)に類似するものであり、現在流れている「灼眼のシャナ」BD-BOXのCMも、フィルタリングの特徴がモロに出ています。

「らき☆すた」BD-BOX映像のジャギーを注意深く見ると、垂直解像度はSD並みにそこそこあるものの、水平解像度が足りないことから横方向のジャギーが目立つ点に気付くはずです。しかもSDの時点であったと思われるエイリアスノイズも若干見受けられます。それを踏まえて再処理した行程は──

SD解像度変換(元の解像度に戻す)→横方向のエイリアス除去(WarpSharpを適切に掛けるための前処理)→ →スムージングおよびWarpSharpフィルタリング→アップスケーリング→エッジ補正

という流れで、じつはかなり以前からあるノーマルな手法だったりします。WarpSharpはアップスケーリングしてから行っても良いですが、この例では映像の特徴を鑑みて意図的に前処理しました。現在は、以下に書いたデメリットにより敬遠される傾向にあり、初見のインパクトがあるためつい使いたくなりますが、個々の好みがあるにせよ、デメリットを理解し目が肥えてくると後々「なぜWarpSharpを使ってしまったのだろう」と後悔しがちなフィルタでもあります(自身の経験からも)。なお、これら処理はすべてAviUtlのプラグインフィルタのみで一括に行いました。

そのWarpSharp系フィルタのメリット・デメリットをあげると──

  • メリット
    1. ジャギーを低減できる アニメで人の目が行きやすい輪郭線を細く絞めやすいためパッと見の解像感を上げやすい

  • デメリット
    1. ↑遠近感を出すため被写界深度をブラーで表現した背景(焦点は手前のキャラにある)。わかりやすいように若干強めに処理。BDの元映像である左の画像はブラーによる遠近感を意図的に演出しているが、右の画像はフィルタの副作用によりクッキリしてしまい、エフェクトによる映像の距離感が損なわれやすい。
      スムージングまたはブラーの影響で線の先や角(内角・外角)が丸く潰れたり変形しやすい

      階調変化部分に擬似輪郭的なものが発生し、綺麗にブラーやグラデーションの掛かるべき領域が不用意にクッキリしたり、油絵のように変質する(右の画像)

      慣れないとフィルタの強度調整が非常に難しい(慣れないほど効果に対しての感覚が鈍いため、無意識に強く掛けてしまう)

    結局は、メリット・デメリットを秤に掛けて使うか否かという判断になるのですが、画質オタクの多くはWarpSharp特有の画の変質に敏感な傾向が強いように思いますし、締まってはいるけれど不自然にふにゃけた線や、階調が締まって油絵のようになった背景を見てガッカリする事が多いのも事実です。

    上のデメリットの画像を例に挙げると、私たち人間は「ここは解像度が低くてボケているが、こっちは意図的にブラーエフェクトでぼかしている」という映像の特徴を踏まえた適応的判断が出来ますが、残念ながらこれらアプコンフィルタはアルゴリズムに従った画一的な処理しかできません。シーン(カット・フレーム)単位で強度だけは人力で調整できるとしても(周波数成分に分解して、平坦なところとはフィルタリングの性質を変えるといった技術が適用できれば若干改善するような気もする)。

    現在の実用的な技術では、多少のジャギーがあるけれど元映像に忠実か、ジャギーは少ないけれど画が変質してしまうか……という傾向にあると思います。フィルム作品は再スキャンすればある程度の解像度でリマスタリングできるものの、「らき☆すた」のようにデジタル制作でSDといえども解像度が低めの作品はアプコンに苦労してしまいます。マンパワーや時間コストを度返しできるなら、究極は「人力で修正する」ことなのでしょうが、デジタルは「できる限り高解像度で制作する」という流れができないと、このように後々苦労することになります。もしかすると、現在の720p制作アニメも、スーパーハイビジョン世代(次世代映像)で似たような苦労をするかもしれません(かといって上を気にしすぎるとキリがないのですが)。

    高解像度変換技術は今後も研究されていく
    WarpSharp系のほかにも様々な高解像度変換技術がありますが、家電メーカーが取り組んでいる「超解像」のほかに、意外と古くから研究が進んでいるものとしてベクター変換によるスケーリングもあります。アニメの主線にも使えそうな技術ですが、こちらのニュースにもあるように「本来角ばっててもいい部分まで滑らかにさせないようにする」という最大の欠点を克服できれば、レトロゲームや一部のSD制作アニメで実用的な技術になる可能性は秘めています。

    アップコンバート技術はフルHDが標準化しつつある現在だけの問題でなく、スーパーハイビジョンのような将来の高精細映像フォーマットを視野に入れると今後も研究が進むであろう分野です。例えば、想像しやすい未来として、現在のフルHD映像をスーパーハイビジョンクラスの解像度に変換する場合も、アップコンバート技術は必要不可欠ですし、過去の映像をいつの未来においても「できる限り綺麗に観たい」という私たちのニーズがある限り研究開発は続いていくことでしょう。

    とはいえ、高解像度で制作・撮影された映像と「まったく同じ画質」にするのは困難ですし、それができるとすれば高解像度制作・撮影する意味すらなくなります。基本的にアプコンは、低解像で存在しない画素情報を「それっぽく」補間して見せる技術ではあるので、馬鹿正直に高精細化するのではなく、映像の特徴を踏まえつつ人の視覚が敏感に捉えやすい部分を上手く強調するような画作りが現在のトレンドといえます。

  • リンク
  • アニメ「らき☆すた」公式
    AviUtl
    WarpSharpフィルタ(AviUtlプラグイン)
    MugenViewer(ベクター変換による拡大ツール)

    1件のコメント

    1. 「35mmは4K相当」だと思い込みがちですが、実は2Kに満たない映画プリントも結構多いみたいで、HD化したときに「あれ?」と思うことがよくあるそうです。「1080pでも十分」という根拠はここら辺にあるみたいですね。
      「元の画の解像度が低く、しかも今の技術では如何ともしがたい」作品は現状では無理矢理「鮮明化」しないのが正解のようです。

      センパイ。
    2. >センパイさん

      フィルムの解像感とデジタル解像感は異なるので一色単にできないかもしれませんが、書いたとおり、どういった方式でアプコンをしても欠点を抱えてしまう現状ではあるので、もう少し技術が成熟してくれれば……という願いはありますね。

      しかし、待っていたら今度は商機を逃すでしょうし難しいところです。

      POP
    3. はじめまして、いつもこのサイトでは色々と勉強させてもらっているNaoと申します。上のアプコンの例はとても綺麗に見え、今の自分の技術ではこれと同じ処理はできません。デメリットも理解しましたが、今後の参考にしたいので、もし差し支えなければ、どのようなフィルタを組み合わせたのか教えていただけないでしょうか?

      Nao
    4. >Naoさん

      はじめまして。

       スケーリングはリサイズフィルタなので説明を省きますが、それ以外はFIRでエイリアス対策、エッジレベルで輪郭線のわずかな補正効果を狙っており、WarpSharpオンリーよりもフィルタ強度を若干低くできるよう(欠点がモロに目立たないよう)パラメータ調整をしたつもりです。
       ただし、同フィルタのデメリットがわかりにくい映像(カメラの引きでキャラが小さい映像等を使わない)といったチョイスもしたため、言い方は悪いですが、フィルタ効果云々だけであればデメリット隠蔽を狙った少々インチキくさい映像かもしれません。

       そういう意味で、アプコン例とした映像は個人的にジャギーが嫌だという方に対する「こうだったら良かったかもしれない」という気持ちを汲み取った一例として捉えていただけると幸いです(ただし、それが適切な処理だったのか定かではない)。

       私的にWarpSharpが好きではないとはいえ、特長もきっちり見せないと評価としての適切さを欠くため、メリットを含めた一例として「少しでも好印象を与える」という点を念頭に置いて処理しましたが、実際にNaoさんが同じようなフィルタリングをされても個人的に納得できるシーンと納得できないシーンというのは出てくると思います(一方の欠点は本文で大まかに書いたため割愛)。

      それらを踏まえ、Naoさん自身の好みで色々と試されては如何でしょうか。

      POP

    コメントを残す

    メールアドレスが公開されることはありません。 が付いている欄は必須項目です

    + 89 = 93

    このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください