最先端の技術が結集するデジタルカメラ産業。デジタルカメラの高画素化は止まらず、1995年に発売された世界初の液晶モニター搭載のデジタルカメラ、カシオの「QV-10」は25万画素だったのに対して、2019年に富士フィルムから発売された「GFX100」は、約1億200万画素という超高解像度の撮像素子を搭載しています。高画質な写真に慣れた今、昔に撮影した古い写真を見返してみるとその画質の悪さに驚くことも多いのではないでしょうか。

本来、写真の解像度は撮影されるカメラのセンサー機能によって左右されるのが常でしたが、ソフトウェアによって高画質化を叶える機能が、Adobeに追加されました。Photoshopに付随する「Adobe Camera Raw」に新たに実装された、AIのディープラーニングで解像度を上げることで写真の品質を向上させる機能「スーパー解像度（Super Resolution）」です。

Camera RawのシニアプリンシパルサイエンティストであるEric Chan氏によると、スーパー解像度では、同社のAI技術「Adobe Sensei」を活用することで、ディティールを保持したままでの画像拡大が可能となったそうです。元の写真の幅と高さを2倍に拡大する処理が行われ、生成される総ピクセル数は元画像の4倍相当になります。

スーパー解像度の学習方法の基本的な筋道は「深層畳み込みニューラルネットワーク（CNN）」と呼ばれるもの。深層畳み込みニューラルネットワークとは、主に画像認識で用いられるディープラーニングの一種。あるピクセルに接する周囲のピクセルがそのピクセルに影響を及ぼす関係性を学習していき、一部が見えづらい画像でも解析することができるため、自動運転や監視カメラなどでの活用が進んでいる技術です。

上記の学習方法において、今回は3つの独自の訓練方法が採用されました。1つ目は、大多数のカメラが使用している「ベイヤー配列のセンサー」と富士フイルムの「X-Trans式センサー」の両方で機械学習を進めたこと。それによって、どちらのセンサーで撮影された画像でもディティールを強化する効果が得られるようになりました。2つ目が、ディティールが細かく、解析の難易度が高い画像サンプルを重点的に用意してトレーニングを行ったこと。3つ目が、CoreMLやWindows MLなどの最新のプラットフォーム技術をフル活用できるように機械学習モデルを構築したことです。

Eric Chan氏によるAdobe Blogにて、画像解析のトレーニングがわかる画像が紹介されています。

下記、左が標準的なバイキュービック法によるアップサイズを使用した画像で、右がスーパー解像度を使用した画像です。目に見える形で細部のディテールや色の再現度に違いが感じられます。

存在しないピクセルも、機械学習により周囲の情報を読み取ることで生成しています。古い写真や解像度の低い写真のディティールの底上げに大いに役立ちそうです。

また、スーパー解像度は下記のように、広角の画像から一部分の画角をトリミングしたいシチュエーションでも威力を発揮します。本来であれば高解像度のカメラセンサーで撮影しなければ対応不可能だった場合でも、スーパー解像度があれば自由な表現が可能になります。

現在、適用可能な画像サイズは長辺6万5,000ピクセルまでですが、制限サイズを拡大する方法については検討中とのこと。また、スーパー解像度の機能は「Lightroom」「Lightroom Classic」にも近日搭載される予定です。

Adobeの他にも、Googleの自社のスマートフォン「Pixel」に搭載された「RAISR」や、AIを利用した写真/動画編集ツールを提供するTopaz Labsの「Gigapixel AI」、Macの画像編集ソフト「Pixelmator」に実装されている「ML Super Resolution」など、AIによる画像の解像度向上技術は目覚ましい進歩を遂げています。Photoshopへのこの機能の追加を待ちに待っていた人も多いのではないでしょうか。低い画素数のカメラで撮影した古い写真への活用や、画像を大きくプリントしたいときなど、様々な場面で活躍しそうです。

2020年のPhotoshopのメジャーアップデートでは、「Adobe Sensei」を用いた「ニューラルフィルター」と呼ばれる機能が追加され、人物の表情や年齢を一瞬で変えるなど、画期的な編集機能が話題となりました。今回のスーパー解像度に続き、「Adobe Sensei」を活用した新機能に期待が高まります。

Camera Rawのシニアプリンシパルサイエンティスト Eric Chan氏によるAdobe Blog全文はこちら