米メリーランド大学カレッジパーク校に所属する研究者らは、瞳に映る画像から映ったものの3D画像を再構築する技術を開発した。

本技術は、瞳の中に映った反射光をカメラで複数回取得し、眼球に写る画像を3D形式で再現するもの。3Dシーンの再現には、複数視点の画像から自由視点の3Dモデルを生成する「NeRF（Neural Radiance Fields）」が用いられる。

一般的にNeRFでは、カメラを動かし、異なる角度から撮影された複数枚の画像から3Dモデルを再構築する。しかし、本技術では、カメラを固定し、頭の動きで変化するさまざまな目の角度から複数枚の画像を収集して入力データとして使用する。

通常、瞳の中の反射光は、虹彩（瞳孔の後ろの茶色の領域）と混ざり合っていることに加え、目に映る画像が小さく対象の正確な位置の特定が困難なため、瞳に映った眼球画像からの画像化が困難だった。

そこで本技術では、虹彩のテクスチャから反射を分離する技術に加え、角膜の姿勢推定の精度を向上させる技術を導入。実証実験の結果、単純にNeRFを適応する方法よりも、高精度で鮮明な3Dシーンを再現することが可能になったという。

同大学では、本技術は視覚障がい者の支援や遠隔医療のほか、VRやARの進化にも貢献しうるとコメントしている。今後の研究の進展に期待したい。

論文はこちら

研究詳細はこちら

「NeRF」知財記事

Top Image : © Alzayer, Hadi, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin Huang