No. 120 些細な反射光から周りの様子を再現する技術

Specular Reflectance Maps (SRMs)

(c) 2020 JEONG JOON PARK

本知財は、光沢のある物体から反射される光をもとに、周囲の環境を画像として再現する視野合成技術。陶器のボウルや、円柱状のソーダ缶、猫の像、さらにはスナック菓子を容れるしわくちゃの袋からでも、物理法則と深層学習を融合させた独自のアルゴリズムを用いることで反射光の歪みを補正し、対象物の周りに何があるのかを大まかに再現できる。将来的には、VRやARにおける背景の外観向上や事件現場の捜査支援といった応用の可能性が考慮されているが、その一方で、個人情報の特定・漏洩によるプライバシー侵害といった悪用の危険性も示唆されている。それゆえに、本知財のような再現技術とセキュリティ対策技術とが、相互に発展していくことが期待される。

スナック菓子の袋は “曇って歪んだ鏡” であり、反射光には周囲環境を再現するには十分な手がかり、つまり、部屋の照明や窓の位置、窓の外の建物の配置といった情報が含まれている。本知財は歪みを補正し、ぼやけてはいるが認識可能な画像を生成できる(部屋の構造・物体・人物のシルエットから、窓の向こうに見える樹木や建物の階数まで)。この成果は、コンピュータビジョン分野で世界トップの国際会議、CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition 2020) で発表され、大きな注目を浴びた。

なぜできるのか?

光沢のある物体を周回しながら撮影する「全方位深度撮影」

小型カメラ(ハンドヘルドRGBDセンサー)に搭載された深度センサーは、光沢のある物体の形状と距離を大まかに検出し、視野合成と環境再構成を行う。スナック菓子袋の反射光をあらゆる視点から1分ほど深度撮影することで、角度に応じた光沢パターンの情報が得られる。

予測精度を向上させる、学習モデル・物理モデルの「ハイブリッドモデル」

上記の「全方位深度撮影」で得られた動画データと、物理法則に基づく推論に深層学習を融合させた「ハイブリッドモデル」により、物体の周りの様子を再現する。このとき、物体表面の鏡面性が高いほど、再現画像の周囲環境との一致度は高くなる。

相性のいい分野

交通
交通事故の際、道路上のミラーだけでなく、周囲のゴミやわずかな鏡面から捜査上の手がかりを発見
教育
映像資料から歴史上の新事実を発見
地質調査
複数の鏡を装着したドローンで複雑な環境下の地形や内部構造を調査

知財情報

主な知財ホルダー:Park J.J., Holynski A. and Seitz S.M. (University of Washington)

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

知財ハンター

小髙 充弘 Mitsuhiro Odaka
Media Artist / Konel Inc.

1991年生、神戸出身。学士(医学,理学)。広義の「感染」に関するメディアアート制作を行う。病原体、行動、モラル等が、複雑に跨ぎ合うつながり構造の上を拡散・極性化する現象に関心がある。その関心の下で、データによる予測可能性を超えた逸脱的な意味付けの内部に人間が人間たる規定要因を探したり、疎外された逸脱主体と他との交流の回復がありうるのか探ったりしている。