Googleは、「Google I/O 2023」にて発表したハンズフリーゲーミングマウスのProject GamefaceをAndroidでも利用可能にすると発表した。

「Project Gameface」は、頭の動きと顔のジェスチャーを使用してコンピューターのマウスカーソルが制御できるようになる機能だ。眉を上げてクリックしてドラッグしたり、口を開けてカーソルを動かしたりすることでカーソルの操作が可能になる。この機能は、筋ジストロフィー（筋肉が弱くなる進行性の病気）のビデオゲームストリーマーであるランス・カー氏と協力し実現された。

今回Googleが新たに発表したのは、Project Gamefaceのコードをさらにオープンソース化し、あらゆるAndroidデバイスでより使いやすくできるようすることだ。

カメラを通じて、顔の表情や頭の動きがシームレスに追跡され、直感的でパーソナライズされた操作に変換が可能になる。開発者は、顔の表情、ジェスチャーのサイズ、カーソルの速度などをカスタマイズして、エクスペリエンスを構成できるアプリケーションを構築できるようになったのだという。

また、同社は、現在のProject GamefaceAndroidと同様に頭の動きでカーソルを動かし、顔の表情でアクションを起こすため、Android用には新しい仮想カーソルを導入したと述べている。Androidアクセシビリティサービスを使用して新しいカーソルを作成し、MediaPipeのFace Landmarks Detection APIを活用して、ユーザーの頭の動きに応じてカーソルが動くようにプログラムされている。

APIには、左眉を上げる、口を開けるなど顔のジェスチャーを表す52種類の顔ブレンドシェイプ値がある。これらの値の一部を使用して、さまざまな機能を効果的にマッピングおよび制御し、ユーザーにカスタマイズと操作の幅広い可能性を提供するとのこと。また、ブレンドシェイプ係数も活用して、開発者が特定の表情ごとに異なるしきい値を設定できるようにされている。

Androidアクセシビリティサービスには現在、ユーザーがリアルタイムでインタラクティブな画面ドラッグを実行するための簡単な方法がない。しかし、同社の製品はドラッグ機能を含むようにアップグレードされており、ユーザーは開始点と終了点の両方を定義することが可能だ。その結果、ドラッグアクションは指定されたパスに沿ってシームレスに実行される。

Android向けのProject Gamefaceを構築する際、同社は3つの基本原則に基づいて製品の設計と開発を行ったとのこと。その基本原則とは、１つは「障害を持つ人々にAndroid デバイスを操作するための新たな手段を提供する」、２つめに「スケーラブルな使用を可能にするために、一般に利用可能なコスト効率の高いソリューションを構築する。」、３つめが「最初のGamefaceのリリースから得た学びと指針を活用して、ユーザーフレンドリーでカスタマイズ可能な製品を作成する。」としている。

ニュースリリースはこちら

GitHub

Top Image : © Google