Android アプリでは間もなく顔を使ってカーソルを制御できるようになります

開発者はアクセシビリティ機能をアプリに統合できるようになり、ユーザーが顔のジェスチャーや頭を動かすことでカーソルを制御できるようになります。 たとえば、口を開けてカーソルを移動したり、眉を上げてクリックしてドラッグしたりできます。

Project Gameface は、昨年の Google I/O デスクトップ カンファレンス中に発表され、デバイスのカメラと顔の表情のデータベースを使用します。 MediaPipe 顔ランドマーク検出 API インジケーターを操作します。

Googleは発表の中で、「デバイスのカメラを通じて顔の表情や頭の動きをシームレスに追跡し、それらを直感的でパーソナライズされた制御に変換します」と説明した。 「開発者は、ユーザーが顔の表情、ジェスチャーのサイズ、カーソルの速度などをカスタマイズしてエクスペリエンスを構成できるアプリを作成できるようになりました。」

Gameface は当初ゲーマー向けに設計されていましたが、Google はまた、 包括的な – アクセシビリティに焦点を当てたインドの社会的企業 – アクセシビリティを職場、学校、社会的状況などの他の環境にどのように拡張できるかを検討します。

Project Gameface は四肢麻痺のビデオ ゲーム ストリーマーからインスピレーションを受けています ランス・カー、筋萎縮症に苦しんでいます。 カー氏はこのプロジェクトで Google と協力し、高価なヘッドトラッキング システムに代わる、より安価でアクセスしやすい代替手段を作成することを目指しました。