iPhone + iPad FAN (^_^)v

「目」でiPhoneが操作可能に!?「TrueDepthカメラ」の可能性を考えてみた。

iPhone Xに搭載される先進的なフロントカメラ「TrueDepthカメラ」。

カメラやセンサーを駆使して、Face IDやアニ文字をなど、iPhone Xの主要な新機能に深く関わっている「TrueDepthカメラ」ですが、まだまだ大きな可能性を秘めている気がします。

ということで、「TrueDepthカメラ」の可能性について考えてみました。

できることを整理

今後の可能性について考える前に、現状わかっているできることをおさらい。

Face ID

顔認証機能。

3 万以上の目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。

アニ文字

50以上の異なる筋肉の動きを解析し、あなたの表情を12種類あるアニ文字のいずれかに反映させます。

注意知覚機能

iPhone を見ていないときはディスプレイを暗くしたり、デバイスを見ているときは通知音を小さくしたりしてくれます。ほかにも、Safari を使っている場合は、デバイスを見ているかどうかが検知され、見ていなければ画面がオフになります。

ポートレートライティング

高度なアルゴリズムを使って、あなたの顔の特徴と光の相互作用を計算します。そして、そのデータを使って目を奪うような照明エフェクトを作り出します。

ビデオエフェクトアプリ「Clips」のセルフィーシーン機能

iPhone Xの「セルフィーシーン」が、Clipsをますます楽しいものにします。TrueDepthカメラを使って、美しくアニメーション化された風景や抽象画の中にあなたを登場させましょう。「スター・ウォーズ/最後のジェダイ」の世界に飛び込んで、ミレニアム・ファルコンに乗ることもできます。

ざっくりまとめると、顔の3D形状、動き、表情(筋肉の動き)を認識するってこと。暗闇でも使えます。
また、「注意知覚機能」では、ユーザーがiPhoneを見ているのか、見ていないのかを判別することもできます。

これらの機能を使えば、いままでできなかったこともできるようになるはずです。


様々なアプリへの応用

まずは、アプリへの応用を考えてみました。

ゲーム

顔の動きがわかるなら、あっち向いてホイとか、にらめっことか。

アニ文字の逆パターンで、認識した顔が、ゲーム中のキャラクターになって、セリフを喋るとか。
(Face ID用の顔の形状データは保護されているので、ゲーム用に荒めに形状認識するとか?)

顔加工系


イベントで、クレイグ・ フェデリギ氏が、自分の顔にレスラーのようなマスクをつけるデモをやっていました。
すでに、SNOWなど、その手のアプリはありますが、「TrueDepthカメラ」でさらにリアルにできるかも。


アニ文字のようなことを、もっといろいろなキャラクターでできるアプリも出てきそうですね。

3Dスキャナ

顔の形状だけでなく、物の形状の認識できるかもしれません。
だとすれば、3Dスキャナとしても使える可能性も?

まず、3Dスキャナで認識して、その物をARで映し出す、なんてアプリも出てきそう。


顔ジェスチャーによる操作も可能に?

iOSが顔での操作をサポートする可能性もありそう。
首振りや、ウインク、ベロ出しなど、いろいろ顔でできるジェスチャーはありそうです。

iPhone Xでは、コントロールセンターが、右上から下へののスワイプになって、ちょっと出しづらくなったと思うので、例えば、ウインクでコントロールセンターが呼べたら、便利だと思います。

いろいろカスタマイズもできて、右目ウインクは電卓、左目ウインクはライトON/OFFとか、できたらいいなぁ。


Siriが感情を理解する?

「アニ文字」では、顔の筋肉の動きをキャラクターに再現させていますが、その動きを喜怒哀楽の感情に置き換えることも、できそうな気がします。

ならば、その感情をSiriが理解して、受け答えに反映させることもできるかもしれません。
落ち込んでいる人には、優しい言葉をかけたり、怒っている人には、怒りを沈めたり。


また、身だしなみのチェックも、Siriがしてくれるかも。
「髭剃り忘れていますよ」
「鼻毛でてますよ」
とか…。


こちらの記事によると、目線の動きや、まばたきの回数で、眠気を検知するという研究があるそうです。
これもSiriが注意してくれるようになるかもしれませんね。


「目」だけでiPhoneを操作できるようになる!?

「注意知覚機能」では、ユーザーがカメラを見ているのか、カメラの下に表示された通知を読んでいるかさえ、わかってしまうらしいです。(ほんとかなぁ..)

そんなわずかな違いがわかるということは、目の動きまで認識できてしまっているという可能性もあります。(【訂正】どこかで読んだと思ったのですが、出所見つからず。勘違いかも。)

人間の眼球は、真球ではないので、わずかな形状の起伏をとらえ、眼球の動ききさえも「TrueDepthカメラ」が認識できているのだとしたら、もはやタッチ操作も必要なく、目だけでiPhoneを操作できてしまうかもしれません。

アプリは、アイコンを目線で狙って、ダブル瞬きで起動とか!?

使いやすのかどうか、よくわかりませんが、アクセシビリティの機能としては、いいんじゃないでしょうか。



ということで、いろいろ妄想してみました。

これまでは、ほとんどユーザーがiPhoneを見ているだけでしたが、iPhoneが「TrueDepthカメラ」でユーザーを見ることができるようになり、iPhoneとユーザーの関わりが双方向になる気がします。
特にSiriやARには、これからいろいろ進化があるんじゃないでしょうか。