iPhone Xに搭載される先進的なフロントカメラ「TrueDepthカメラ」。
カメラやセンサーを駆使して、Face IDやアニ文字をなど、iPhone Xの主要な新機能に深く関わっている「TrueDepthカメラ」ですが、まだまだ大きな可能性を秘めている気がします。
ということで、「TrueDepthカメラ」の可能性について考えてみました。
できることを整理
今後の可能性について考える前に、現状わかっているできることをおさらい。
Face ID
顔認証機能。
3 万以上の目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。
アニ文字
50以上の異なる筋肉の動きを解析し、あなたの表情を12種類あるアニ文字のいずれかに反映させます。
注意知覚機能
iPhone を見ていないときはディスプレイを暗くしたり、デバイスを見ているときは通知音を小さくしたりしてくれます。ほかにも、Safari を使っている場合は、デバイスを見ているかどうかが検知され、見ていなければ画面がオフになります。
ポートレートライティング
高度なアルゴリズムを使って、あなたの顔の特徴と光の相互作用を計算します。そして、そのデータを使って目を奪うような照明エフェクトを作り出します。
ビデオエフェクトアプリ「Clips」のセルフィーシーン機能
iPhone Xの「セルフィーシーン」が、Clipsをますます楽しいものにします。TrueDepthカメラを使って、美しくアニメーション化された風景や抽象画の中にあなたを登場させましょう。「スター・ウォーズ／最後のジェダイ」の世界に飛び込んで、ミレニアム・ファルコンに乗ることもできます。
ざっくりまとめると、顔の3D形状、動き、表情（筋肉の動き）を認識するってこと。暗闇でも使えます。
また、「注意知覚機能」では、ユーザーがiPhoneを見ているのか、見ていないのかを判別することもできます。
これらの機能を使えば、いままでできなかったこともできるようになるはずです。
様々なアプリへの応用
まずは、アプリへの応用を考えてみました。
ゲーム
顔の動きがわかるなら、あっち向いてホイとか、にらめっことか。
アニ文字の逆パターンで、認識した顔が、ゲーム中のキャラクターになって、セリフを喋るとか。
（Face ID用の顔の形状データは保護されているので、ゲーム用に荒めに形状認識するとか？）
顔加工系
イベントで、クレイグ・ フェデリギ氏が、自分の顔にレスラーのようなマスクをつけるデモをやっていました。
すでに、SNOWなど、その手のアプリはありますが、「TrueDepthカメラ」でさらにリアルにできるかも。
アニ文字のようなことを、もっといろいろなキャラクターでできるアプリも出てきそうですね。
3Dスキャナ
顔の形状だけでなく、物の形状の認識できるかもしれません。
だとすれば、3Dスキャナとしても使える可能性も？
まず、3Dスキャナで認識して、その物をARで映し出す、なんてアプリも出てきそう。
顔ジェスチャーによる操作も可能に？
iOSが顔での操作をサポートする可能性もありそう。
首振りや、ウインク、ベロ出しなど、いろいろ顔でできるジェスチャーはありそうです。
iPhone Xでは、コントロールセンターが、右上から下へののスワイプになって、ちょっと出しづらくなったと思うので、例えば、ウインクでコントロールセンターが呼べたら、便利だと思います。
いろいろカスタマイズもできて、右目ウインクは電卓、左目ウインクはライトON/OFFとか、できたらいいなぁ。
Siriが感情を理解する？
「アニ文字」では、顔の筋肉の動きをキャラクターに再現させていますが、その動きを喜怒哀楽の感情に置き換えることも、できそうな気がします。
ならば、その感情をSiriが理解して、受け答えに反映させることもできるかもしれません。
落ち込んでいる人には、優しい言葉をかけたり、怒っている人には、怒りを沈めたり。
また、身だしなみのチェックも、Siriがしてくれるかも。
「髭剃り忘れていますよ」
「鼻毛でてますよ」
とか…。
こちらの記事によると、目線の動きや、まばたきの回数で、眠気を検知するという研究があるそうです。
これもSiriが注意してくれるようになるかもしれませんね。
「目」だけでiPhoneを操作できるようになる!？
「注意知覚機能」では、ユーザーがカメラを見ているのか、カメラの下に表示された通知を読んでいるかさえ、わかってしまうらしいです。（ほんとかなぁ..）
そんなわずかな違いがわかるということは、目の動きまで認識できてしまっているという可能性もあります。（【訂正】どこかで読んだと思ったのですが、出所見つからず。勘違いかも。）
人間の眼球は、真球ではないので、わずかな形状の起伏をとらえ、眼球の動ききさえも「TrueDepthカメラ」が認識できているのだとしたら、もはやタッチ操作も必要なく、目だけでiPhoneを操作できてしまうかもしれません。
アプリは、アイコンを目線で狙って、ダブル瞬きで起動とか!?
使いやすのかどうか、よくわかりませんが、アクセシビリティの機能としては、いいんじゃないでしょうか。
ということで、いろいろ妄想してみました。
これまでは、ほとんどユーザーがiPhoneを見ているだけでしたが、iPhoneが「TrueDepthカメラ」でユーザーを見ることができるようになり、iPhoneとユーザーの関わりが双方向になる気がします。
特にSiriやARには、これからいろいろ進化があるんじゃないでしょうか。
