「目」でiPhoneが操作可能に!?「TrueDepthカメラ」の可能性を考えてみた。

iPhone Xに搭載される先進的なフロントカメラ「TrueDepthカメラ」。

カメラやセンサーを駆使して、Face IDやアニ文字をなど、iPhone Xの主要な新機能に深く関わっている「TrueDepthカメラ」ですが、まだまだ大きな可能性を秘めている気がします。

ということで、「TrueDepthカメラ」の可能性について考えてみました。

できることを整理

今後の可能性について考える前に、現状わかっているできることをおさらい。

Face ID

顔認証機能。

3 万以上の目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。

アニ文字

50以上の異なる筋肉の動きを解析し、あなたの表情を12種類あるアニ文字のいずれかに反映させます。

注意知覚機能

iPhone を見ていないときはディスプレイを暗くしたり、デバイスを見ているときは通知音を小さくしたりしてくれます。ほかにも、Safari を使っている場合は、デバイスを見ているかどうかが検知され、見ていなければ画面がオフになります。

ポートレートライティング

高度なアルゴリズムを使って、あなたの顔の特徴と光の相互作用を計算します。そして、そのデータを使って目を奪うような照明エフェクトを作り出します。

ビデオエフェクトアプリ「Clips」のセルフィーシーン機能

iPhone Xの「セルフィーシーン」が、Clipsをますます楽しいものにします。TrueDepthカメラを使って、美しくアニメーション化された風景や抽象画の中にあなたを登場させましょう。「スター・ウォーズ／最後のジェダイ」の世界に飛び込んで、ミレニアム・ファルコンに乗ることもできます。

ざっくりまとめると、顔の3D形状、動き、表情（筋肉の動き）を認識するってこと。暗闇でも使えます。
また、「注意知覚機能」では、ユーザーがiPhoneを見ているのか、見ていないのかを判別することもできます。

これらの機能を使えば、いままでできなかったこともできるようになるはずです。

様々なアプリへの応用

まずは、アプリへの応用を考えてみました。

ゲーム

顔の動きがわかるなら、あっち向いてホイとか、にらめっことか。

アニ文字の逆パターンで、認識した顔が、ゲーム中のキャラクターになって、セリフを喋るとか。
（Face ID用の顔の形状データは保護されているので、ゲーム用に荒めに形状認識するとか？）

顔加工系

イベントで、クレイグ・フェデリギ氏が、自分の顔にレスラーのようなマスクをつけるデモをやっていました。
すでに、SNOWなど、その手のアプリはありますが、「TrueDepthカメラ」でさらにリアルにできるかも。

アニ文字のようなことを、もっといろいろなキャラクターでできるアプリも出てきそうですね。

3Dスキャナ

顔の形状だけでなく、物の形状の認識できるかもしれません。
だとすれば、3Dスキャナとしても使える可能性も？

まず、3Dスキャナで認識して、その物をARで映し出す、なんてアプリも出てきそう。

顔ジェスチャーによる操作も可能に？

iOSが顔での操作をサポートする可能性もありそう。
首振りや、ウインク、ベロ出しなど、いろいろ顔でできるジェスチャーはありそうです。

iPhone Xでは、コントロールセンターが、右上から下へののスワイプになって、ちょっと出しづらくなったと思うので、例えば、ウインクでコントロールセンターが呼べたら、便利だと思います。

いろいろカスタマイズもできて、右目ウインクは電卓、左目ウインクはライトON/OFFとか、できたらいいなぁ。

Siriが感情を理解する？

「アニ文字」では、顔の筋肉の動きをキャラクターに再現させていますが、その動きを喜怒哀楽の感情に置き換えることも、できそうな気がします。

ならば、その感情をSiriが理解して、受け答えに反映させることもできるかもしれません。
落ち込んでいる人には、優しい言葉をかけたり、怒っている人には、怒りを沈めたり。

また、身だしなみのチェックも、Siriがしてくれるかも。
「髭剃り忘れていますよ」
「鼻毛でてますよ」
とか…。

こちらの記事によると、目線の動きや、まばたきの回数で、眠気を検知するという研究があるそうです。
これもSiriが注意してくれるようになるかもしれませんね。