3Dカメラの標準化を実現するGoogleの「Project Tango」

Google Project Tango主任のジョニー・リー氏、手に持っているのがProject Tangoのリファレンスタブレット

　Googleの先進的技術の開発を行っているATAP（Advanced Technology and Projects）事業部の研究として行われきた「Project Tango」は、深度センサーとモーションセンサーを備える3Dカメラを利用したさまざまなアプリケーションを開発するというプロジェクトで、将来的にはその成果をAndroid OSなどGoogleのソフトウェアに実装することを目指している。

　現在は、そのリファレンスデザインとなるタブレットを開発者向けに販売しており、3Dカメラを活用したソフトウェアの開発を促している。3月16日～3月20日に米国カリフォルニア州サンノゼで行われたGTCでは、GoogleによるProject Tangoを説明するセッションが行われた。

　なぜ、NVIDIAのイベントであるGTCでGoogleのProject Tangoに関するセッションが行われたのかと言えば、実はProject Tangoの開発キットとして販売されているタブレットは、NVIDIAのTegra K1をSoC（System on a Chip）として採用しており、その開発の一部としてNVIDIAが推進しているGPUを利用したプログラミング手法のCUDAが利用されているためだ。

デジタルデバイスが“目”を持つことがProject Tangoの主目的

　GoogleのATAP事業部の手掛けるものとのしては、今回紹介するProject Tango以外にも、モジュール型のスマートフォンの開発を行っている「Project Ara」などが知られている。Project Tangoも長年、そうしたATAPの元で研究・開発が行われてきたが、今はATAPから独立して、実際のビジネスとして走り始めている。

　Google Project Tango主任のジョニー・リー氏は「Project Tangoの主目的は、デバイスに目を持たせることだ」とその目的を説明する。すでにほとんどのタブレット、スマートフォンはカメラを内蔵しているが、現在用意されているカメラは2Dのカメラで、静止画ないしは動画撮影を目的としたものだ。このため、動く物体を認識したり、物体との距離を計測したりといった用途には利用できない。

　しかし、今後、デバイスがまわりの状況を確認して、そのデータを活かして何かをする場合には、現在の2Dカメラでは十分ではない。例えば、自動車の自動運転を考えてみよう。自動車が自動運転をする場合、頭脳に相当するCPUが、自動車のまわりの状況を認識し、状況に応じてハンドルやブレーキを操作する必要がある。CPUが状況を認識するには、自車のまわりのクルマや歩行者までの距離を数値化する必要がある。それらを実現するのが、モーションセンサーと深度センサーで、それぞれ周囲の物体の動きや距離などを数値化することが可能になる。

　Project Tangoでは、そうしたモーションセンサーと深度センサーを備える3Dカメラを搭載したAndroidタブレットを、リファレンスタブレットとして開発者向けに販売をしている。スペックはSoCがNVIDIAのTegra K1、4GBメモリ、128GBのストレージ、7型ディスプレイ、Wi-Fi/BT/LTEモデムとなっており、ハイエンドなスペックのタブレットになっている。特徴的なのは、背面に用意されている3Dカメラで、400万画素のRGB-IRカメラ、モーショントラッキングカメラ、深度センサーの3つが搭載されており、これを利用してモーショントラッキング、エリアラーニング、深度認識という3つの機能をアプリケーションが利用することができるようになっている。

リファレンスデザインのタブレットに用意されている3つのセンサー、左から400万画素のRGB-IRカメラ、モーショントラッキングカメラ、深度センサー

Project Tangoの3つの主要な機能。モーショントラッキング、エリアラーニング、深度検出

応用例の1つとなる、周辺情報の3Dモデリング化

モーショントラッキングや深度センサーを利用してリアルタイム3Dモデリングデモ

モーションセンサーの利用例では、移動した距離などを測ることができる

　リー氏は、Project Tangoのリファレンスタブレットを利用した応用例をいくつか紹介した。モーショントラッキングを利用したデモでは、タブレットを持って動き回ると、自分の位置が高さ情報を含めてデータとして記録され、3Dモデリングキャプチャの機能では、会場の様子を3Dモデリングデータとしてリアルタイムに取り込まれていく。特に3Dモデリングの機能は印象的で、将来的にはそれを自動車のADASに利用するなど、さまざまな応用が考えられるだろう。

Google Project Tango ソフトウェアプラットフォーム主任 ジェームス・フォン氏

　Google Project Tango ソフトウェアプラットフォーム主任 ジェームス・フォン氏は、Project Tangoのソフトウェア開発環境について説明。フォン氏によれば、Project Tangoでは、SoCに内蔵されているGPUをモーショントラッキングと深度計算のアクセラレータとして利用しており、リアルタイムにそれらのデータを演算している。、さらにAndroid OS上で、リアルタイムにデータを処理するためにどのように工夫しているかなどについて説明した。フォン氏は、CUDAを利用した演算ではモーションデータと深度データをまとめて処理していることなどを説明した。

　Project Tangoは現時点では開発プロジェクトだが、将来バージョンのAndroidに標準で搭載される可能性は十分にある。そうなればAndroidスマートフォンやタブレット、Android OSベースのIVIなどで利用できる可能性があるだけに今後とも注目していきたいプロジェクトだ。

会場の状況を3Dモデリング化するデモ。実際にこのデータがリアルタイムで作成されていった

モーションセンサーを利用したゲーム

Project TangoのAPIの仕組み

GPUはモーショントラッキング、深度情報の処理などに利用されている