「同席しているみたい」──ビデオ会議の相手を3Dモデル化　Googleの「Project starline」　その仕組みは？

Project starlineを使用し、離れた場所にいる2人がコミュニケーションを取っている様子

米Google Researchの研究チームが発表した論文「Project starline: a high-fidelity telepresence system」は、2021年5月の「Google I/O 2021」で発表した対面式テレプレゼンス・システム「Project starline」の技術的仕組みを詳細に書き記したものだ。Project starlineとは、互いの上半身を取得し、3Dモデルとして離れた相手側のディスプレイにリアルタイムに表示し続けるシステムのこと。【画像】プロトタイプの外観　発表当初、遠方にいる相手が目の前に実在するかのような高い臨場感でコミュニケーションが取れるのではと、一部で話題になった。論文内でも「遠隔地に居る人が物理的に同席しているかのように表示する」と表現している。著者も17人おり、Googleの力の入れ具合も高いといえるだろう。　Project starlineの最大の特徴は、VR／AR空間ではなくビデオ会議の延長線上として、平面ディスプレイを採用している点だろう。HMDやヘッドフォンを装着する不快感を排除し、従来の物理的な会議のような自然体で参加できる。椅子は固定されており、目の高さが合うように両者が着席した状態で使用する。自分と相手の目の間の距離は、個人的な空間と社会的な空間の境界線上にある1.25mとしている。　単純にディスプレイに上半身を表示するだけだと、下半身と腕の先がディスプレイの下部で途切れ、画面越しの違和感を与えてしまう。そこで、ディスプレイの手前0.59mの位置に机のような棚（Middle wallと表記している）を設置し、ディスプレイの底面が見えないようにした。この方法で、ディスプレイ感を緩和し奥行き感を増大した。　ハードウェアは、ディスプレイやカメラ、スピーカー、マイク、照明器具、コンピュータ、その他センサーを複数搭載した「ディスプレイユニット」と、赤外線バックライトと人が座るベンチを搭載した「バックライトユニット」の2つの主要なデバイスで構成する。　ディスプレイユニットに整備する主要なセンサー類は以下の通り。ディスプレイの上部には、モノクロトラッキングカメラと赤外線ライト、赤外線プロジェクタ、ステレオカメラ、カラーカメラ。ディスプレイの側面には、モノクロトラッキングカメラとスピーカー。ディスプレイの下部（Middle wall）には、カラーカメラとステレオカメラ、赤外線プロジェクタ、マイクを搭載する。