水滴が作り出す多層2.5次元ディスプレイ
今年もSIGGRAPHの開催時期となった。この先、いくつか紹介したいと思うが、まず一番目は水滴をボクセル(voxel)として利用した多層2.5次元ディスプレイについてとりあげたい*1。例によって本エントリで用いる図表は論文からの引用である。
 |  |
| (a)動画 | (b)テキスト |
 |  |
| (c)ゲーム | (d)画像 |
| 図1：水滴により構成された各レイヤに静的/動的コンテンツを独立して描画できる2.5次元多層ディスプレイ | |
| 【告知】[twitter:@LunarModule7]でつぶやいています。 興味のあるかたはフォローください。 |
水滴は投射された光の大半を反射し、素晴らしい広視野角のレンズとなることができる。研究グループは、厳密に制御された多支管バルブ機構により生成された水滴の一滴一滴の位置をカメラでリアルタイムにトラッキングし、プロジェクタで一滴一滴に色を投影することで、動画やゲームなど様々なビジュアルコンテンツを描写できる水滴ディスプレイを開発した。開発されたプロトタイプシステムは、50孔の多支管から60Hzで生成された水滴からなるレイヤが4つ連なった多層ディスプレイである。このディスプレイの有効解像度は50×プロジェクタの垂直解像度×レイヤ数となる。
ミストにより構成されたウォータースクリーンに高解像度の映像を投影する技術は、アミューズメントパークなどのエンタテインメント分野で頻繁に利用されている。それらのシステムでは、ミストはトラッキングされないので、多層化は難しくそれぞれのスクリーンに別のプロジェクタを用意する必要がある。また、たとえばディズニーのWorld of Colorでは、投射するミスト/水流の制御を行い、インタラクティブで大規模な効果を演出しているが、特定の演出に特化して設計された大がかりな舞台装置を必要とする。
魅力的でカラフルな水滴ディスプレイを作るためには、水滴の位置か、投射する光の少なくとも一方を制御する必要がある。いくつかの先行研究*2ではそれらを組み合わせて利用ししており、制御されていない水滴の位置をリアルタイムにトラッキングし、個々の水滴にプロジェクタから光を投影するシステムが提案されている。しかし、システムの処理時間から一度に検出可能な水滴は数個に限られている。アイデアとしてはミスト一滴一滴をレーザーで測定し、リアルタイムに3D画像を投影するコンセプトも発表されてはいるが*3、それが本当に可能か、どうやって実装するのかは不明だ。
リアルタイムに水滴をトラッキングする代わりに、水滴の生成制御を精密に行い、同期したプロジェクションを行うことで、3Dディスプレイを生成する研究*4 *5もあるが、16x16x8の低解像度のイメージが7.5Hzで描画できるに過ぎない。
一方本研究では、同期制御された多支管バルブ機構-カメラ-プロジェクタシステムにより、各水滴の位置を精密に制御、トラッキングし、リアルタイムに光を乗せることで、高解像度の多層ディスプレイを実現している。利用するのは水滴なので直接手で触れることができ、まったく新たなインタラクティブシステムの可能性を開くものだ。今現在は複数のレイヤからなる2.5次元ディスプレイだが、レイヤ数を増やせれば高解像度3Dディスプレイに拡張することも可能だろう。
システム概要
図2：システム概観
図2は本システムの動きを示している。左側はプロジェクタとカメラと水滴を生成する多支管(manifolods)の配置を示した側面図と上面図である。右側はカメラの少し後方から撮影した実システムの写真である。多支管により生成された水滴はSONY VPL-HS51A 3LCDプロジェクタにより照らされる。それぞれの多支管は直線に配置された50の噴出孔を有し、ソレノイドバルブによって精密制御される。バルブは最大60Hzで開閉されるので、各レイヤごとに1秒あたり3,000滴の水滴を生成することができる。水滴は裸眼には一見連なって見えるが、プロジェクタの視点から見れば他の水滴の影に隠れてしまう水滴はない。
N個の多支管をSHzで動作させたとき、生成される水滴全てに一台のプロジェクタで色を投影する為に必要なプロジェクタのリフレッシュレートPは最低でもSN以上となる。たとえば60Hzのプロジェクタならば、1秒あたり5層のレイヤの12個の水滴、2層レイヤの30個の水滴に着色することができる（より厳密な計算はAppendix.Aにある）。
図3：フローチャート
あらゆるタイミングで水滴の位置を決定し、各水滴に適切な光を照射するためには、精密な設計、同期、制御が必要となる。図3に示すフローチャートでは、本システムの各コンポーネント間をやり取りされるタイミング信号とデータの流れを示している。まずグラフィックカードがVsyncタイミングパルスをプロジェクタとパルスジェネレータに送る。同時にプロジェクタはイメージの表示を始め、パルスジェネレータはバルブコントローラに最初の多支管から水滴を生成し始めるように信号を送ることができる。プロジェクタ、カメラ、バルブは全て同期しているので、プロジェクタのリフレッシュサイクル全体において水滴の存在しうる位置はP/Sパタンに限定される。そのため、カメラによりそのP/Sパタンの画像を取得し、プロジェクタの基準フレームに適合させると、それぞれの瞬間でプロジェクタのどのピクセルが、どの水滴に対応するかが分かる。これらの位置は正確に分かるので、プロジェクタでそれらに光を照射することは容易い。
水滴の精密な生成
水滴が大きすぎれば複数の小さな水滴に分裂してしまうし、水滴が小さすぎるとノズルに付着したり、水滴同士がくっついたりしてしまう。本システムでは扱いの容易さと水滴の安定性のバランスを考慮して、およそ直径2mmの水滴を採用している。
図4：多支管
図4は水滴を生成する多支管の構造を示している。多支管には高圧の純水が充填されており、単一のソレノイドバルブによって制御される。Type304ステンレス製多支管の各孔の内径は1.27mmとなっており、制御された整った水滴を高速に生成することが可能だ。図5の2枚の写真は1/30秒離れた4ミリ秒露出写真である。図4の多支管は30Hzで動作していたので、上下の水滴の間は1/30秒だけ空いていることになる。水滴は完璧な水平線を描いてはいないが、それぞれのラインはほぼ一致している。
図5：多支管から生成された水滴の様子（2つの写真の時間間隔は1/30秒）
多支管の各孔にかかる水圧の差を最小化するためには、パイプの直径をなるべく大きくし、各孔の間の距離をなるべく小さくすることが有効である。そこで本システムではパイプの直径を19mm、孔間距離を2.5mmとしている。ソレノイドバルブはミリ秒単位の精度で開閉制御され、均一な水滴生成を実現している。
プロジェクタ照射の時空間分割
ユーザが水滴ディスプレイの各レイヤに「描画」すべきソースを指定すると、システムは自動的にプロジェクタ制御を行うので、それ以上のユーザ入力は必要ない。ここではまず、カメラの視線とプロジェクタの視線の対応関係が計算される。次に、瞬間瞬間に各レイヤにおいて水滴がどの位置にあるのかカメラが認識を行う。最後に検出された画像位置に基づき、プロジェクタは全てのレイヤに画像を表示するようにリアルタイムに制御される。
図6：水滴ディスプレイの処理手順
バルブ、綿密に位置あわせされたカメラとプロジェクタは同期されているので、ディスプレイは図6に示すように生成される。たとえば、ここで単一の多支管が30Hzで水滴を生成し、60Hzで動作するプロジェクタが水滴に投影する場合を考える。水滴の状態は1/30秒ごとに繰り返され、その間に2枚のイメージが投影される。60Hzで動作するカメラが投影すべき対象の水滴の位置を特定する（Camera masks）。その位置はプロジェクタの座標系に変換され（Projector masks）、投射イメージ（Projector images）を作成する為に利用される。投射イメージはプロジェクタの座標系にあわせて変換され、マスクされる。投射イメージはリアルタイムに生成されるため、ユーザは画像を変えることができるし、各レイヤをインタラクティブタッチスクリーンとして利用することさえできる。
動作デモ
実際の動作の様子は次のビデオを見てもらうのが早いだろう。プロトタイプは4層のレイヤから構成され、各レイヤは50の水滴列から構成されている。プロジェクタの解像度は1024x768である。実際には水滴の間には空隙があるが、人間の眼には幾分かのフリッカがあるものの隙間がないように見える。多支管は60Hzで水滴を生成することができるものの、知覚されるフリッカは15Hzより上で小さくなることが分かった。
最初に登場する2層に「DROP DISPLAY」「SIGGRAPH 2010」とテキスト描画した例（図1(b)）では明るい環境下においても文字が問題なく視認できるほど十分明るいことが分かるだろう。赤-緑-青の3つのレイヤを10Hzで描画したRed-Green-Blue（図1(d)）では、角度によってディスプレイがどう見えるかを示している。正面からが最も明るくなるが、かなり側面に回り込んでも視認可能であることが分かる。
水槽を描写したAquarium simulatorではリアルタイムに生成した3Dポリゴンの魚や海藻の様子を示している。また最後には3層からなる2.5Dテトリスの様子を示している（図1(c)）。この2.5Dテトリスでは一度に1つのブロックしか落ちてこないが、プレイヤは3つの層を交互に行き来してブロックを落とす場所を決めることができる（腕が未熟なのか、そもそも無理なのかゲームにはなっていない）。
プロジェクタの周波数を上げればレイヤの数はもっと増やすことができるだろう。しかし、真の3Dディスプレイを作るためにはより精密な水滴制御が必要となる。そのための有望な技術候補はいくつか上げることができるが、環境中に散布する制御された水滴の数を一気に増やすことができれば、高密度3Dディスプレイ、もしかすると、没入型の水滴ディスプレイが実現するかも知れない。
*1:P. C. Barnum, S. G. Narasimhan, and T. Kanade: "A Multi-Layered Display with Water Drops", In SIGGRAPH 2010.
*2:BARNUM, P. C., NARASIMHAN, S. G., AND KANADE, T. 2009. A projector-camera system for creating a display with water drops. In IEEE International Workshop on Projector-Camera Systems.
*3:PERLIN, K., AND HAN, J. Y. 2006. US Patent 6,997,558: Volu-metric display with dust as the participating medium.
*4:EITOKU, S., TANIKAWA, T., AND SUZUKI, Y. 2006. Display composed of water drops for ?lling space with materialized vir-tual three-dimensional objects. In IEEE conference on Virtual Reality.
*5:EITOKU, S., NISHIMURA, K., TANIKAWA, T., AND HIROSE, M. 2009. Study on design of controllable particle display using wa-ter drops suitable for light environment. In ACM Symposium on Virtual Reality Software and Technology.
