KinectやHMDなどを組み合わせて初音ミク バーチャルリアリティを実現

Nao_uの日記 - Kinectとヘッドマウントディスプレイでバーチャルリアリティ
Xbox360用周辺機器「Kinect」で人間の関節をキャプチャーして、それを3Dモデルである画面上の初音ミクに反映。
更に地磁気センサー付きのHMD(眼鏡型のディスプレイ)で頭の向きを検知して、画面の方向も頭を動かすだけで方向を変えられるようにしたデモ。

物理計算エンジンも導入しており、ちゃんとボールを蹴ったりヘディングしたり、他のモデルにももちろん干渉できたりする。

まさにこの状態である。