同じオーケストラ、同じ曲でも、指揮者が違えばまったく違う音楽になる。当たり前のようで不思議、不思議なようで当たり前なこの事実。いったい、オーケストラが奏でる音楽と指揮者の動きはどのように結びついているのだろうか。
そんな疑問を解明する試みを、ニューヨーク・タイムズとニューヨーク大学行動研究所（Movement Lab）が共同で行っている。その成果のひとつが、"Connecting Music and Gesture"だ。調査チームは、ニューヨーク・フィルの音楽監督アラン・ギルバートの動きを、ハイ・スピード・モーションキャプチャー・カメラで撮影し、その動きをCGで再現すると言うものだ。
スタラヴィンスキーの「兵士の物語」を指揮するギルバートの体の動きが、モーション・トラッキングを通じて、CGフィギュアに再構成される。特に指先の動きは軌跡として描かれ、その繊細で優雅な動きが可視化されている。映像には、ギルバートの語りが挿入され、指揮者の意図とその動き、そして、奏でられる音楽を重ね合わせて把握できる。３分過ぎからのギルバートの動きにオーケストラ各パートの音量が可視化・合成された映像では、音楽とシンクロした視覚情報によって、音のディテールがより鮮明につたわってくる気がする。
聴覚だけの情報に新しい視覚情報を加えることで生まれる複合的な体感は、それぞれ個々の持つ情報の単純な足し算ではなく、脳の中で文字通り何らかの「化学反応」を起こしてくれる。視覚情報の持つ価値にはまだ私たちが知り得ないものがあるのだろう。"Connecting Music and Gesture"は、そんなことを感じさせてくれるコンテンツだと思う。
