vvvvによるモーショントラッキングを使ったサウンドインタラクティブ作品。
個人的にとても好きな作品です。
はじめ、空間に設置された紐が位置情報取得の役割を担っているのかなと思っていましたが、サイドを見ると動体検知用の装置がありますね。(Xtionか何かでしょうか)
そこで取得された情報を基に可視化し壁に投射し、音もそれに応じて生成されているようです。
続きを読む →

An interactive instrument for generative music visualization done with vvvv.

http://vimeo.com/moogaloop.swf?clip_id=8012159&server=vimeo.com&show_title=1&show_byline=1&show_portrait=0&color=&fullscreen=1

ドイツのメディアアーティスト、Jonas Friedemann Heuer氏の作品。

ピアノから流れでる軌跡が美しい。

海外のメディアで話題になってたので取り上げました。

基本的には岩井俊雄氏の「映像装置としてのピアノ」みたいなアイデア、もしくは古くはAlexandre Scriàbineの色光ピアノ（ピアノで照明操作するパートのある交響曲書いてる）とかが発展したかんじだねー。

以下詳細な解説。

構成はMIDI出力付きの８８鍵のデジタルピアノと、vvvv(Max/MSPみたいにパッチで組める、アルタイム・ビデオプロセッシングができるソフトウェア)が走ってるコンピュータと、ピアノに垂直な角度に投影されたプロジェクタ。

仕組みそのものは極めてシンプルで、ピアノの鍵盤をおすと、それぞれに対応した線が描かれる。
ただ、多くの他の音のリアルタイムヴィジュアライゼーションを行うプロジェクトと違って、軌跡がすべて残っていって、最後にはその演奏に応じたグラフィックが一つになって生成されるのが特徴と言える。

またこのビジュアライズの調整がなかなかうまくて、
線の位置が音程、縦の位置と長さが音の強さ、線の幅が音が鳴っていた時間（音符の長さ）を表している。
加えて、面白いのが、調性によって色を分けていて、色をみるだけで感覚的にその時の和音の雰囲気を感じ取ることが出来る。当然和音（もしくはトーナリティ）から外れた音を鳴らすと、際立った別の色の線が現れる。
無調なサウンド弾いたらたぶんすごくカラフルな状態になるはず。
これらによって、演奏終了後にも、例えば調性の傾向だったり（これは仕組みわかってないと無理だけど）、どの音がよく演奏されてるかだったり、一番強く弾かれた音だったり、がわかるようになっている。

ピアノのスライダ（デジタルピアノだからなんか多分つまみがあるんだと思う）で、2D3Dの切り替えや、３D時の視点なんかも切り替えれる模様。

彼のWEBサイトにはたくさんの演奏後の写真やvvvvのパッチ（角度悪くてよくわからんのだけど）も載っていて面白い
http://www.jonasheuer.de/index.php/clavilux-2000/

と、もう一個彼の作品で気になってるんだけどまた後日。。