x-visual: holarchy

　本作は、ディープラーニングによる映像の自動選択を用いて、新たなAudio-Visualを生み出すオンラインインスタレーションです。

　音と映像が共存するオーディオ・ビジュアルやDJ+VJにおける映像表現は、既に存在するクリップを組み合わせたサンプリング手法や、コンピュータでリアルタイムに計算される生成手法、現象や状況そのものの音を利用したものなどがあり、その視覚効果は音楽を拡張し、新たな意味を与えてきました。しかし、これらの方法のいずれにおいても、映像やプログラム自体の選択は、音楽に合わせたアーティストの恣意的な判断が前提となっていました。

　本作は、アーティストの恣意性を排除し、音楽の特徴と、あらかじめアーティストが選択した複数の映像の特徴を同一空間内で比較し、自動的に選択することで、新たな視聴覚作品を生み出すオンライン・インスタレーションです。本作品では、視聴者が選択したYouTube動画の音を数秒ごとに分離し、これらの特徴と、予め同一空間内に用意された無数のショートクリップの映画や動画の特徴とを比較して、最も近い動画を選択します。

　この映像選択法は、これまでアーティストが構築してきた映像と音のマッピング関係をディープラーニングを用いて再構築し、対応関係の可能性を示唆するものでもあります。また、これまで繋がり得なかった異なる映画や映像のシーンが一つのイメージとなって浮かび上がり、鑑賞者はそれらの関係性の中に物語を見出します。さらに、Audio-VisualやDJ+VJの表現が恣意的な判断から解放されることで、アーティストにも新たな視点が与えらることを期待します。

URL

https://ai-visual.github.io/holarchy/

Exhibition

SIGGRAPH ASIA 2020 ART GALLERY(2020.12.4-13)
https://sa2020.siggraph.org/en/attend/art-gallery/session_slot/191/2

Credit

Seiya Aoki / 青木 聖也 (https://scottallen.ws/)
Yusuke Yamada / 山田 佑亮 (https://portfolio.yamad07.world/)
Reo Anzai / 安齋 励應 (https://reoanzai.com/)
Santa Naruse / 成瀬 陽太 (https://s4nt4.graphics/)
Aina Ono / 大野 愛奈