Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading

Yuga Kobayashi, Ryo Nishikado

概要 / Abstract

日本のダンスミュージック文化が衰退しつつあるのは何故なのか、あなたはクラブに赴いて音楽を聞きたいと考えるだろうか。我々は小林のDJ活動の考察からクラブなどにおける「観客主体性の不足」がその1つの原因と捉え、DJのみが選曲するのではなく観客も選曲に参加できる環境づくりを模索している。本プロジェクトは「観客による選曲」の1つの例として、空間内の人の分布を”PoseNet”と呼ばれるPCを持っていれば誰もが扱うことができる骨格認識の機械学習モデルを応用して人数認識を行い、そのデータによってDJミックスが変化し、人間の動きに合わせて曲にアクションを起こすことが可能なDJミキサーを実装した。（システムは下部にて説明。）

“Multi-Motion-Crossfader” is a prototype of a DJ mixer that reflects the movements of the audience on the dancefloor. The AI-based mixer automatically moves the crossfader to the side, which has a larger number of people so that the audience can influence the mix. 
We started this project to stimulate the audience interactions with DJs, and we are planning to put this into the real club settings. For that, we are using “PoseNet” machine learning model that can be used to estimate the pose of a person which anyone who has laptops can use it.

システム構成 / System

1. PoseNetによる人数認識（例） / Human count using PoseNet (ex.)

2. DJミックスに反映 / Influence the DJ Mix