Virtual Drums .com
Une batterie virtuelle... bien réelle !

Technologie

Découvrez les étapes de l'algorithme de Virtual Drums !

Comment, à partir des mouvements filmés de 2 baguettes, arrive t'on à reproduire des sons réalistes qui dépendent de la position en 3 dimensions des baguettes, et de la vitesse des mouvements ? Tout cela sans être influencé par les couleurs des vetements, des posters derrière le joueur, etc. ? Découvrez la prouesse technique en 7 étapes :

Etape 1

Acquisition vidéo des 2 caméras simultanément, à la fréquence de 30Hz. A cette étape, les données d'images sont conséquentes : 640 * 480 * 3 octets * 2 caméra * 30Hz = 55Mo / s transférés sur le bus firewire puis analysés !

Etape 2

Réglage des paramètres d'acquisition des caméras : gain, saturation, balances, temps d'exposition du capteur CCD, etc. L'image obtenue est alors plus simple à analyser.

Etape 3

Des algorithmes de traitement des couleurs et de détection de formes sont mis en oeuvre. A ce stade, il faut parvenir à ignorer les bruits parasites et ne conserver que les informations pertinentes : les positions en 2 dimensions des baguettes sur l'écran.

Etape 4

Connaissant les positions en 3 dimensions des 2 caméras dans le repère absolu, il est possible de déterminer via à un simple calcul de triangulation, la position 3D des baguettes détectées précédement. Les déformations géométriques des lentilles des caméras sont gérées : la distorsion est supprimée.

Etape 5

Une fois les baguettes détectées, nous procédons au calcul de leur vitesse ainsi que d'autres informations intéressantes (fréquence d'apparition, durée de vie de l'objet, ressemblance au modèle théorique, etc.)

Etape 6

Via un algorithme d'analyse de mouvements et de positionnement, nous déterminons si la baguette est en collision avec un des tambours virtuels. Le calcul de la spatialisation du son 3D est alors effectué, permettant un rendu fidèle et réaliste de l'environnement sonore.

Etape 7

L'interface 3D affiche en temps réel la position des baguettes et des éléments de la batterie. Les tambours sont activés dans l'interface 3D en cas de collision. Le plaisir de jeu est maximum !

Plus d'informations

Vous pouvez consulter le PDF de présentation du projet Virtual Drums pour le festival Shaastra à l'IIT à Chennai, en Inde. Télécharger le PDF de présentation technique en anglais.

Découvrez Frozen Cameleon, le logiciel de calibration couleur conçu spécialement pour l'application virtual drums.

Questions en relation

- Quel type de caméra sont utilisées ?
- Quel type de logiciel d'acquisition ?
- Dans quel langage de programmation Virtual Drums a t'il été développé ?
- Quelles parties avez vous développées vous même ?