Démo Séparation de sources: Focaliser l'ordinateur sur votre voix pour éliminer les bruits ambiants, est-ce possible et comment ?

Problématique

Retrouver parmi un mélange de sources sonores les signaux correspondants à chaque source.

Descriptif général

Lorsque des sons parviennent mélangés à nos oreilles, on est capable de distinguer les différentes sources sonores qui constituent l'environnement acoustique (par exemple, une personne qui parle sur un fond musical). Reproduire cette capacité de manière automatique nécessite de mettre en oeuvre des techniques de séparation de source pour isoler les différents composants d'un mélange sonore.

Cette démonstration introduit les notions de séparation aveugle de sources dans un mélange sonore. On est dans le cas des mélanges sous-déterminés, c'est-à-dire qu'il y a plus d'instruments (sources sonores) que de micros (capteurs). Les différentes étapes de la démonstration illustrent de manière interactive les points clefs de la séparation de source: réalisation d'un mixage, estimation des directions des sources dans un mélange stéréophonique et séparation par projection des sources dans le plan temps-fréquence.

Principe

De manière intuitive, on cherche les moments où les sources ne jouent pas en même temps. Comme cela n'arrive que très rarement dans le
domaine temporel, on utilise d'autres informations, spatiale ou fréquentielle obtenues par l'utilisation de transformées mathématiques. Dans le cas de morceaux de musique stéréophoniques, on utilise le fait que chaque source est positionnée dans une direction fixe au moment du mixage.
Dans le cas de morceaux de musique monophoniques, on utilise des caractéristiques fréquentielles statistiques de chaque source pour séparer à chaque instant un mélange de 2 sources.

Etapes

1. Enregistrement de la voix de l'utilisateur (5 secondes)
2. Réalisation d'un mixage audio de plusieurs sources sonores dont la voix précédemment enregistrée (balance, volume)
3. Décomposition temps-fréquence du mélange
   1. Cas des mélanges stéréophoniques
      • Diagramme de directivité et recherche des sources présentes par direction
      • Séparation des sources par projection des points temps fréquence sur chaque direction trouvée
      • Choix de la source la plus vraisemblable pour une direction
   2. Cas des mélanges monophoniques
      • Comparaison à des modèles statistiques de sources sonores
      • Estimation du mélange comme la combinaison la plus vraisemblable de 2 instruments par rapport au modèles statistiques
4. Reconstruction des estimations des sources séparées
5. Ecoute des résultats
   

Outils

• Représentation temps-fréquence
• Diagramme de directivité
• Clustering
• Projection
• Modèles statistiques, vraisemblance

Note

Une personne volontaire est invitée à manipuler la démonstration mais les explications des démonstrations peuvent se faire en groupe.