Spleeter est un programme en ligne de commande permettant de séparer les voix des instruments depuis un fichier mp3.

Informations

Site web officiel : https://github.com/deezer/spleeter .
Version actuelle : 2.4.0 du 2023 07 23.
Licence : MIT.
Plateforme : GNU Linux, MacOS X, Windows.
Développeur(s) : Deezer.

Description

Spleeter est un programme en ligne de commande, à code source ouvert, et gratuit, développé par Deezer. Il utilise une IA qui permet de séparer les voix de l'instrumentation d'un fichier mp3.
Il utilise le micro-processeur (CPU) pour le traitement du fichier. Il peut également utiliser votre carte graphique (GPU) pour effectuer cette tâche encore plus rapidement.
Il est écrit en Python ce qui le rend portable.

Utilisation

Le programme spleeter fourni 3 commandes :

• separate : sépare les fichiers audio depuis un modèle pré-défini.
• train : former un modèle de séparation de source. Vous avez besoin d'un ensemble de données de pistes séparées pour l'utiliser.
• evaluate : évaluation du modèle pré-défini sur l'ensemble de test musDB .

Séparer les sources
Pour connaître l'aide liée à cette commande :

$spleeter separate -h

Si vous utilisez la version GPU et voulez spécifier la carte graphique, il faut appliquer la variable d'environnement suivante : CUDA_VISIBLE_DEVICES

• Le modèle 2stems

Vous pouvez carrément séparer les fichiers audio par défaut par le modèle prédéfini 2stems (voix/accompagnement) :

$spleeter separate -i file.mp3 -o audio_output

L'option -i indique la liste des fichiers audio à séparer. L'option -o indique le répertoire où seront stockés les fichiers wav issus de l'opération. La première exécution du programme peut prendre un peu de temps jusqu'à ce qu'il ait téléchargé le modèle pré-défini.
Si tout se passe bien, le répertoire dans l'exemple audio_output sera créé et contiendra deux fichiers : accompaniment.wav et vocals.wav.

• Le modèle 4stems

Vous pouvez également utiliser le modèle 4stems (voix, batterie, basse, autre)

$spleeter separate -i audio_example.mp3 -o audio_output -p spleeter:4stems

L'option -p permet de choisir un modèle prédéfini ou vers un fichier JSON comme celui-ci .
Cette fois ci vous obtenez les fichiers suivants : vocals.wav, drums.wav, bass.wav et other.wav.

• Le modèle 5stems

Ici vous obtiendrez le fichier piano en plus: vocals.wav, drums.wav, bass.wav, piano.wav et other.wav.

$spleeter separate -i audio_example.mp3 -o audio_output -p spleeter:5stems

• Utilisation des modèles jusqu'à 16kHz

Les modèles précédents (spleeter:2stems, spleeter:4stems et spleeter:5stems) accomplissent une séparation jusqu'à 11kHz. Il existe cependant des versions 16Khz de ces mêmes modèles (spleeter:2stems-16kHz, spleeter:4stems-16kHz et spleeter:5stems-16kHz). Ils s'utilisent de la même façon :

$spleeter separate -i audio_example.mp3 -o audio_output -p spleeter:4stems-16kHz

Quelques conseils pratiques
Spleeter va commencer à chercher le répertoire pretrained_models, et s'il ne contient pas le modèle spécifié dans la commande spleeter, il va le chercher sur le web, ce qui peut être long. Pour éviter cela, commencer par copier votre fichier musical à spleeter dans votre répertoire de travail de spleeter (toujours le même). Si vous lancez plusieurs spleeter à la suite sur plusieurs fichiers, pas de soucis, les fichiers audio extraits seront bien rangés dans des sous répertoires de audio_output (1 répertoire par fichier audio initial). Vous évitez ainsi de recharger à chaque fois le modèle pré-entraîné.
spleeter est assez gourmand en ressources (CPU et RAM). Pensez à fermer les applications grosses consommatrices de ressources avant de lancer spleeter, il n'en sera que plus rapide.

À COMPLÉTER: train et evaluate

Installation

avec ma distribution :

• présent sur Archlinux : dépôt utilisateur Archlinux (AUR) .

compilation "à la main" :

• Sources : https://github.com/deezer/spleeter .

Installation avec Pip (méthode recommandée)
Il est possible d'utiliser le gestionnaire de paquet pip pour installer Spleeter. Spleeter requiert comme dépendances ffmpeg et libsndfile (nécessaire pour l'évaluation) qui devront être installés en premier.
Enfin, l'installation depuis le dépôt PyPi  :

$pip install spleeter

Lors de la première utilisation de pip, il faut suivre les instructions qu'il donne afin de créer un environnement virtuel. Afin de ne pas faire de collision avec les fichiers du système, il est vraiment recommandé d'utiliser pip avec un compte utilisateur normal, c'est-à-dire non-root.

Note : avec les GPU Nvidia, CUDA doit être installé; le développeur recommande d'utiliser les images Docker fournies avec Spleeter. Docker doit être installé pour ça.

Liens et commentaires

Le wiki original de spleeter