Разделить вокал и музыку нейросетью

Нейросеть умеет разобрать готовый микс на дорожки — голос отдельно, инструменты отдельно. Разбираем, зачем это нужно, какое качество получается на самом деле и почему идеального разделения не бывает.

Разделение микса на дорожки — одна из немногих задач, где нейросети реально обогнали классические алгоритмы. Раньше «убрать голос» означало вычитание каналов с кашей на выходе; сейчас модель распознаёт инструменты и разбирает трек осмысленно. Но у технологии есть жёсткий потолок, и о нём стоит знать заранее.

Что такое стемы и зачем они

Стемы — отдельные дорожки трека. Обычно сепаратор выдаёт четыре: вокал, барабаны, бас и всё остальное. Иногда больше — с отдельным пианино или гитарой.

Зачем это нужно на практике:

• Минус для репетиции — убрали вокал, поёте сами;
• Вокал а капелла — для ремикса или разбора чужой подачи;
• Переделать сведение — вытянуть голос вперёд, убрать перегруженный бас;
• Учиться — послушать по отдельности, как сделан трек, который нравится;
• Заменить часть — оставить инструментал, записать поверх свой вокал.

Какое качество получается на самом деле

Честно: идеального разделения не существует. В готовом миксе звуки наложены друг на друга физически — одна и та же частота может принадлежать и голосу, и гитаре. Модель восстанавливает дорожки по вероятности, а не извлекает их.

Что слышно в результате:

• призрак вокала в припеве, где голосов несколько;
• «подводный» звук тарелок — высокие частоты страдают первыми;
• дыры там, где голос перекрывал инструменты;
• остатки эха и подпевок — их сепаратор часто не считает вокалом.

Что улучшает результат: исходник максимального качества (не 128 kbps из мессенджера) и разреженная аранжировка. Плотная стена звука разделяется хуже.

Улучшение качества звука

Смежный запрос: «улучшить качество песни нейросетью». Тут важно понимать границу между реальным и невозможным.

Что ИИ действительно умеет:

• выровнять громкость и тональный баланс — это ИИ-мастеринг;
• убрать шум, гул и фон записи;
• снять часть артефактов сильного сжатия;
• подтянуть разборчивость голоса.

Чего не умеет: вернуть то, чего в записи нет. Если вокал записан на телефон в гулкой комнате, «улучшайзер» сделает его громче и чище, но воздух и детали не появятся — их не было. Мастеринг вообще не про это: что он делает на самом деле, разбираем в статье «Что такое мастеринг».

Что законно, а что нет

Разобрать чужую песню, чтобы разучить партию или спеть под минус на празднике, — обычное бытовое использование. А вот выпустить релиз на вытащенном инструментале или залить ремикс на площадки нельзя: права на исходник у автора, и технология разделения их не передаёт.

Для релиза нужен свой инструментал — либо сгенерированный, либо от битмейкера с лицензией. Разбор вариантов — в статье «Минус нейросетью», а про права на ИИ-музыку в целом — здесь.

Практический вывод

Сепарация — отличный учебный и репетиционный инструмент и плохая основа для релиза. Если нужен чистый инструментал под собственную песню, генерация с нуля выигрывает по всем пунктам: звук без артефактов, нужный темп и жанр, и никаких вопросов к правам.

Частые вопросы