Мелодия нейросетью

Мелодия - это то, что человек напевает, когда песня уже забылась. Генераторы отдают трек целиком, а не мотив отдельно, поэтому вытаскивать мелодию приходится приёмами. Разбираем, какими.

С мелодией у нейросетей странная ситуация. Сочинять они её умеют - почти в каждом сгенерированном треке есть мотив, и часто неплохой. Но отдать мелодию отдельно, как напев или как ноты, генератор не умеет: он мыслит готовым треком.

Поэтому запрос «сгенерировать мелодию» решается не одной кнопкой, а парой обходных приёмов. Их три, и они закрывают разные задачи.

Сначала - про что вообще речь

Слова путают чаще, чем кажется, а от этого зависит, что просить у модели:

Дальше речь именно про второе: как получить мотив, который зацепит.

Способ 1. Инструментал с одним солистом

Самый рабочий приём. Вы просите не «мелодию», а инструментал, где мелодию ведёт один инструмент, а всё остальное сведено к минимуму. Тогда мотив слышно отдельно, и его можно напеть.

инструментал, 90 BPM, минорный лад,
мелодию ведёт одна электрогитара с чистым звуком,
под ней только бас и мягкие барабаны,
без синтезаторов и подкладок, много воздуха,
задумчивое настроение, без вокала

Ключевые слова здесь - «ведёт одна», «только», «без». Если их не написать, модель по привычке навалит слоёв, и мотив утонет.

Способ 2. Описать движение, а не настроение

Главная ошибка при генерации мелодии - описывать эмоцию: «грустная», «светлая», «трогательная». Модель это понимает, но выдаёт усреднённый результат, потому что грустных мелодий бесконечно много.

Работает другое - сказать, что мелодия делает:

• Направление - идёт вверх к припеву, падает в конце фразы;
• Размах - держится на двух-трёх соседних нотах или прыгает широкими шагами;
• Длина фразы - короткие мотивы по два такта или длинная тянущаяся линия;
• Повтор - одна и та же фигура повторяется, меняется только окончание;
• Кто ведёт - голос, гитара, пианино, духовой.

инструментал, 75 BPM, пианино ведёт мелодию,
короткие фразы по два такта, каждая начинается одинаково,
но заканчивается по-разному, линия постепенно идёт вверх,
в конце возвращается вниз, простая гармония, без вокала

Такое описание даёт заметно более «человеческую» мелодию, потому что вы задали ей форму, а не только окраску.

Способ 3. Забрать мелодию в MIDI

Если мотив понравился, но аранжировка вокруг него не устраивает, трек не обязательно перегенерировать. Из готовой генерации в студии выгружается MIDI - файл с нотами, а не со звуком.

Что это даёт:

• Мелодию видно нотами - можно посмотреть, как она устроена;
• Партию можно переписать: поменять пару нот, укоротить фразу, поднять на октаву;
• Можно подставить любой другой инструмент - тот же мотив на пианино и на гитаре звучит по-разному;
• Темп совпадает с треком, поэтому в программе всё встанет по сетке.

Это тот случай, когда ИИ работает как соавтор-черновик: идею дал он, доводите вы.

Подобрать музыку под готовый текст

Отдельная частая задача - текст уже написан, нужна мелодия под него. Здесь порядок обратный: не мелодия первая, а текст.

Практически это выглядит так: вы вставляете текст с разметкой секций, описываете стиль - и модель сама укладывает мотив в ваши строки. Точность зависит от одной вещи: насколько ровные у вас строки по длине. Если в куплете строки скачут с шести слогов на четырнадцать, мелодия будет спотыкаться, и виновата будет не нейросеть.

Подробно этот путь - с разметкой и разбором ошибок - разобран в статье «Создать песню по тексту». Если же текста ещё нет, его тоже можно сгенерировать и сразу спеть.

Как понять, что мелодия хорошая

Тест простой и жестокий: отложите трек на час и попробуйте напеть мотив по памяти. Не получилось - мелодии нет, есть красивый звук. Это работает надёжнее любого анализа, потому что именно так песню запоминает слушатель.

Второй признак - мелодию можно напеть без музыки, голосом, и она всё ещё узнаваема. Если мотив держится только на аранжировке, в живом исполнении он развалится.

Если хочется научиться придумывать мотивы самому, без генератора, - у нас есть отдельный разбор. Приёмы оттуда, кстати, помогают и в промптах: вы начинаете точнее формулировать, чего хотите.

Что делать с найденной мелодией

1. Написать под неё текст - считая слоги по фразам мотива;
2. Сгенерировать полную версию - уже с вокалом и текстом;
3. Записать свой голос - если песня личная, живой вокал поверх инструментала звучит убедительнее ИИ-голоса;
4. Довести в своей программе - через MIDI, если хочется поменять аранжировку.

Третий пункт - самый недооценённый. Как записать вокал дома без студии, разбираем здесь.

Частые вопросы