Генерация музыки по тексту: как описание превращается в звук


Генерация музыки по тексту — это когда вы пишете словами, а получаете звук. Между этими двумя вещами лежит разбор описания, и от того, что в нём написано, зависит почти всё.

Что модель вычитывает из описания

Признак Пример в описании На что влияет
Жанр лоу-фай, фолк, синтвейв общее звучание и набор инструментов
Инструменты пианино, струнные, гитара что будет слышно на переднем плане
Темп медленный, быстрый скорость и энергию
Настроение тёплое, тревожное гармонию, мажор или минор
Плотность минималистично, плотно количество слоёв
Назначение фон под голос насколько выражена мелодия

Слова, которые меняют результат сильнее всего

  1. Название инструмента. Одно слово «гитара» перестраивает весь трек.
  2. Темп. Самый недооценённый параметр: он меняет восприятие даже при том же жанре.
  3. «Без ударных». Мгновенно превращает трек в подложку.
  4. «Фон под голос». Убирает солирующие партии, освобождая место речи.
  5. «Нарастание». Добавляет развитие вместо ровного полотна.

Слова, которые почти не работают

  • Оценки: «красивая», «качественная», «крутая».
  • Имена исполнителей и названия конкретных песен.
  • Точные цифры: BPM, тональность, длительность в секундах.
  • Сложные указания по форме: «модуляция в третьем куплете».

Проверка описания за десять секунд

Прочитайте свой запрос и вычеркните всё, что описывает ваше отношение, а не звук. Если после вычёркивания осталось меньше трёх признаков — добавьте инструменты и темп. Этого достаточно, чтобы результат перестал быть случайным.

Соседние инструменты

Тот же принцип описания работает в генераторе звуковых эффектов: там вместо жанра указывают источник звука и его характер.

Читать  Песня под свой голос: какие стили звучат лучше с вашим тембром

Описать музыку словами.

Создать музыкуОпишите словами, какая нужна музыка — стиль, настроение, инструменты. Нейросеть напишет и сыграет трек: инструментал…
Открыть