Написание музыки с помощью компьютеров всегда считалось одной из самых сложных технологических задач. Впрочем, команде разработчиков из Google недавно удалось сделать прорыв в этой сфере.
Немного истории. Сразу после появления первых серийных ЭВМ ученые попробовали писать с их помощью музыку. Таким образом, в 1957 году на компьютере ILLIAC было создано первое музыкальное произведение — сюита ILLIAC. Правда, во время написания композиции электронной машине довольно сильно «помогал» американский композитор Леджарен Хиллер. В том же году сюиту исполнил оркестр из профессиональных музыкантов. Но потом идея написания музыки с помощью компьютера была на долгое время забыта.
Основная проблема заключается в том, что алгоритмизация процесса создания музыки является чрезвычайно сложной. Если речь идет про действительно сложную музыкальную композицию, то компьютер ранее действовал следующим образом: просто брал определенные музыкальные шаблоны как исходные данные, а затем развивал их в почти рандомному порядке. Разработчики, конечно, применяли определенные ограничения в отношении «творческого процесса» компьютера, нацеленные на то, чтобы в композиции не было откровенных диссонансов. Далее человек прослушивал полученные композиции и выбирал фрагменты, которые действительно интересны и мелодичны.
Именно таким путем пошла американская звезда Тарин Саузерн. Как инструмент она выбрала программу Amper, которая с помощью внутренних алгоритмов способна генерировать мелодии согласно заданного жанра и настроения. Конечно тот трек, который она получила, был весьма «сырым», тем не менее, там были аккорды, определенная структура и мелодичность. Впоследствии на основе подобного машинного материала родилась песня Break Free, которая вскоре стала весьма популярной.
Вообще, в сфере создания музыки работало много стартапов. Например, команда британского Jukedeck использовала нейронные сети для написания музыки. Это один из самых популярных методов, который применяют для написания музыки компьютером.
В 2016 в Google заявили о запуске проекта Magenta, нацеленного на эксперименты с искусственным интеллектом в креативных сферах. Особое внимание команда уделяла творчеству в сфере музыки. Глава проекта Дуглас Эк (Douglas Eck) отметил, что с помощью Magenta в компании хотят исследовать разработку алгоритмов, связанных с генерированием продуктов изобразительного искусства и музыки. В перспективе это позволит создавать творческий контент силами ЭВМ.
Первая композиция, созданная с помощью Magenta — это вариации на песню детской песни «Twinkle Twinkle Little Star». Компьютер написал мелодию, которая изначально содержала всего несколько нот на электронном пианино, но потом стала все более интересной и утонченной.
Новый подход к созданию музыки
Разработка компании Google на базе искусственного интеллекта (AI) для написания музыки под названием Music Transformer, конечно, пока не может сравниться с Моцартом или Листом, но в последнее время этот продукт достиг значительного прогресса. Недавно в блоге и статье «Music Transformer» сотрудники вышеупомянутого проекта Project Magenta, который посвящен изучению роли машинного обучения в качестве инструмента в творческом процессе, представили свою разработку Musical Transformer («Музыкальный трансформер»). Это модель на базе машинного обучения, которая способна генерировать относительно гармоничные мелодии с четкими рефренами.
«Модель Transformer, основанная на самоанализе, достигла удивительных результатов во многих задачах по генерации музыки, которые требуют слаженности мелодии в течение долгого времени, — пишут авторы статьи. — Это говорит о том, что самоанализ неплохо подходит для моделирования музыки».
В чем сложность?
Как объясняет команда, создание длительных фрагментов музыки по времени остается трудной задачей для искусственного интеллекта из-за структурной сложности; большинство песен содержат несколько мотивов, музыкальных фраз и повторов, и нейронные сети не всегда способны их найти и проанализировать. И хотя предварительное решение смогло выделить некоторые музыкальные фразы, повторявшиеся в произведениях, написанных людьми, эта технология опиралась исключительно на тайминговые сигналы, что делает ее оптимальной для отслеживания тем, которые базируются на относительных расстояниях и рекуррентных интервалах.
Новым достижением команды стал Music Transformer — основанная на самоанализе нейронная сеть, которая создает экспрессивные произведения напрямую, без предварительной шаблонной партитуры. Используя инновационные технологии генерирования музыку, Music Transformer способен не только сосредоточиться на реляционных функциях, но и «писать музыку» вне учебных образцов, которые вводятся как исходные данные. И поскольку это решение потребляет меньше памяти, оно также способно генерировать более длинные музыкальные последовательности.
Команда признает, что Music Transformer пока далеко не идеальный, ведь иногда он создает композиции со слишком большим количеством повторов, большими паузами и дисгармоничными переходами. Впрочем, разработчики надеются, что даже такие результаты смогут пригодиться для музыкантов, нуждающихся во вдохновении.
«Эта технология открывает возможность для пользователя указать свой собственный шаблон и применять модель как творческий инструмент для изучения целого ряда возможных продолжений», — указывают разработчики.
Код для обучения и генерирования Transformer Music будет доступен уже в ближайшем будущем, вместе с предварительно подготовленными контрольными точками.