Яндекс использовала нейросеть для создания части треков проекта Dance Loop

Экспериментальный танцевальный VR-проект студии Fibrum пополнился композициями собственной нейросети компании, используемой в сервисе Яндекс.Музыка, и Ника Ambidextrous Завриева.

В Dance Loop VR-пространство оживает под действием электронной музыки. По сюжету музыка исчезла из нашего мира и, чтобы спасти её, игрок отправляется в путешествие по параллельным вселенным, где встречает ячейки данных, — ноды. Под определённый ритм, заданный музыкальным треком уровня, игрок разбивает ячейки руками и уворачивается от препятствий-перегрузок. В итоге каждое прохождение уровня больше напоминает танец. Визуально ячейки похожи на идеальные окружности, внутри которых хранится звук. Не случайно название ячеек — ноды — созвучно слову ноты. Сюжет чем-то похож на смесь GRIS и BIT.TRIP RUNNER.

Одна из главных фич внутри создания проекта — взаимодействие музыканта с генеративной музыкой. Для того чтобы случился симбиоз творчества и технологий, нейросеть Яндекс Музыки написала больше шестидесяти треков. Разработчики игры проанализировали их, отобрали по настроению, выверяли по ритму и звуку. Затем, вдохновившись генеративной музыкой и опираясь на мелодику и темп, Ambidextrous написал уже свои работы, ставшие также частью саундтрека игры.

Так для создания звучаний и подобных связей были использованы партии в самых разных жанрах от рока и хип-хопа до электроники и эмбиента. Десятки тысяч композиций и переходов создают миллионы вариаций разных треков, которые может написать нейросеть.