Исследователи Google создали ИИ-генератор музыки из текста MusicLM. И хотя саму программу компания пока не выкладывает в открытый доступ, она выгрузила ряд сэмплов, которые были созданы с помощью новинки.
Генератор «пишет» музыкальные произведения продолжительностью в несколько минут по текстовым подсказкам или преобразуя мелодию, которую насвистывают или напевают в микрофон, в полноценные инструментальные композиции, сообщает The Verge.
Среди обнародованных примеров — 30-секундные «песни» (текста в них нет, только имитация). Причем программа придерживается заданного жанра и использует указанные инструменты.
Если задавать формат в режиме story, указывая последовательность тех или иных музыкальных фрагментов, то ИИ генерирует максимально близкий к техзаданию музыкальный микс.
На демонстрационном сайте также представлены варианты 10-секундных имитаций конкретных инструментов, 30-секундных музыкальных произведений, созданных по описаниям знаменитых картин, и 8-секундных зарисовок определенного жанра (есть даже музыка, подходящая для побега из тюрьмы, или «аккордеонный death-metall»).
Из приверов видно, что MusicLM может имитировать человеческий вокал, который правильно передает тон и общее звучание голосов, хотя по сути это даже не набор слов, а скорее, набор букв.
Ранее различные технологические компании уже делали попытки создать подобные генераторы: есть программы, которым приписывают сочинение поп-песен, копирование Баха лучше, чем это мог сделать человек в 90-е годы, и сопровождение живых выступлений.
Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.
Одна из последних версий использует механизм генерации изображений AI StableDiffusion для преобразования текстовых подсказок в спектрограммы, которые затем превращаются в музыку.
В Google уверяют, что это все «прошлый век», и MusicLM может превзойти все прочие программы с точки зрения «качества и соответствия заявке», а также благодаря умению воспринимать аудио и копировать мелодию.
Впрочем, в компании пока осторожно относятся к разработке: в открытый доступ она не поступит из-за «риска потенциального незаконного присвоения творческого контента».
Таким образом, на данный момент единственные люди, которые смогут использовать результаты исследований и работы MusicLM, — это другие разработчики ИИ-генераторов музыки: в Google готовы делиться данными для обучения коллег и для аналитики.
