Искусственный интеллект подберет музыку для показываемых на экране изображений

Научно-исследовательская группа хочет усовершенствовать функцию отображения произведений искусств на телевизорах Samsung линейки The Frame, добавив возможность автоматически подбирать музыку на основе анализа изображения на экране. Первые испытания технологии подтверждают эффективность их подхода.

В режиме Ambient на QLED ТВ и в режиме «Картина» на The Frame можно отображать произведения искусства, когда устройства не используются. Именно об изменении данного режима и было рассказано в рамках конференции IEEE. Исследователи из подразделения устройств визуального отображения компании Samsung Electronics стали одними из трех победителей премии Best Paper Award за доклад «Анализ изображений для рекомендации музыки».

Работа, описанная в документе, объединяет такие области, как искусственный интеллект, взаимодействие с пользователем и эмоциональные вычисления. Все это для того, чтобы сделать опыт потребителей богаче, за счет нетривиального сочетания произведений искусства и музыки.

«Мы предложили метод, который учитывает стиль картины (классический, барокко, импрессионизм и тому подобное) и эмоции, которые она передает, чтобы автоматически подбирать музыку, которая лучше всего подходит для сопровождения изображения», — отметил ведущий автор статьи, штатный инженер Samsung Advanced R&D Group Анант Байджал.

«Когда на телевизор загружают изображение, например, картину или фотографию, наши алгоритмы искусственного интеллекта изучают его и рекомендуют подходящий трек в стриминговом сервисе, которым пользуется владелец устройства», — добавил Байджал.

Исследование рассматривается для коммерческого применения во флагманских продуктах Samsung, в том числе в недавно анонсированных телевизорах Neo QLED, а также интерьерных устройствах вроде The Frame. В ходе дальнейшей работы над технологией планируется добавить в алгоритм и другие показатели: погода, время суток, местоположение и активность пользователя, а также его персональные предпочтения.

Остается только воображать, какую музыку подберет алгоритм, если на телевизоре начать воспроизводить сюжеты из Ведьмака 3, Stardew Valley, Minecraft и DOOM. В любом случае подобные устройства будут значительно улучшать качество нашей с вами жизни, а варианты технологии в будущем смогут значительно улучшить и возможно более полное погружение в игровой процесс, ведь технология Ambient lighting сначала тоже была уделом лишь телевизоров, а потом пришла и на мониторы и другие бытовые устройства.