Создан бот на базе GPT-4, который умеет играть в Minecraft

Можно бесконечно смотреть, как горит огонь, как течет вода… и как бот играет в Minecraft.

Команда Nvidia, в которую входит Анима Анандкумар (директор компании по машинному обучению), создала бота по имени Voyager, используя языковую модель GPT-4 и API игры. Бот не видит игру как человек, но API позволяет увидеть предметы в инвентаре и проанализировать местность. Сама же модель ставит цели и разрешает проблемы и задачи.

Для сравнения с другими ботами приводят следующую диаграмму:

Voyager состоит из трех компонентов:

1. автоматический учебный план, который максимизирует исследование игры;
2. библиотека кода, которая предназначена для хранения и извлечения комплексных поведений;
3. механизм подсказок, включающий обратную связь с окружающей средой, ошибки исполнения и самопроверка для улучшения программы.

Примеры автоматического учебного плана:

Пример библиотеки навыков:

Пример обратной связи и улучшения:

Слева: GPT-4 понял, что нужно 2 доски, чтобы сделать палки и также добавляет код для создания досок. Справа: ошибка выполнения, бот понял, что он должен сделать деревянный топор, а не топор из акации, так как такого топора нет.

Пример самопроверки и предложения, как можно решить проблему:

Создатели сравнили, как их бот обходит территорию в сравнении с другими.

Также проект предоставил видео, где бот что либо делает, к примеру строит базу:

Было бы интересно поиграть с таким псевдоигроком на сервере, надеюсь в будущем бот сможет взаимодействовать с другими игроками.

Подробнее с проектом можно ознакомится на сайте проекта.