Название DALL-E — неслучайное, оно происходит от имени известного испанского художника Сальвадора Дали и робота WALL-E из одноимённого мультфильма Pixar. Нейросеть может генерировать изображения на основе атрибутов, но с разной степенью успешности. Например, описание «a collection of glasses sitting on the table» она определяет по-разному и рисует изображения очков на столе наряду с набором стаканов и бокалов. Нейросеть также может комбинировать несколько объектов и рисовать их в разных ракурсах. В отличие от других алгоритмов преобразования текста в изображения, DALL-E добавляет детали, которых нет в описании, но они нужны для создания реалистичного изображения.
OpenAI использует метод «zero-shot reasoning», который позволяет нейросети генерировать ответ из описания без какого-либо дополнительного обучения. На этот раз специалисты компании применили его к визуальной области, чтобы выполнить преобразование не только текста в изображение, но и изображения в изображение. В одном случае DALL-E сгенерировала рисунок кошки из эскиза и описания «точно такая же кошка вверху, что и эскиз внизу». У новой нейросети есть множество других способностей. К примеру, она понимает, как телефоны и другие устройства меняются со временем, знакома с историей и географией и разбирается в типах изображений, будь то фотографии, иллюстрации или клип-арт. Более того, DALL-E также умеет дорисовывать любую прямоугольную область существующего изображения.
На текущий момент возможности DALL-E ограничены. Иногда она дает то, что от неё ожидают, а иногда результаты совершенно не попадают под описание. Даже сами создатели нейросети не понимают, почему она создаёт определённые изображения. В любом случае, DALL-E имеет огромный потенциал, хотя и сталкивается со множеством проблем.
Источник: