Неужели мы наконец-то дождались искусственного интеллекта? Нет, это только его зачатки. Но даже такая глупая по меркам ИИ нейросеть впечатляет.
Нейросети GPT-3 всё ещё нужна помощь человека — у него она учится
GPT-3 — это уже третье поколение алгоритма обработки естественных языков. Его разработкой занимается компания OpenAI (один из основателей — Илон Маск), цель которой — развитие и изучение искусственного интеллекта.
GPT-3 — это слабый искусственный интеллект. Она не может создавать контент из ничего. Алгоритм пользуется только теми параметрами, которые в него заложили разработчики. Когда вы ставите задачу, нейросеть анализирует массив данных и на его основе пытается предугадать следующее значение. Но ей всё равно нужна точка отсчёта — запрос, с которого начинается работа. Чем больше информации на входе, тем убедительнее контент на выходе.
GPT-3 выполняет задания, прямо или косвенно связанные с текстом. Упрощённо описать алгоритм её работы можно тремя шагами.
Слово преобразуется в набор чисел (векторное представление).
Система вычисляет наиболее вероятное следующее слово.
Полученный набор чисел преобразуется в новое слово.
По такому же принципу работала предыдущая версия нейросети GPT-2. Однако она была примерно в 116 раз проще. Если в предыдущей версии использовалось 1,5 млрд параметров, то в GPT-2 — уже 175 млрд. Для обучения нейросети разработчики использовали 570 ГБ текстовой информации. В образовательный массив вошли вся Википедия, данные из открытой библиотеки Common Crawl, датасеты с книгами, тексты с сайтов WebText.
Что умеет делать GPT-3 сейчас: пишет для крупных изданий, занимается музицированием и веб-разработкой
Последние новости заставили напрячься журналистов. В сентябре 2020 года в издании The Guardian вышла статья, написанная нейросетью. В ней GPT-3 рассказала, почему людям не стоит бояться искусственного интеллекта. Люди, конечно же, стали бояться его ещё больше. Правда, без помощи редактора нейросеть бы не справилась с задачей. Алгоритму дали задание написать несколько текстов. Затем редактор выбрал лучшие фрагменты и собрал из них статью.
Впрочем, есть примеры и самостоятельного творчества GPT-3. В июле 2020 года была опубликована статья, в которой автор Мануэль Араос (Manuel Araoz) рассказывает об экспериментах с алгоритмом. Ирония в том, что материал полностью написала сама нейросеть. Араос признаётся в этом в заключительной части текста.
Автор объясняет, что статья была сгенерирована GPT-3 и показывает данные, которые он задал для начала работы
Посмотреть, как работает нейросеть, можно и с помощью бесплатной текстовой игры AI Dungeon. Она была разработана ещё на основе алгоритма GPT-2, который создавал мир, управлял событиями и взаимодействиями персонажей. Для игры пользователь вводит текстовые команды. Нейросеть их распознает и адаптирует сюжет. После выхода версии GPT-3 создатели обновили игру. Теперь у пользователей больше возможностей — игрок может задать любую команду, алгоритм корректно её обработает и изменит игровой мир.
Алгоритм генерирует историю и затем меняет сюжет в зависимости от действий игрока
Майкл Тефула (Michael Tefula) обучил модель переводить юридические тексты на простой английский язык.
Just taught GPT-3 how to turn legalese into simple plain English. All I gave it were 2 examples 🤯 Might build a term sheet and investment document interpreter out of this 🤓 pic.twitter.com/BDdwCuFce5
— Michael (@michaeltefula) July 21, 2020
Мринал Мохит (Mrinal Mohit) пошёл ещё дальше и сделал генератор мемов.
Tired: Making your own memes
Wired: Asking @OpenAI’s #gpt3 to make memes.
Amazed to see how much of cultural subtext and nuance language models can pick up on. cc: @gwern @gdb pic.twitter.com/eBrFAWiZhA
— Mrinal Mohit (@wowitsmrinal) July 25, 2020
Интересные возможности появились у дизайнеров и разработчиков. Например, Джордан Сингер (Jordan Singer) разработал плагин для Figma, который умеет рисовать макеты по текстовому описанию.
Words → website ✨
A GPT-3 × Figma plugin that takes a URL and a description to mock up a website for you. pic.twitter.com/UsJz0ClGA7
— Jordan Singer (@jsngr) July 25, 2020
Разработчик Шариф Шамим (Shareef Shamim) научил нейросеть создавать веб-компоненты — тоже по текстовому описанию. Например, можно написать «красная кнопка и заголовок», после чего нейросеть сгенерирует разметку и стили соответствующих элементов. На базе обученной модели Шамим запустил проект Debuild, который создаёт React-приложения по текстовым запросам. С помощью нейросети он создал даже простой менеджер задач.
This is mind blowing.
With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.
W H A T pic.twitter.com/w8JkrZO4lk
— Sharif Shameem (@sharifshameem) July 13, 2020
Антонио Гомес (Antonio Gomez) показал, как алгоритм может превратить текстовое описание в код JavaScript. В качестве примера он использует библиотеку Three.js, которая позволяет создавать и отображать в веб-приложениях анимированную 3D-графику.
I managed to develop a GPT-3 demo that produces generative code snippets of the #threejs JavaScript API by textually describing the elements and their parameters needed to create a #webgl 3D scene. pic.twitter.com/jQFwdh0G03
— Antonio Gómez (@Antonio_GomezM) July 28, 2020
С музыкой у GPT-3 проблем тоже не возникает. Например, тот же Мануэль Араос, который обманул читателей записью в блоге, написанной нейросетью, показал песню. Тексты и аккорды для неё сгенерировал алгоритм, которому просто показали настоящую композицию исполнителя Джона Майера.
Now let’s generate a new @JohnMayer song with chords and lyrics (thanks @martriay for the idea), prompted by a real John Mayer song. pic.twitter.com/GwovOARhZU
— Manuel Araoz (@maraoz) July 18, 2020
Подобных примеров можно привести ещё десятки. Генератор лиц по текстовому описанию, превращение просьбы выполнить действие в команду для Linux, автоматическое создание квизов — кажется, что нейросеть может всё, что только приходит в голову.
OpenAI не выкладывает нейросеть в открытый доступ — считает, что это опасно для общества
Чтобы поэкспериментировать с нейросетью, нужно заполнить объёмную заявку и объяснить, как вы будете использовать алгоритм. В листе ожидания можно находиться очень долго. Доступ дают не всем — в основном его получают разработчики, которые затем тестируют нейросеть на разных задачах и публикуют результаты своих экспериментов.
Ограничения на распространение связаны с потенциальными негативными последствиями, которые разработчики обнаружили при создании предыдущей версии нейросети. Специалисты поняли, что GPT-2 после обучения способна генерировать фейковые новости. Часто они были бредовыми, но иногда алгоритм попадал в точку. Директор по политике компании OpenAI Джек Кларк (Jack Clark) заявил, что в течение ближайших двух лет может появиться система, которая будет выдавать убедительные фейковые записи на постоянной основе. Поэтому разработчики приняли решение не публиковать полную версию алгоритма.
Даже после завершения бета-тестирования нейросеть, скорее всего, не появится в открытом доступе. Разработчики планируют выпустить коммерческую версию и продавать её бизнесу по подписке. Однако у русскоязычных пользователей недавно появилась возможность попробовать алгоритм для решения своих задач. «Сбер» выложил на GitHub первую русскоязычную модель GPT-3. Она основана на коде GPT-2, но полностью повторяет архитектуру GPT-3 и обучена на корпусе суммарным объёмом свыше 600 ГБ.
GPT-3 принесёт пользу людям, но глобально подобные нейросети ничего в мире не меняют
GPT-3 — всё ещё слабый искусственный интеллект. По сути, это генератор контента, который не понимает контекст. Он просто оценивает связи между словами и расставляет их друг за другом с наибольшей вероятностью. По словам экспертов, это можно сравнить с ответами неподготовленного студента на экзамене: немного фактов, немного лжи и домыслов — при определённом везении может получиться осмысленная история. Если задавать алгоритму абсурдные вопросы, то он впадает в ступор. Тест Тьюринга он точно не пройдёт.
Да, нейросеть будет развиваться. Ей скормят ещё больше данных, она станет точнее подбирать релевантные значения — потенциал для развития есть. Когда OpenAI выпустит коммерческую версию алгоритма, мы получим новые умные сервисы — например, мощные генераторы текстов и постов для соцсетей или конструкторы сайтов, которые создают проекты с нуля до публикации по словесному описанию.
Яркий пример использования GPT-3 для бизнеса — сервисы для автоматического создания электронных писем и маркетинговых текстов. В издании The Wired вышел материал, в котором рассказывается сразу о нескольких таких инструментах. В частности, сервисы Compose.ai, OthersideAI и Magic Email помогают писать электронные письма, а Snazzy.ai умеет генерировать лендинги и рекламные объявления. Принцип работы везде одинаковый — пользователь добавляет ключевые фразы, а нейросеть создаёт на их основе контент.
В принципе, идея не нова. Те же Gmail и Яндекс.Почта умеют заканчивать фразы и предлагают короткие ответы. Но полноценные письма они писать не в состоянии. Другое дело, что на нейросеть тоже пока нельзя положиться — за ней приходится исправлять каждый текст. В противном случае в сообщении может оказаться чушь, ложь и даже оскорбления. С маркетинговыми материалами пользы видится чуть больше. Разработчики сервиса Snazzy.ai считают, что маркетологам будет интересна нейросеть, потому что она позволит быстро создавать разные варианты лендингов и объявлений для тестирования.
Но, несмотря на все достижения, не стоит переоценивать важность GPT-3. Это интересная штука, но не более. Глобально жизнь человека она не изменит, просто сделает чуть удобнее. Однако GPT-3 имеет ещё одну ценность — она позволяет представить, какие возможности откроются перед людьми, когда удастся создать сильный искусственный интеллект.
Источник: