Читать книгу Цифровая муза. Как творить и зарабатывать с ИИ - Ирина Никулина - Страница 7

Всю историю развития нейросетей можно разделить на три основных этапа:

Предыстория. Зарождение идей (1950-е – 2010-е гг)

В 1950-м году Алан Тьюринг опубликовал статью «Вычислительные машины и разум», в которой предложил знаменитый «Тест Тьюринга» для проверки способности машины самостоятельно мыслить. Это была интеллектуальная основа для всего последующего развития ИИ, хотя на тот момент технологии не позволяли создать быстродействующий и «думающий» компьютер.

1950-60-е: в это время было появление первых нейросетей (перцептрон Франка Розенблатта) и рождение самого понятия «искусственный интеллект».

Перцептрон Розенблатта – это простейшая искусственная нейронная сеть, предложенная в 1958 году и послужившая первым шагом по использованию искусственного интеллекта.

В нем был один слой искусственных нейронов (именно такую однослойную модель сейчас называют «перцептроном Розенблатта»). Его задачей была Бинарная классификация (например, «да/нет»).

Принцип работы перцептрона:

Входные данные (признаки) умножаются на веса и суммируются.

Сумма проходит через пороговую функцию активации (ступенчатую), которая выдает результат: 1 или 0.

Обучение: простой алгоритм обучения с учителем. Веса корректируются, если перцептрон ошибся на обучающем примере.

Ограничение (главный недостаток): может решать только задачи, которые являются линейно разделимыми (их можно разделить гиперплоскостью). Например, не может решить задачу «исключающее ИЛИ».

Историческое значение: перцептрон стал первой рабочей моделью обучаемой нейронной сети, заложив основы для всего направления развития ИИ. Его ограничения, описанные Марвином Минским, на десятилетия замедлили развитие области, пока не появились многослойные сети (многослойные перцептроны).

1980-2000-е: в это время произошло развитие более сложных архитектур нейросетей (рекуррентные сети, LSTM). Однако недостаток данных и вычислительной мощности не позволял создать что-то масштабное (такое, как сейчас).

2017 год: в это время был совершен ключевой прорыв. Исследователи из Google представили обществу архитектуру Transformer. Это была настоящая революция в ИИ! Transformer отлично справлялся с обработкой последовательностей (таких, например, как текст) и мог обучаться намного быстрее и эффективнее старых моделей. Это основа всех современных больших языковых моделей, включая ChatGPT.

История Чат GPT

Эра больших языковых моделей была с 2018 по 2020 гг. Компания OpenAI стала пионером в применении архитектуры Transformer, созданной специалистами Google, для разработки гигантских моделей нейросетей.

GPT (2018). Первая версия GPT была создана в 2018 году и называлась Generative Pre-trained Transformer. В основе лежала работа с текстом и анализ данных из сети Интернет. Модель показала, что предварительное обучение на огромных массивах текста из интернета позволяет ей хорошо генерировать связный текст.

GPT-2 (2019). Вскоре появилась более мощная модель. Ее способность генерировать реальные тексты сначала напугала самих создателей, и они отказались от немедленного публичного релиза, опасаясь злоупотребления своей нейросети. Позже модель все же была открыта.

GPT-3 (2020). Это был настоящий прорыв к высоким технологиям. Модель была создана с 175 миллиардами параметров. Она продемонстрировала возможность инконтекстного обучения – способности решать задачи, просто получив несколько примеров в промпте, без дообучения. Это был шок для всего мира ИИ.

Рождение ChatGPT и новая эра (2022 – настоящее время). До этого модели были мощными, но не всегда «разговорчивыми» и безопасными. Нужен был последний шаг, который свершился в 2022 году. В это время OpenAI представляет чат-бот на основе доработанной модели GPT-3.5. Главное новшество – обучение с подкреплением на основе человеческих предпочтений (RLHF).

Как это работало

1. Обучение с учителем: модель обучали на диалогах, где люди показывали правильные ответы.

2. RLHF: разметчики оценивали разные ответы модели по шкале «лучше-хуже». На основе этих оценок модель дообучалась, чтобы давать более полезные, реальные и безопасные ответы.

Результат: ChatGPT вышел не просто как мощная модель, а как удобный, вежливый и понятный собеседник для большого количества пользователей в сети Интернет. Он моментально стал популярным и за два месяца набрал 100 миллионов пользователей, став самым быстрорастущим приложением в истории.

GPT-4 (март 2023): в это время было создано следующее поколение модели GPT. Еще более мощное, надежное, способное работать не только с текстом, но и с изображениями (как входными данными). ChatGPT был обновлен до этой модели для платных пользователей.

Таким образом, ChatGPT, как впрочем и другие ИИ – это не внезапное изобретение, а результат более 70 лет исследований, увенчанный несколькими ключевыми прорывами за последние 5 лет.

Рис. 11. ChatGPT сейчас