Читать книгу ИИ без магии. Искусственный интеллект – про сложное просто - Галя Дмитриева - Страница 6
Глава 4. Как она это делает? Как нейросеть генерирует ответы
Оглавление– Как она это делает? «Как она генерирует ответы?» – спросила Маша.
– Ты вводишь текст. Например: «Расскажи про кошек».
– Текст разбивается на токены.
– Токены – это слова, фразы или части слов. Например: «рас», «скажи», «про», «ко», «шек».
– Каждому токену соответствует число.
– Это уникальный цифровой идентификатор из словаря модели.
– Эти числа проходят через нейросеть слой за слоем.
– Параметры рассчитывают вероятности следующего слова, определяют, какое слово должно быть следующим.
– Числа снова превращаются в текст, и ты видишь слова.
В итоге модель возвращает тебе уже готовый текст в привычном для нас виде.
– А эти параметры… они важные?
– Очень. Количество параметров – это как мощность интеллекта, условный IQ. Чем больше параметров, тем сложнее и «умнее» модель. GPT- 4 имеет сотни миллиардов таких параметров.
– То есть модель не ищет готовый текст?
– Нет. Она не читает Википедию и не лезет в Google. Она каждый раз заново вычисляет ответ, шаг за шагом.
Маша задумчиво повертела ложку:
– Получается, она не знает, как человек…
– Именно. Но она настолько хорошо обучена, что её ответы выглядят как знание.
– И всё это – просто числа?
– Да. Числа, параметры и миллиарды вычислений на серверах.
– Обалдеть… – выдохнула Маша.
