Читать книгу Ваш карманный генИИ - - Страница 4

ГЛАВА 1: ТОКЕНЫ: ЯЗЫК, НА КОТОРОМ ДУМАЕТ ИИ

Оглавление

ВТУПЛЕНИЕ К ГЛАВЕ

Сейчас вы общаетесь с ИИ, как человек в той тёмной комнате. Вы кричите на него, умоляете, просите, описываете свои желания сложными предложениями. А он не понимает. Он не злой. Он не тупой. Он просто устроен по-другому. Его «выключатель» выглядит иначе.

Чтобы его найти, нужно сначала понять фундаментальный принцип: ИИ не читает текст так, как это делаем мы.

Представьте, что вы показываете ИИ красивую картину – «Мона Лиза». Но вместо того чтобы видеть улыбку Джоконды, он видит мозаику из тысяч маленьких, пронумерованных плиточек. Он не воспринимает цельный образ. Он анализирует статистику: какие плиточки обычно стоят рядом, в какой последовательности.

Ваш текст для ИИ – это такая же картина, разбитая на плиточки. Эти «плиточки смысла» называются токены. И пока вы не поймёте, как ИИ их видит и складывает, вы будете общаться с ним на разных языках. Вы – говорить целыми образами и эмоциями. Он – слушать сухую статистику соседства непонятных фрагментов.

Первый и самый важный шаг к власти – выучить этот примитивный, но абсолютно точный язык машинного восприятия.

История-кейс 2025: «Как маркетолог потерял $20 000 из-за одного слова»

Анна, руководитель отдела маркетинга в IT-стартапе, готовила презентацию для инвесторов. Вместо того чтобы сформулировать ключевые тезисы, она вставила в ChatGPT весь текст старой стратегии (15 страниц) и попросила: «Сделай это более убедительным и современным».

Через час ИИ выдал гладкий, но абсолютно пустой текст, полный клише: «синергия», «экосистема», «революционный подход». Презентация провалилась. Инвесторы сказали: «Мы не поняли, что вы продаёте». Контракт на $20 000 сорвался.

В чём ошибка Анны?

Она думала, что ИИ читает как человек. Она не знала, что её 15 страниц превратились для модели в 14 000 токенов – и к моменту, когда ИИ дошёл до конца документа, он уже забыл начало. Он не анализировал стратегию – он генерировал «самые вероятные следующие слова» на основе шаблонов из тысяч похожих документов.

Что такое токены в 2026 году?

Забудьте слово «слово». Для ИИ его не существует. Есть токены – атомы смысла, на которые модель разбивает текст. Это не просто слоги – это фрагменты, которые статистически связаны.

– Ваше предложение: «Нейросеть обработала запрос»

– Для GPT-4: ["Нейро", "сеть", "обработала", "запрос"] – 4 токена.

– Для Claude 3: ["Нейросеть", "обработала", "запрос"] – 3 токена.

– Разные модели токенизируют по-разному. Но принцип везде один: чем длиннее ваш запрос в токенах, тем больше вы платите (деньгами или временем) и тем хуже ИИ понимает контекст. Вы заваливаете его такой грудой «плиточек», что он теряет из виду общую картину.

Почему русский язык всё ещё «дорогой»?

Английский язык эффективен. Слово "transformer" – 1 токен. Русский флективный, и одно слово может разбиться на несколько токенов: «преобразование» → ["пре", "образ", "ование"] (3 токена). Это значит, что на русском вы быстрее упираетесь в лимиты контекстного окна и платите больше за генерацию.

Ваш карманный генИИ

Подняться наверх