Читать книгу Ваш карманный генИИ - - Страница 4
ГЛАВА 1: ТОКЕНЫ: ЯЗЫК, НА КОТОРОМ ДУМАЕТ ИИ
ОглавлениеВТУПЛЕНИЕ К ГЛАВЕ
Сейчас вы общаетесь с ИИ, как человек в той тёмной комнате. Вы кричите на него, умоляете, просите, описываете свои желания сложными предложениями. А он не понимает. Он не злой. Он не тупой. Он просто устроен по-другому. Его «выключатель» выглядит иначе.
Чтобы его найти, нужно сначала понять фундаментальный принцип: ИИ не читает текст так, как это делаем мы.
Представьте, что вы показываете ИИ красивую картину – «Мона Лиза». Но вместо того чтобы видеть улыбку Джоконды, он видит мозаику из тысяч маленьких, пронумерованных плиточек. Он не воспринимает цельный образ. Он анализирует статистику: какие плиточки обычно стоят рядом, в какой последовательности.
Ваш текст для ИИ – это такая же картина, разбитая на плиточки. Эти «плиточки смысла» называются токены. И пока вы не поймёте, как ИИ их видит и складывает, вы будете общаться с ним на разных языках. Вы – говорить целыми образами и эмоциями. Он – слушать сухую статистику соседства непонятных фрагментов.
Первый и самый важный шаг к власти – выучить этот примитивный, но абсолютно точный язык машинного восприятия.
История-кейс 2025: «Как маркетолог потерял $20 000 из-за одного слова»
Анна, руководитель отдела маркетинга в IT-стартапе, готовила презентацию для инвесторов. Вместо того чтобы сформулировать ключевые тезисы, она вставила в ChatGPT весь текст старой стратегии (15 страниц) и попросила: «Сделай это более убедительным и современным».
Через час ИИ выдал гладкий, но абсолютно пустой текст, полный клише: «синергия», «экосистема», «революционный подход». Презентация провалилась. Инвесторы сказали: «Мы не поняли, что вы продаёте». Контракт на $20 000 сорвался.
В чём ошибка Анны?
Она думала, что ИИ читает как человек. Она не знала, что её 15 страниц превратились для модели в 14 000 токенов – и к моменту, когда ИИ дошёл до конца документа, он уже забыл начало. Он не анализировал стратегию – он генерировал «самые вероятные следующие слова» на основе шаблонов из тысяч похожих документов.
Что такое токены в 2026 году?
Забудьте слово «слово». Для ИИ его не существует. Есть токены – атомы смысла, на которые модель разбивает текст. Это не просто слоги – это фрагменты, которые статистически связаны.
– Ваше предложение: «Нейросеть обработала запрос»
– Для GPT-4: ["Нейро", "сеть", "обработала", "запрос"] – 4 токена.
– Для Claude 3: ["Нейросеть", "обработала", "запрос"] – 3 токена.
– Разные модели токенизируют по-разному. Но принцип везде один: чем длиннее ваш запрос в токенах, тем больше вы платите (деньгами или временем) и тем хуже ИИ понимает контекст. Вы заваливаете его такой грудой «плиточек», что он теряет из виду общую картину.
Почему русский язык всё ещё «дорогой»?
Английский язык эффективен. Слово "transformer" – 1 токен. Русский флективный, и одно слово может разбиться на несколько токенов: «преобразование» → ["пре", "образ", "ование"] (3 токена). Это значит, что на русском вы быстрее упираетесь в лимиты контекстного окна и платите больше за генерацию.