Читать книгу ИИ с нуля: как разобраться и начать использовать - - Страница 9
Глава 9. Галлюцинации и ошибки ИИ
ОглавлениеИногда ИИ отвечает так, будто он точно знает правильный ответ: называет даты, суммы, законы, «цитирует» книги, уверенно перечисляет шаги. Вы читаете и почти автоматически соглашаетесь, потому что текст выглядит связным и спокойным. А потом выясняется, что часть фактов не совпадает с реальностью, ссылка не существует, а «правило» придумано.
У новичка в этот момент появляются два крайних вывода: либо «ИИ бесполезен», либо «надо просто верить, он же умный». Оба мешают пользоваться инструментом нормально.
Ключевой принцип такой: относитесь к ответу ИИ как к черновику, который нужно проверять в местах, где цена ошибки высока. ИИ может звучать уверенно даже тогда, когда ошибается.
Такие уверенно неверные ответы часто называют «галлюцинациями» – это когда модель не «вспоминает» факт, а собирает правдоподобный текст, и он может оказаться ложным.
Галлюцинации появляются не потому, что ИИ «хочет обмануть», а потому что его задача – продолжать текст максимально правдоподобно. Если в вашем запросе не хватает данных, если тема редкая, если требуется точная формулировка, модель может заполнить пробелы догадками.
Внешне это выглядит как нормальный ответ: ровный стиль, логика, иногда даже «источники». Но уверенный тон не равен проверенному факту.
Чтобы работать с этим спокойно, разделяйте ответ на два слоя. Первый слой – структура и идеи: план письма, список шагов, варианты формулировок, черновик таблицы. Здесь ИИ обычно полезен, даже если где-то ошибётся: вы всё равно будете редактировать.
Второй слой – проверяемые утверждения: цифры, даты, названия документов, требования, «точные цитаты», адреса, медицинские рекомендации. Именно этот слой чаще ломается и требует проверки.
Полезно знать типичные формы уверенно неверных ответов, чтобы распознавать их по виду, а не по теме:
– выдуманные ссылки и источники: «исследование Гарварда 2019», но без реального документа, или ссылка ведёт на несуществующую страницу;
– точные детали без опоры на ваши данные: «средняя зарплата в вашей сфере – 180 000», хотя вы не указали страну, город и должность;
– «официальные» формулировки, похожие на закон или регламент, но с неточными терминами и странными исключениями;
– уверенная подмена понятий: ответ звучит логично, но отвечает на другой вопрос, чем вы задали.
Когда вы видите сомнительный фрагмент, не переписывайте весь запрос заново и не спорьте с ИИ общими фразами. Делайте точечную проверку через уточняющие вопросы.
Ваша цель – заставить ИИ либо показать опору (откуда это), либо признать неопределённость, либо предложить безопасный вариант.
Рабочий алгоритм уточнения выглядит так:
1) Выделите конкретный фрагмент, который вызывает сомнение. Не «всё неправда», а одна фраза, цифра, правило.
2) Задайте вопрос «на каких данных это основано?» и попросите перечислить допущения. Если допущения не совпадают с вашей ситуацией – ответ нельзя принимать как готовый.
3) Попросите альтернативу, если точность недостижима: «Если вы не уверены, предложите общий подход без конкретных цифр/названий».
4) Попросите формат проверки: «Как я могу быстро проверить это самостоятельно? Какие ключевые слова искать? Какие документы обычно подтверждают?»
5) Попросите отметить уровень уверенности: «Отметьте, какие пункты вы уверены, а какие – предположения».
Есть и простой приём для сомнительных мест: попросите ИИ переписать ответ так, чтобы он явно отделил факты от предположений. Например: «Разделите ответ на “проверяемые факты” и “гипотезы/варианты”». Это не гарантирует правду, но делает риск видимым.
Один сценарий, который показывает это на практике. Допустим, вам нужно письмо в учебный отдел: вы хотите уточнить, можно ли перенести сдачу экзамена из‑за командировки. Вы просите ИИ: «Составьте письмо, сославшись на правила университета и укажите, какие документы нужны».
ИИ выдаёт уверенное письмо и добавляет: «Согласно пункту 4.7 Положения о промежуточной аттестации перенос возможен при предоставлении приказа о командировке и заявления за 7 дней».
На этом месте не стоит сразу отправлять письмо с «пунктом 4.7». Вы выделяете сомнительный фрагмент и задаёте уточнения:
– «Откуда взят пункт 4.7? У вас есть ссылка на документ или это предположение?»
– «Если точного пункта нет, перепишите письмо без номера пункта, но так, чтобы оно оставалось вежливым и конкретным».
– «Перечислите, какие документы обычно просят в таких случаях, и отметьте, что это “обычно”, а не “точно по правилам”».
– «Составьте короткий список вопросов, которые я могу задать в учебный отдел, чтобы подтвердить требования».
В результате вы получаете два улучшения. Первое – безопасный текст письма без выдуманных ссылок на регламент. Второе – чек‑лист для проверки: что уточнить у учебного отдела и какие документы подготовить заранее. ИИ остаётся полезным, но вы не переносите его уверенность в реальность.
Отдельно зафиксируйте для себя темы, где нельзя доверять ИИ без проверки, даже если ответ выглядит аккуратно. Обычно это: