Читать книгу Проблема фрагментарной когерентности в генеративных языковых моделях при обработке протяженных контекстов: архитектурные и методологические решения - Антон Александрович Антипов - Страница 1

Проблема : Современные большие языковые модели ( ИИ вроде DeepSeek) плохо справляются с комплексным редактированием ( полной переработкой ) больших документов , таких как статьи или книги . Когда пользователь просит их проанализировать длинный текст и полностью его переписать , ИИ часто дает лишь отрывочные фрагменты с отсылками типа « а здесь вы сами допишите » . Вместо цельного нового документа он перекладывает задачу по сборке на человека . Это называется проблемой фрагментарной когерентности ( ситуации , когда части текста не складываются в логичное целое ).

Главные причины :

1. Архитектурная ( « железная » ): У ИИ есть « окно контекста » — ограниченная « оперативная память » для обработки текста за раз . Информация из конца запроса для него важнее , чем из начала . Он не умеет « редактировать в уме » уже написанное , а только генерирует новое дальше .

2. Обучающая : ИИ учили предсказывать следующее слово в книгах и статьях из интернета , а не выполнять сложные , многошаговые инструкции по переделке больших текстов .

3. Методологическая ( со стороны пользователя ): Люди часто дают ИИ слишком длинные и расплывчатые задания , не оставляя ему « места для размышлений » ( токенов на ответ ).

Предлагаемые решения :

1. Для создателей ИИ будущего :

Внедрить иерархическое внимание — чтобы ИИ сначала работал не с каждым словом , а с « конспектами » разделов , как человек по плану статьи . Сделать динамическую память — чтобы ИИ сам подгружал в « оперативку » нужные части текста по мере работы , а не держал всё сразу . Добавить специальные команды для редактирования ( например , токены [ НАЧАТЬ _ РЕДАКТИРОВАТЬ _ ГЛАВУ _2]), которые переключали бы ИИ в особый « режим правки » .

2. Для пользователей сегодняшних ИИ ( как DeepSeek):

Использовать стратегическое чанкирование — разбивать большой текст на логические части ( чанки ) и обрабатывать их по отдельности с помощью специального , детального шаблона - запроса ( мастер - промпта ), который объясняет общую цель и контекст . Применять технику « обратного конструирования » — сначала заставить ИИ составить подробный план текста , затем — план его переделки , и только потом писать по новому плану . Это превращает творческую задачу в более контролируемую .

3. Для улучшения обучения ИИ :

Дообучать модели на специальных примерах , где есть длинный текст , сложная инструкция по его изменению и идеально переписанный результат . Использовать обучение с подкреплением — создать « модель - критика » , которая будет оценивать и « вознаграждать » ИИ не за грамотность , а именно за целостность и связность всего созданного текста .

Итог : Чтобы ИИ научился по - настоящему глубоко работать с большими текстами , нужно двигаться в трёх направлениях одновременно : менять внутреннее устройство моделей , развивать грамотные методы общения с ними и пересматривать подходы к их обучению . Только тогда можно будет говорить о редакторском интеллекте , сопоставимом с человеческим .

Аннотация: В данном докладе исследуется фундаментальная (базовая, основная) проблема, возникающая при взаимодействии пользователя с крупно-масштабными языковыми моделями (большими ИИ-системами для работы с языком, такими как DeepSeek) (LLM), при работе с документами, размер которых сопоставим или превышает эффективное окно контекста модели (максимальный объем текста, который модель может «помнить» за один раз). Проблема проявляется в потере когерентности (связности, логической целостности): модель, получая инкрементальные (пошаговые, дополнительные) инструкции по модификации документа, не производит его полной ревизии (пересмотра, переработки), а вместо этого генерирует (создает) новые фрагменты со ссылками на неизмененные предыдущие части, перекладывая задачу их интеграции (объединения в единое целое) на пользователя. Мы анализируем корневые (главные, основные) причины, лежащие в архитектурных (связанных со строением) ограничениях механизма внимания (компонента модели, который определяет, на какие слова в тексте ей нужно «обращать внимание») и процедуры вывода (процесса генерации ответа). Далее предлагается многоуровневое решение, включающее 1) адаптацию архитектуры через иерархическое внимание (многоуровневую систему «внимания») и динамический контекст (изменяющийся объем «памяти»), 2) разработку специализированных методов инженерии промптов (искусства составления запросов к ИИ) и чанкирования (разбиения текста на части), 3) введение новых парадигм (подходов, моделей) обучения с подкреплением (RL) (метода обучения ИИ через систему «вознаграждений» за правильные действия) для оптимизации глобальной (общей, всей) когерентности. Доклад завершается предложением протокола (стандартной процедуры) для эмпирической (основанной на опыте и эксперименте) валидации (проверки) представленных методов.