Как проверить, видит ли ИИ середину 50-страничного отчета: тест-иголка и что делать

Представьте, что вы загрузили ассистенту годовой отчет на 60 страниц. Спрашиваете: «Какая сумма стоит в строке 42 на странице 34?» Модель уверенно отвечает, но цифра не сходится. Или того хуже — пишет, что в документе всего 10 страниц. Вы злитесь, но дело не в глупости алгоритма. Дело в его «памяти», и именно для проверки этой памяти существует специальный бенчмарк — тест на поиск «иголки в стоге сена» (проверка способности найти один точный факт в огромном массиве текста).

Что на самом деле проверяет этот тест и почему 90% — это не гарантия

Когда разработчик пишет в пресс-релизе, что модель набрала 92% на бенчмарке Needle-in-a-Haystack (иголка в стоге сена), он имеет в виду следующее. Системе дали 100 длинных текстов, в середину каждого спрятали один уникальный факт (например, «ключ от сейфа — 8842»), а затем попросили его найти. Счёт 92% означает, что в 92 случаях из 100 модель справилась.

Звучит как отличный результат, но дьявол кроется в длине. Этот тест часто проводят на объеме в 16, 32 или 64 тысячи токенов (минимальных кусочков текста, на которые модель дробит слова). Ваш рабочий отчет на 50 страниц в формате PDF с таблицами, сносками и сканами легко превращается в 100–120 тысяч токенов.

Внутри самой модели есть «контекстное окно» — это её оперативная память. У большинства доступных сегодня систем она эффективно работает на первых и последних 10–15% документа. Всё, что попадает в середину, превращается в густую кашу. Модель не видит там деталей, она лишь смутно «знает», что где-то в середине что-то было. Поэтому тест на 32 тысячи токенов никак не гарантирует, что ассистент найдет цифру на 34-й странице вашего 60-страничного отчета. Он просто не дотягивается до этой глубины своим «зрением».

Почему модель слепнет посередине: механика контекстного окна

Чтобы понять, почему ассистент путается в середине документа, нужно заглянуть под капот. Языковая модель не читает текст как человек, водя глазами по строчкам. Она переводит каждое слово в число (токен). Весь ваш отчет — это длинная цепочка чисел.

Чтобы ответить на вопрос, модель должна удерживать в «фокусе» все эти числа одновременно. Но вычислительная сложность растет не линейно, а квадратично: чем длиннее цепочка, тем тяжелее модели связывать начало с концом. Чтобы не перегреть серверы и ответить вам за секунды, архитектура модели применяет оптимизации. Она начинает «прореживать» внимание к середине текста.

Это похоже на периферийное зрение. Вы четко видите текст прямо перед глазами, чуть хуже — по краям, а то, что происходит далеко сбоку, замечаете только боковым зрением как движущееся пятно. Модель видит первые и последние страницы в HD, а страницы с 20-й по 40-ю — как в густом тумане. Именно поэтому в тестах, созданных российскими учеными из МФТИ, SberAI и Института AIRI, качество работы даже самых продвинутых систем заметно падает по мере увеличения длины текста.

Они разработали первый в России открытый «марафонский» полигон для моделей, где проверяют работу с текстами от 4 до 128 тысяч структурных элементов. Выяснилось, что лидеры рынка начинают ошибаться именно тогда, когда документ переваливает за отметку в 30–40 страниц стандартного текста.

Как провести честный тест на вашем рабочем документе

Забудьте про общие бенчмарки из пресс-релизов. Проверить нужно вашу конкретную связку «модель + ваш тип документа». Завтра утром выделите 15 минут и сделайте следующее:

1. Возьмите самый типичный для вас длинный документ — договор аренды, финансовую смету или протокол испытаний на 50+ страниц. Если это PDF со сканами, обязательно пропустите его через OCR (систему распознавания текста), чтобы ассистент видел буквы, а не картинки. 2. Откройте середину документа. Допустим, это страница 32. Найдите там самую скучную, сухую и точную цифру. Не «цель компании — лидерство», а «индекс вязкости при 40 градусах — 145,2». 3. Сотрите в своей голове контекст. Не пишите «найди данные по вязкости в разделе три». Это подсказка, которая ведет модель к началу раздела. Напишите максимально отстраненно: «На какой странице и в какой строке встречается число 145,2?» 4. Если модель отвечает «такого числа нет» или указывает 31-ю страницу — для ваших рабочих задач она слепа. Если она находит, но тратит на это полторы минуты — она будет тормозить ваш рабочий день.

Повторите этот эксперимент три раза с разными фактами в середине разных документов. Если ассистент провалил два из трех — он годится только для коротких служебок, но не для анализа ваших отчетов.

Что делать, если ассистент провалил тест: три рабочих обхода

Вы не можете залезть в архитектуру GigaChat, Claude или другой модели и расширить ей память. Но вы можете изменить подачу материала. Если ваш рабочий документ не пролезает в «узкое горло» контекстного окна, используйте один из трех методов:

1. Разделяй и властвуй. Не кидайте в чат весь PDF. Разбейте 60-страничный отчет на пять логических глав по 10–12 страниц. Загружайте их по очереди. Сначала спросите краткое резюме первой главы, затем второй. Когда дойдете до сути, модель будет помнить выжимку из каждой части, и общая картина сложится верно. Это превращает один «марафон» в серию понятных «спринтов». 2. Дайте внешние глаза. Если у ассистента есть функция подключения к внешним хранилищам (например, через протокол Model Context Protocol), позвольте ему не запоминать текст, а искать в нем. Вместо «прочитай и запомни весь договор» вы даете ему доступ к файлу и команду: «используй поиск по документу, чтобы найти значение в строке 42». Модель не держит текст в памяти, а делает точечный запрос, как поисковик в браузере. Это на порядок надежнее для длинных таблиц. 3. Сделайте карту документа своими руками. Перед тем как задавать сложные вопросы, попросите модель построить индекс: «Прочитай документ и выпиши, какие данные и на каких страницах находятся». Она создаст краткое оглавление с метаданными. В этот момент модель как раз пробежится по краям и середине, зафиксирует структуру. Затем в следующих запросах вы будете ссылаться на этот индекс: «Ты же видела, что данные по строке 42 есть на странице 34, какая там цифра?» Использование уже созданной карты снимает с модели задачу заново искать иголку в тумане.

Главное правило выбора ассистента для больших документов простое: не верьте цифре 90% в рекламе. Загрузите свой самый сложный, самый кривой и самый длинный отчет, спрячьте в его середине факт и попробуйте найти. Если модель справляется с вашей «иголкой» — это ваш рабочий инструмент. Если нет — никакие премии за лучший ИИ года не заставят его правильно посчитать вашу смету.