GPQA: почему 80% на «аспирантских» вопросах не значат, что нейросеть решит вашу задачу

В презентациях новых моделей искусственного интеллекта всё чаще мелькает аббревиатура GPQA (Graduate-Level Google-Proof Q&A Assessment). Звучит весомо, выглядит как диплом с отличием от Массачусетского технологического института, и маркетинг этим беззастенчиво пользуется. Нам показывают график, где новая модель набирает условные 78%, обгоняя предыдущую версию на три процента, и предлагают считать это главным критерием выбора.

Но если вы покупаете инструмент для работы, цифра из пресс-релиза может обернуться очень дорогим разочарованием.

Что такое бенчмарк и зачем моделям нужна олимпиада для профессоров

Бенчмарк — это стандартизированный набор тестов, эталонная линейка для измерения способностей нейросети. Представьте, что вы выбираете автомобиль. Продавец говорит вам о мощности двигателя в лошадиных силах. Это тоже своего рода бенчмарк. Но эти цифры ничего не скажут о том, насколько удобно в машине возить тещу на дачу или поместится ли в багажник ваш велосипед.

GPQA расшифровывается как вопросы уровня аспирантуры, защищенные от поиска в интернете. Это база данных из сотен задач по биологии, химии и физике. Их составляли действующие ученые так, чтобы ответ нельзя было просто нагуглить или вытащить из учебника одной строчкой. Чтобы решить такую задачу, языковая модель должна собрать факты из разных областей, выстроить сложную логическую цепочку и выдать аргументированный вывод без готовой подсказки под рукой. По сути, это закрытая лаборатория: у машины нет доступа к внешнему поисковику, она опирается только на то, до чего додумалась сама в ходе внутренних рассуждений.

Как читать цифру правильно: процент решенных задач против вашей реальности

Счёт измеряется просто — процент решённых задач. Если модель набрала 80% на GPQA Diamond (самой сложной версии теста), это означает предел её эрудиции. Она способна рассуждать на уровне крепкого выпускника профильного вуза в узком коридоре естественных наук.

Однако этот показатель описывает лишь потолок точности на экстремально сложных темах. Он совершенно не гарантирует, что модель справится с вашей бытовой или рабочей задачей. Более того, существует статистический парадокс усреднения. Модель может блестяще решать задачи по квантовой механике, но полностью проваливаться на базовой органической химии. В среднем получится красивый высокий балл, который скроет критические слепые зоны. Для бизнеса это значит одно: там, где ваша задача пересекается со «слепым пятном», лидер индустрии поведет себя как новичок.

Чего никогда не показывает научный бенчмарк

Именно здесь при выборе нейросети совершается самая дорогая ошибка. Высокий балл в GPQA транслируют на все остальные навыки, хотя связи между ними почти нет:

Скорость ответа и цена токена. Самая умная модель в мире бесполезна, если один запрос стоит пятьсот рублей, а ответ приходится ждать полминуты. В реальном бизнесе время сотрудника часто дороже разницы в качестве генерации текста.

Умение писать код, верстать макеты или держать контекст чата. Наука требует глубины одного хода мысли. Программирование требует синтаксической дисциплины и умения собирать проект из десятков файлов. Верстка требует понимания визуальной иерархии. Бенчмарк по физике никак не проверяет, закроются ли ваши теги div. Кроме того, GPQA оценивает точечный удар — решение одной тяжелой задачи, тогда как реальная работа часто требует удерживать в памяти диалог на протяжении многих страниц.

Надёжность фактов вне этих трёх наук. Нейросеть-лидер может безупречно объяснить принцип неопределенности Гейзенберга, но затем абсолютно уверенно сослаться на несуществующий пункт Гражданского кодекса РФ или придумать статистику смертности. На научных данных она тренируется миллионы раз, на актуальной юридической практике — гораздо меньше.

Поведение на ваших данных. Один сложный кейс из вашей бухгалтерии или логистического отдела может быть провален даже лидером рынка, если ему не хватит специфического контекста. Общие знания о мире не заменяют знание регламентов именно вашего предприятия.

Мини-кейс: когда профессор физики проигрывает курьеру в логистике

Представьте торговую компанию среднего размера. Руководитель впечатлился статьей о новой модели с рекордным результатом в GPQA и купил корпоративную подписку, чтобы оптимизировать закупки. Ему нужно рассчитать оптимальный маршрут доставки для двадцати фур с учетом закрытых на ремонт мостов, окон разгрузки на складах и стоимости платных дорог.

Модель начинает виртуозно рассуждать. Она строит графы, упоминает алгоритм Дейкстры (способ нахождения кратчайшего пути) и теорию транспортных потоков. Выдает математически идеальный план. Но он невыполним в реальности, потому что модель не знает главного: водитель Сидоров принципиально не выезжает после восьми вечера из-за условий его договора, а склад в Мытищах принимает паллеты только европейского стандарта, которых у компании нет.

Для решения этой задачи нужен не интеллект уровня аспиранта-физика, а дотошный диспетчер, который умеет работать с таблицами Excel, строго соблюдает вводные данные и не придумывает новые правила дорожного движения на ходу. Блестящий результат в научной олимпиаде оказался нерелевантен прикладной задаче.

Бытовая аналогия: победа на Олимпиаде и сборка шкафа

GPQA — это как международная физическая олимпиада или защита докторской диссертации. Победа однозначно говорит о высочайшем классе атлета. Но эта победа ровным счетом ничего не гарантирует, когда тот же человек придет к вам домой собирать шкаф из Икеи или чинить проводку в прихожей.

Более того, олимпийский чемпион может оказаться ужасающе неэффективным в быту. Он способен потратить четыре часа на идеальную калибровку дверцы шкафа по лазерному уровню, когда вам просто нужно, чтобы одежда не выпадала наружу прямо сейчас. Ваша рабочая задача редко требует гениальности. Чаще всего она требует предсказуемости, соблюдения дедлайна и понятного бюджета.

Как проверять модель на практике перед покупкой

Не приобретайте доступ к нейросети по одной строчке из пресс-релиза разработчика. Любой бенчмарк — это лабораторная среда, а ваша компания живет в реальной грязи операционных процессов. Вместо этого выделите два-три дня на приземленный аудит:

Запустите модель на трех-пяти своих реальных задачах. Возьмите вчерашние письма клиентов, сырые выгрузки из вашей CRM-системы (программы управления отношениями с клиентами), типовые договоры. Посмотрите, как она справляется с рутиной, которая занимает восемьдесят процентов времени ваших сотрудников.

Проверьте точность на фактах из вашей предметной области. Задайте вопрос по вашим внутренним регламентам или редкому оборудованию. Если модель начнет уверенно галлюцинировать — выдумывать функции кнопок или пункты законов — строить на ней автоматизацию опасно.

Замерьте скорость и стоимость в боевых условиях. Прогоните сотню типовых запросов через API (интерфейс программного взаимодействия). Умножьте количество токенов (частей слов, которыми считает модель) на цену поставщика. Часто выясняется, что модель, уступающая лидеру 5% в GPQA, работает в десять раз быстрее и обходится в пять раз дешевле, давая приемлемый для бизнеса результат.

Оцените стабильность длинного диалога. Заведите один длинный чат, имитируйте реальную переписку поддержки в течение недели. Проверьте, на каком шаге модель забудет, о чем вы договаривались в самом начале.

Практический вывод

Цифра в GPQA сообщает ровно одну вещь: насколько глубоко модель может копнуть в вакууме, если тема касается фундаментальных законов природы. Это отличный фильтр первого порядка, чтобы отсечь откровенно слабые системы. Но для внедрения в работу этот показатель вторичен.

Выбирайте нейросеть не по максимальному баллу на экзамене для ученых, а по минимальному количеству брака на вашем конвейере. Запустите её на своих данных, посчитайте реальные рубли за тысячу запросов и время ожидания ответа. Полезность искусственного интеллекта определяется не способностью сдать экзамен аспиранту, а умением экономить ваше время и деньги в скучных повседневных процессах, которые повторяются изо дня в день. Именно на стыке высокой точности и низкой цены рождается настоящая эффективность автоматизации.