Бенчмарк 90% — а в проде провал. Я тестирую иначе: 30 своих задач

Модель набрала 90% в бенчмарке — и провалилась на первом же живом запросе клиента. После третьего такого случая я перестал верить публичным метрикам.

Мой тест выглядит так: 30 задач из моей реальной работы — с настоящими формулировками, опечатками и данными. Не проходит 25 из 30 — в прод не идёт, сколько бы ни набрала в MMLU.

Что это даёт: видно деградацию при смене версии модели, можно сравнивать варианты на своей задаче, а не на абстрактной, и есть аргумент для бизнеса — «вот цифры на наших данных». Бенчмарк отвечает на вопрос «насколько модель умная». Свой набор — «подходит ли она нам».