Qwen2.5-Coder 32B Instruct

точность • Self-reported

точность • Self-reported

точность • Self-reported

точность • Self-reported

pass@1 Метод проверяет, способна ли модель решить задачу с первой попытки. Задача считается решенной, если ответ правильный при первом запуске. Если ответ неверный, задача считается нерешенной. Любые корректировки, дополнительные разъяснения, переформулировки вопроса или попытки решения на нескольких примерах не допускаются. Модель либо справляется с задачей с первой попытки, либо не справляется. Метрика не учитывает возможные улучшения при дополнительных попытках и отражает базовую способность модели решать задачи без итеративного подхода. • Self-reported

pass@1 Эта метрика оценивает вероятность того, что модель даст правильный ответ с первой попытки, то есть в своем первоначальном ответе. Для каждой задачи модель получает одно очко, если ее первый ответ содержит правильное решение, и ноль очков в противном случае. Итоговый балл представляет собой среднее значение по всем задачам. В отличие от других метрик, таких как pass@k, которые оценивают вероятность нахождения правильного ответа среди нескольких попыток, pass@1 оценивает способность модели находить правильное решение с первого раза. Это строгий критерий, поскольку он не допускает никаких ошибок в процессе решения. pass@1 является полезной метрикой для оценки надежности и точности модели в задачах, где важна первоначальная правильность, например, в образовательных приложениях или критических системах, где у пользователей может не быть возможности или ресурсов для проверки нескольких ответов. • Self-reported

точность • Self-reported

точность • Self-reported

точность • Self-reported

точность • Self-reported

точность • Self-reported

pass@1 — это способ измерения производительности модели, когда ей предоставляется только одна попытка. Это стандартный метрический показатель, используемый для оценки модели на задачах, которые требуют точного ответа. Например, если модель отвечает на 75 из 100 вопросов правильно с первой попытки, то показатель pass@1 будет равен 75%. В отличие от других метрик, таких как pass@k (где модель генерирует k разных ответов и считается успешной, если хотя бы один правильный), pass@1 тестирует способность модели найти правильный ответ с первой попытки. Это более строгая мера, поскольку модель не получает нескольких шансов. Этот показатель особенно важен для практических приложений, где обычно требуется один конкретный ответ, а не несколько вариантов. • Self-reported

точность • Self-reported

точность • Self-reported

точность • Self-reported