Kimi K2 Base

EM • Self-reported

EM • Self-reported

EM • Self-reported

Diamond Avg@8 Diamond Avg@8 представляет собой метрику средней производительности модели по итогам 8 экспериментов, которая рассчитывается как среднее 8 наилучших результатов из каждого эксперимента. Например, Diamond Avg@8 для GPT-4o составляет 93,3%, что означает, что GPT-4o получает в среднем 93,3% по своим 8 лучшим попыткам в каждом эксперименте. Кроме того, Diamond@8 отражает результаты модели на наборе из 8 лучших попыток по всем экспериментам. Это соответствует лучшим показателям, которые можно достичь, используя технику "множественных попыток" (multiple shot) и выбирая лучший результат из нескольких решений, сгенерированных моделью. В каждом эксперименте наш эталон — это производительность специалиста высокого уровня из области, соответствующей рассматриваемой задаче. • Self-reported

EM • Self-reported

Правильный • Self-reported

Pass@1 — метрика, оценивающая способность модели корректно решать задачу с первой попытки. Она особенно актуальна в областях, где многократные попытки решения не приветствуются, например, при решении задач программирования. Вычисление Pass@1 выполняется на множественных генерациях ответов. Если среди n сгенерированных решений есть c корректных, то оценка Pass@1 составляет c/n. При необходимости получить точную оценку Pass@1 по единственному решению, используется Pass@1 = [решение корректное], что эквивалентно стандартной точности. Метрика Pass@1 широко используется при оценке производительности кодогенерирующих моделей, как в исследованиях, так и при разработке систем автодополнения кода. • Self-reported

Pass@1 Pass@1 - метрика, используемая для оценки эффективности моделей генерации кода. Она измеряет процент задач программирования, которые модель может решить с первой попытки. Как работает Pass@1: 1. Модели предоставляется задача программирования 2. Модель генерирует одно решение 3. Решение проверяется на наборе тестов 4. Если решение проходит все тесты, оно считается успешным Pass@1 рассчитывается как процент успешно решенных задач из всего набора. В бенчмарках, где допускается несколько попыток, например Pass@k, Pass@1 является наиболее строгой метрикой, так как она требует успешного решения с первой попытки, без возможности доработки или исправления ошибок. Высокий показатель Pass@1 указывает на способность модели точно понимать задачи программирования и генерировать работающий код без итераций, что особенно ценно в реальных сценариях разработки. • Self-reported

EM • Self-reported

EM • Self-reported

Правильный • Self-reported

EM • Self-reported

EM • Self-reported