Рациональные числа
Рациональные числа
Telegram

Результаты ИИ‑агентов: Agents' Last Exam (июнь 2026)

Рациональные числа

Понимание мира через данные Статистика и данные из разных областей. Минимум оценок и интерпретаций, максимум данных и фактов Чат: @rationalchat https://rationalnumbers.ru По рекламе: @kgreenmedia В реестре: vk.cc/cKf8WS Автор: @kirillgreen

Открыть в TelegramДругие публикации
ииагентыagents' last exam

Строка — задача, столбец — связка агента и модели, цвет — средний балл. Балл бывает дробным, но во многих задачах есть обязательное условие вроде «файл открывается без ошибок», и без него ставят ноль

Ещё мы писали про то, как измеряют нейросети:

Дискуссия

Maksim Litvinov
июнь? это ж прошлый век
💯4🌚1
Nikita
Данные очень устарели
ᅠᅠEDWARD ᅠSNOWᅠᅠ
Кому пришло в голову это на опенклав вообще тестить лол
krakotay
ᅠᅠEDWARD ᅠSNOWᅠᅠ
Кому пришло в голову это на опенклав вообще тестить лол
А что не так? Там несколько разных harness, какой лучше
ᅠᅠEDWARD ᅠSNOWᅠᅠ
krakotay
А что не так? Там несколько разных harness, какой лучше
Да это не среда разработки просто. Оч странный бенчмарк. Возможно как раз пытались нащупать что опенклав может потягаться с курсором например
krakotay
ᅠᅠEDWARD ᅠSNOWᅠᅠ
Да это не среда разработки просто. Оч странный бенчмарк. Возможно как раз пытались нащупать что опенклав может потягаться с курсором например
Так бенч и не про среду разработки. Это бенчмарк агентов, какой лучше - openclaw как раз для такого предназначен
Kirill Oleinichenko
ᅠᅠEDWARD ᅠSNOWᅠᅠ
Да это не среда разработки просто. Оч странный бенчмарк. Возможно как раз пытались нащупать что опенклав может потягаться с курсором например
Харнес оч сильно влияет на результат, поэтому как раз правильно, что тестили на разных Наоборот, нужно было еще больше разных харнесов тестить
❤1
Maksim Litvinov
krakotay
А что не так? Там несколько разных harness, какой лучше
https://frontierharness.org/ выбирай
Присоединиться к обсуждению →

Читайте так же