Minto

Одна общая оценка не отвечает, помогает ли Minto

В этом прогоне Claude Haiku 4.5 отработал два кейса режима audit. На наборе заголовков структура выросла с 2 до 6 баллов из 8. На наборе ежемесячных отчётов — упала с 6 до 2. Одна модель, один режим, один навык — противоположный результат. Поэтому оценка устроена как карта кейсов, а не как одно число.

Прогон v1.7.0-final · 11 кейсов в 4 режимах · 8 моделей · 172 слепых вердикта по 86 парам

Шкала

Структура (из 8) Качество (из 10)

Изменение структуры: с Minto и без него

Каждая клетка — один судейский документ: оценка структуры с Minto минус оценка той же модели без него. Максимум за структуру — 8 баллов.

Кейс Claude Opus 5 Claude Sonnet 5 Claude Haiku 4.5 Codex gpt-5.6-terra gpt-oss-120b qwen3.6-35b-a3b qwen3.6-fp8 qwen3.8-27b Среднее
write Создать и переработать текст
Предложение генеральному директору 01-big-chief +5 0 +4 0 0 −1 +2 −1 +1.1
Записка о наборных издержках 02-ttv +3 −1 0 −1 +1 +1 −1 − +0.3
Записка перед встречей 04-meeting-note +2 +2 0 +1 −1 +1 0 0 +0.6
Роль совета директоров 05-role-of-board +3 −1 +2 0 +2 +4 0 −1 +1.1
Сообщение о техдолге 08-techdebt 0 +1 0 +1 +2 −1 −1 −1 +0.1
Разбор большого запуска 10-rollout-review +2 −1 0 0 0 +1 0 − +0.3
Простой список без пирамиды 11-plain-list 0 +1 0 0 +1 +2 +3 +3 +1.2
audit Проверить и найти дефекты
Набор ежемесячных отчётов 03-period-graph-books 0 −2 −4 0 −1 0 0 −2 −1.1
Набор заголовков 07-headings-audit 0 0 +4 +3 −1 +1 +1 +1 +1.1
digest Отчитаться о прочитанном
Выжимка из нескольких источников 09-sources-digest +3 −1 0 +2 0 0 +3 +1 +1.0
viz Показать структуру
Пирамида готовой записки 06-ttw-viz +1 −2 +2 0 −1 0 −2 0 −0.2

Изменение качества текста: с Minto и без него

Каждая клетка — один судейский документ: оценка качества текста с Minto минус оценка той же модели без него. Максимум за качество — 10 баллов.

Кейс Claude Opus 5 Claude Sonnet 5 Claude Haiku 4.5 Codex gpt-5.6-terra gpt-oss-120b qwen3.6-35b-a3b qwen3.6-fp8 qwen3.8-27b Среднее
write Создать и переработать текст
Предложение генеральному директору 01-big-chief +1 +1 0 0 +3 −1 +2 −1 +0.6
Записка о наборных издержках 02-ttv +2 0 −1 +1 +3 −1 0 − +0.6
Записка перед встречей 04-meeting-note +2 +2 +1 0 −2 +2 0 −1 +0.5
Роль совета директоров 05-role-of-board +1 −1 +2 0 +1 +1 0 −1 +0.4
Сообщение о техдолге 08-techdebt 0 +1 0 +2 +2 −1 −1 −1 +0.2
Разбор большого запуска 10-rollout-review +3 −1 +1 0 0 +1 0 − +0.6
Простой список без пирамиды 11-plain-list +1 0 +1 0 +2 0 +2 +3 +1.1
audit Проверить и найти дефекты
Набор ежемесячных отчётов 03-period-graph-books +1 0 −2 0 +2 +1 +2 −1 +0.4
Набор заголовков 07-headings-audit +2 +1 +6 +4 +1 +3 +1 +4 +2.8
digest Отчитаться о прочитанном
Выжимка из нескольких источников 09-sources-digest +4 +1 −1 +1 0 −1 +2 0 +0.8
viz Показать структуру
Пирамида готовой записки 06-ttw-viz +1 −2 +3 0 0 0 −2 0 0.0

Как читать заливку

  • С Minto хуже
  • Без изменений
  • С Minto лучше
  • нет данных

Как читать эту карту

В клетке один документ. Каждая клетка — одна судейская пара, а не среднее. Клетка в плюс-минус один балл — шум; средние по строке, взятые по восьми моделям, надёжнее, а средние по режимам ещё надёжнее.

172 вердикта, 86 пар. Каждую пару судят дважды: без навыка и с навыком. Отсюда и берётся число 172 на главной странице. Две пустые клетки — это qwen3.8-27b на двух самых длинных кейсах: он не уложился в лимит ни с навыком, ни без него, и вычитать нечего.

Эти дельты — вычитание, а не новая судейская работа. Отчёт v1.7.0 сознательно не считал дельты на уровне кейсов. Эта страница берёт их вычитанием: оценка с навыком минус оценка без него в уже оценённой паре. Ничего не пересуживали и ничего не перенастраивали.

Кейсы не взаимозаменяемы. Каждый режим проверяем на тех задачах, для которых он сделан: write — на создании и переработке текста, audit — на поиске дефектов, digest — на отчёте о прочитанном, viz — на показе готовой структуры. Общая оценка свела бы их в одно число, которое не описывает ни один из них.

Полная методология и ограничения На главную страницу Minto