books/editor-tier/sol-tier/ИНСТРУКЦИЯ.md

Д2 — внешняя подпись прохода tier. Для локального харнесса Sol 5-6

У харнесса есть доступ к файлам, поэтому пасты не нужны — он читает и пишет сам.

ЧИТАТЬ: ~/books/editor-tier/aj-tier-tasks/*.txt — 16 заданий ПИСАТЬ: ~/books/editor-tier/sol-tier/<тот же токен>.txt — ответ дословно, один файл на задание

Что это и почему именно так

Проход tier отвечает: бьёт ли сильный тир редакторов боевой deepseek-v4-pro. Ответ пака — «не бьёт». Это утверждение о том, чего судья НЕ различил, и оно тем слабее, чем однороднее судьи; все судьи этого прохода — агенты одной модельной семьи. У соседнего прохода border внешняя подпись уже есть и она сработала: 32/32 приняты, декой пойман 32/32, вердикт совпал.

Задание самодостаточно: рубрика, четыре оси, формат ответа, запрет сравнивать варианты между собой и запрет искать книгу — всё внутри файла. Ключ слепых меток судье НЕ даётся и лежит отдельно (blind-keys/tier-KEY.json); харнессу в него ходить нельзя, иначе слепота пропадает.

Рамка, которую нельзя нарушать

• одно задание = один контекст; варианты внутри задания НЕ сравнивать между собой, каждый оценивается только против исходника;
• порядок вариантов внутри задания не менять, метки не переименовывать;
• ответ возвращать как есть, не «дочищать» — лишнее разбор отбросит сам, а правка руками делает показания непроверяемыми;
• ⚠ НЕ читать blind-keys/, *-KEY.json, *-JUDGES.json и код eval/ — там ключ.

Разбивка (как гонялся border: по 4 задания на сессию)

• сессия 1: 07faa832b0 · 0f28fa6216 · 269c7069ca · 38c99e5efb
• сессия 2: 48788545d4 · 662a599710 · 674e4a1e68 · 6f4296661b
• сессия 3: 6f5e9667da · 75e0ce8ac2 · 873d0560b2 · a646b50c6f
• сессия 4: aadb295da4 · af68c6fdf1 · bc956dc93a · c5a9488595

Как считается результат

eval/.venv/bin/python eval/editor_tier/solscore.py tier

Тот же скрипт, которым посчитан border. Он сам отбракует ответы без цитат, сам проверит, поймал ли судья декой, и напечатает число принятых единиц. Сессия, не поймавшая декой, аннулируется целиком — это норма рига, а не придирка.

⚠ Частичный возврат годится: что вернётся, то и посчитается.