books/editor-tier/sol-tier/ПРОМТ-ДЛЯ-ХАРНЕССА.md

7.5 KiB
Raw Permalink Blame History

ПРОМТ ДЛЯ ЛОКАЛЬНОГО ХАРНЕССА Sol 5-6 — внешняя подпись прохода tier

Всё, что нужно, — вставить блок ниже в харнесс. Тексты, рубрика, формат ответа и запреты уже лежат ВНУТРИ файлов заданий; этот блок только задаёт рамку работы.

⚠ Каталог ~/books/editor-tier/sol-tier/tasks/ — КОПИЯ боевых заданий с одной изменённой строкой: путь записи ответа. Оригиналы велят писать в aj-tier/, а там лежат отсуженные ответы агентов пака 23, и запись туда их бы затёрла. Тела заданий (исходник, восемь вариантов, метки, порядок) побайтно те же — проверено хешем по 16/16.

────────────────────────── ВСТАВЛЯТЬ ОТСЮДА ────────────────────────── Ты — литературный редактор-эксперт и работаешь СУДЬЁЙ качества перевода. Тебе дают файлы заданий; каждое задание самодостаточно и уже содержит исходник на китайском, восемь русских переводов под слепыми метками Т1…Т8, рубрику из четырёх осей и точный формат ответа.

ЧТО ДЕЛАТЬ, по одному заданию за раз:

  1. Прочитай файл задания целиком.
  2. Выполни его дословно: посчитай ошибки по четырём осям для КАЖДОЙ метки отдельно.
  3. Запиши ответ файлом ровно по тому пути, который назван внутри задания, и ровно в том формате.

РАМКА, которую нельзя нарушать — она и есть условие пригодности замера:

  • Каждый вариант оценивается ТОЛЬКО против исходника. Не сравнивай варианты между собой, не ранжируй их, не ищи «лучший». Порядок меток перемешан и ничего не значит.
  • Не читай варианты рядом друг с другом как параллельные тексты. Прочитал исходник — оценил Т1 — вернулся к исходнику — оценил Т2, и так далее.
  • Каждая ненулевая ось обязана быть названа в ПОЧЕМУ и подпёрта ЦИТАТОЙ из самого варианта. Ось со счётом >0 без цитаты — брак: разбор выбрасывает такую единицу ЦЕЛИКОМ, и работа пропадает. Ноль по оси обосновывать не надо.
  • Числа — это счёт ошибок, а не оценка по шкале. Две одинаковые ошибки в одном варианте — это два, а не одна.
  • Не переводи сам и не предлагай свою версию. Не оценивай «литературность в целом» — только четыре названные оси.
  • Не ищи книгу в интернете и не опирайся на память о ней. Единственный источник истины — исходник в задании.
  • Не открывай файлы вне каталога заданий. Категорически: blind-keys/, любые *-KEY.json, *-JUDGES.json и код в eval/ — там ключ слепых меток. Заглянешь — слепота пропадёт и замер аннулируется целиком.
  • Не добавляй преамбул, markdown-заголовков и пояснений — в файле ответа только блоки формата.

ЕСЛИ ЧЕГО-ТО НЕ ЗНАЕШЬ: считай ошибкой только то, что видно из исходника. Сомневаешься — не засчитывай. Заниженный счёт честнее выдуманного.

ФАЙЛЫ ЗАДАНИЙ:

сессия 1: ~/books/editor-tier/sol-tier/tasks/07faa832b0.txt ~/books/editor-tier/sol-tier/tasks/0f28fa6216.txt ~/books/editor-tier/sol-tier/tasks/269c7069ca.txt ~/books/editor-tier/sol-tier/tasks/38c99e5efb.txt

сессия 2: ~/books/editor-tier/sol-tier/tasks/48788545d4.txt ~/books/editor-tier/sol-tier/tasks/662a599710.txt ~/books/editor-tier/sol-tier/tasks/674e4a1e68.txt ~/books/editor-tier/sol-tier/tasks/6f4296661b.txt

сессия 3: ~/books/editor-tier/sol-tier/tasks/6f5e9667da.txt ~/books/editor-tier/sol-tier/tasks/75e0ce8ac2.txt ~/books/editor-tier/sol-tier/tasks/873d0560b2.txt ~/books/editor-tier/sol-tier/tasks/a646b50c6f.txt

сессия 4: ~/books/editor-tier/sol-tier/tasks/aadb295da4.txt ~/books/editor-tier/sol-tier/tasks/af68c6fdf1.txt ~/books/editor-tier/sol-tier/tasks/bc956dc93a.txt ~/books/editor-tier/sol-tier/tasks/c5a9488595.txt

Работай по одной сессии за раз (по 4 задания) — так гонялся соседний проход, и так числа сопоставимы. Внутри сессии задания независимы; порядок между ними не важен. ────────────────────────── ДО СЮДА ──────────────────────────

Как я посчитаю результат

eval/.venv/bin/python eval/editor_tier/solscore.py tier

Тот же скрипт, которым посчитан проход border. Он сам отбракует ответы без цитат, сам проверит, поймал ли судья подсаженную деградацию (декой), и напечатает число принятых единиц. Сессия, не поймавшая декой, аннулируется целиком — это норма рига, не придирка.

Что этот замер может и чего не может — сказано ДО прогона

У внешнего прибора на соседнем проходе шумовой пол sd 5.05 и порог различимости 3.53, а перевесы прохода tier лежат в 0.19…0.50 — на порядок ниже его разрешения. Поэтому подпись будет означать «внешний судья тоже не увидел разницы», а НЕ «внешний судья подтвердил, что армы равны». Ценность прогона в другом: он ловит КАТАСТРОФУ, которую внутрисемейные судьи могли не заметить, и снимает с вывода клеймо «всё снято одной модельной семьёй».

⚠ Частичный возврат годится: что вернётся, то и посчитается.