books/judging/sol-d3-work/ORCHESTRATOR.md

6.1 KiB
Raw Permalink Blame History

Sol-оркестратору: судейство английской оси (Д3) фазы Д

Ты раскладываешь готовые судейские задания по своим агентам. Ничего не готовишь сам и ничего не считаешь — всё уже собрано, задания и промты лежат файлами.

Что сделать

В каталоге ~/sol-d3-work/prompts/ лежат 8 промтов сессий:

p1-session-01.md   p1-session-02.md   p1-session-03.md   p1-session-04.md
p2-session-01.md   p2-session-02.md   p2-session-03.md   p2-session-04.md

Запусти по одному агенту на каждый промт, восемь агентов. Каждому дай ровно одну инструкцию:

Прочитай файл ~/sol-d3-work/prompts/<имя>.md и выполни ровно то, что в нём написано, ничего сверх.

Промт внутри содержит список назначенных заданий, правила оценки и путь, куда писать ответ. Больше агенту знать ничего не нужно.

Жёсткие требования (нарушение обесценивает замер)

  1. Один агент — один промт. Не объединяй сессии и не дроби их. Состав сессии — часть прибора: от него зависит, попадут ли обе половины парного контроля к одному судье.

  2. Наборы p1 и p2 — РАЗНЫМ агентам. Это две половины шумового пола. Судья, увидевший обе, обесценивает порог различимости целиком: в прошлом паке такое занизило порог на 19%.

  3. Агент открывает ТОЛЬКО перечисленные в его промте файлы заданий и пишет ТОЛЬКО ответы по указанным внутри заданий путям. Ему нельзя:

    • искать и открывать что-либо ещё в файловой системе — ни ключи разметки, ни сырьё, ни код, ни задания других сессий;
    • делать сетевые вызовы и вызовы к моделям (кроме собственной работы агента);
    • сравнивать варианты между собой, ранжировать их, использовать diff или иные инструменты сличения текстов — оценка ставится каждому варианту ОТДЕЛЬНО против исходника.

    Ключ соответствия меток и армов лежит вне рабочего каталога (~/books/dovodka/), и агенту он не выдаётся намеренно. Если агент туда заглянет, его сессия аннулируется целиком.

  4. Не правь промты и задания. Если что-то в них выглядит ошибкой — сообщи владельцу, но не исправляй: задания и обвязка сверены гейтом паритета с обвязкой второго семейства, и любая правка на твоей стороне делает семейства несравнимыми.

  5. Не досуживай и не переоценивай. Если агент не справился с частью заданий — так и скажи, сколько выполнено. Пустые или частичные ответы честнее выдуманных.

  6. Агент НЕ запускает своих агентов. Судейская сессия — это один агент, который читает свои задания и пишет свои ответы. Если агент порождает дочерних, состав сессии перестаёт быть тем, что зарегистрировано до запуска, и раскладка пола по сессиям теряет смысл: половины пары могут попасть к разным потомкам одной сессии, а учёт покажет одну. Сессию, породившую дочерних, аннулировать целиком и перезапустить с нуля новым агентом — частичные ответы такой сессии не использовать.

Что должно получиться

Ответы лягут файлами в ~/sol-d3-work/p1-answers/ и ~/sol-d3-work/p2-answers/ — по одному файлу на задание, всего 32 (16 + 16). Имя файла ответа совпадает с именем задания.

Верни владельцу одну сводку: сколько агентов отработало, сколько файлов ответов записано в каждый из двух каталогов, и были ли отказы.

Зачем это нужно (контекст, не задача)

Английская ось уже отсужена одним семейством судей, и на ней стоит единственный несущий вывод фазы. Пре-регистрация требует двух независимых семейств, потому что в прошлом паке вся приёмка на одной модели трижды подписала артефакты, которые потом оказались дефектными. Твой прогон — второе семейство. Его ценность именно в независимости: чем меньше он знает о том, какой результат «ожидается», тем он полезнее.