43 lines
9.1 KiB
Markdown
43 lines
9.1 KiB
Markdown
# Промт: полигон-сессия — консолидация/гигиена своей зоны (эксперименты + eval-код) (2026-07-12, D38.2)
|
||
|
||
---
|
||
|
||
## Кто ты и зачем
|
||
|
||
Ты — **полигон-сессия** TextMachine. Граница «мерить→строить» пройдена (дуга качества exp12→14b сошлась D38: строим инфра-пак, не мерим редакторов). Накопилось барахло в ТВОЕЙ зоне: **~14 exp-доков** без единой карты, **~32 спент exp-скрипта** плоско в `eval/`, **`exp14b_*.py` не закоммичены** (эксп закрыт D38 — воспроизводимость под угрозой). Задача — **аккуратно прибрать СВОЮ зону** (`eval/` + `docs/experiments/`), НЕ сломав закрытые эксперименты.
|
||
|
||
**⚠ СНАЧАЛА ФАКТ-ЧЕКНИ направление.** Ниже — выводы аудита оркестратора (3 read-only агента). НЕ доверяй им слепо (мемо `eval-aggregation` + правило «клейм → живая проба»): по каждому пункту сам сверь по файлам/D-логу/`git grep` ПЕРЕД действием. Если аудит неточен — пиши в отчёт, не абсорбируй.
|
||
|
||
Зона записи: `eval/` + `docs/experiments/` + секция «Полигон» в `PROGRESS.md`. **НЕ трогать:** `docs/architecture/`, `CLAUDE.md`, корневой `docs/README.md` (зона оркестратора), `/home/ubuntu/books/` (данные владельца), чужой untracked (backend). `.env` не читать.
|
||
|
||
## Аудит оркестратора — ФАКТ-ЧЕКНУТЬ, потом действовать
|
||
|
||
**Вывод аудита (сверь!):** доки в целом УЖЕ забаннерены (ревизия D31). **Ни один exp/research-док НЕ безопасно архивировать/сливать** — все либо забаннерены, либо на них живые ссылки, а перемещение ломает `file:line`-грепы D-лога (напр. `exp12:174`, `exp12 §2.2`) — это дисциплина D23.3 (историю не переписываем). **Реальные пробелы:** (1) нет индекса экспериментов (README-карта пропускает 12/13/14/14b); (2) `eval/` — 32 спент-скрипта плоско; (3) `exp14b_*.py` untracked; (4) [не твоя зона] `.puml` на 21 решение устарел, `CLAUDE.md`/`README` число-лаг D35→D38.
|
||
|
||
## Задача 1 — Индекс экспериментов `docs/experiments/README.md` (ТВОЯ зона; ПОСТРОЙ, сверив каждую строку)
|
||
|
||
Одна строка на эксперимент: *что установил → чем ратифицирован → статус*. **Сверь каждую строку по самому доку + D-логу ПЕРЕД записью** (черновик оркестратора ниже — верифицируй, не копируй слепо). Легенда: ⭐ЖИВОЙ-reference · ЖИВОЙ · закрыт (review-header/banner) · settled (одноразовый бенч).
|
||
|
||
Черновик карты (проверить):
|
||
- **Живые reference (не закрытые эксперименты):** `00-provider-quirks` ⭐(wire-квирки; +D38 gpt-5.4-квирк) · `09-pilot-protocol` ⭐(пилот Ф2.5 — РЕШАЮЩИЙ) · `01-token-calibration`(множители; $→D30.4) · `02-refusal-benchmark`(split_sentences=оракул) · `07-coverage-precision`(гейт D12/Q4).
|
||
- **Эксперименты:** `03`(локальные=«шпионы», settled) · `04-editor-quality`(**рекомендация ОТМЕНЕНА** — superseded D30.1/D32/D38; banner есть) · `06`(извлечение, settled) · `08-cost-model-v2`($→D30.4; banner) · `10`(violence-бенч, settled) · `11`(erotica-бенч, settled) · **`12-quality-diagnosis`**(диагноз: пассивный-моно-редактор+сид+построчность+нет-санитайзера → D30/D35; header) · **`13-translator-bakeoff`**(flash сохранён, pro отклонён → D32; header) · **`14-quality-empirics`**(претензия-1=промпт-рычаг; A-2pass отклонён → D37; header) · **`14b-meaning-battery`**(«только gpt-5.4» ОПРОВЕРГНУТО; фронтир-в-дефолт не нужен; корень терм-дрейфа=статус-draft сида → D38/D38.1; header).
|
||
- **Блок «дуга качества 12→13→14→14b»:** интерим пре-скрины (D35), НЕ пилот; сошлись D38 → строить инфра-пак; настоящий вердикт = пилот Ф2.5.
|
||
|
||
## Задача 2 — Аккуратная уборка `eval/`-кода (ТВОЯ зона; ОСТОРОЖНО, не сломай закрытые эксперименты)
|
||
|
||
**Порядок и осторожность (владелец: «аккуратно поправит полигон код»):**
|
||
1. **Закоммить `exp14b_{arms,judge,monitor,score}.py`** — untracked, эксп закрыт D38, код за ратифицированным решением НЕ в git = дыра воспроизводимости. Path-scoped коммит.
|
||
2. **ПЕРЕД любым перемещением — проверь кросс-скриптовые импорты/шаринг** (`grep -rn "import exp\|from exp\|exp14_common\|material\|_common\|shared" eval/`): закрытые эксперименты могут делить хелперы (напр. `exp14_common.py`, `*_material.py`). НЕ ломать импорты закрытых экспов и не сиротить общие модули.
|
||
3. **Архивация спент-скриптов** (только полностью-закрытые, БЕЗ живых импортов): exp12 (D30), exp13 (D32) — старейшие закрытые; кандидаты в `eval/archive/` (создай подпапку, `git mv`). exp14/14b — свежайшие, можно оставить или архивировать по твоему решению. **НЕ архивируй живые харнесы** (пилот `memory_eval.py`, оракулы `refusal_bench`/`split_sentences`, `token_calc`, coverage — на них живые ссылки из `eval/README`/контракта — сверь).
|
||
4. **Сверь с `eval/README.md`** (он может ссылаться на скрипты как на оракулы/харнесы — не осироти ссылку; при перемещении — поправь README-зону eval, это твоя зона).
|
||
5. `git status` перед каждым коммитом (мультисессии); стейджинг ТОЛЬКО пофайловый (`add -A` уже подметал чужой WIP); коммиты en ≤30 слов.
|
||
|
||
**Само-проверка (мандат CLAUDE.md 12.07):** после правок код-структуры прогони — импорты закрытых экспов не сломаны (`python -c "import ..."` или прогонная проба ключевого закрытого скрипта), `eval/README` ссылки живы. Не «0 ошибок» на веру.
|
||
|
||
## Задача 3 — ФЛАГ-ЛИСТ (НЕ делать — чужие зоны, в отчёт)
|
||
- **Владельцу:** `/home/ubuntu/books/gu-zhenren/{diag 6.1M, rerun 4.1M, acceptance 3.0M, exp14 2.6M, research15-probes 1.6M, exp14b 940K}` = ~18M артефактов закрытых экспов/приёмки — можно чистить (исходники `*.txt` ~38M + `*-seed*.yaml` НЕ трогать). Владелец решает.
|
||
- **Оркестратору:** `.puml` (components/pipeline) синхронизированы с D17 — на 21 решение устарели (нет D30-билингв-флипа, D35-пивота) → баннер/обновление (зона оркестратора); `CLAUDE.md`/`docs/README.md` число-лаг «D1–D35»→D38 (косметика, оркестратор).
|
||
|
||
## Deliverable / дисциплина
|
||
- `docs/experiments/README.md` (индекс, каждая строка сверена) + аккуратная `eval/`-уборка (exp14b закоммичен; спент exp12/13 в `eval/archive/` если без живых импортов) + отчёт в PROGRESS «Полигон» (что фактчекнул, что сдвинул, флаг-лист владельцу/оркестратору).
|
||
- **Фактчек направления — первым** (аудит оркестратора мог ошибиться; не абсорбируй слепо). История НЕ переписывается (D23.3 — баннер, не удаление; exp-доки НЕ перемещать — ломает грепы D-лога). Зона строго `eval/`+`docs/experiments/`. `.env` не читать; тексты книги не тащить.
|