Add experiments index and extend eval script map over the closed quality-arc families, keeping scripts in place because the D-log and reports cite them by path

This commit is contained in:
Claude (backend session) 2026-07-12 20:55:45 +03:00
parent 0be308498c
commit 9feb1151e8
2 changed files with 61 additions and 0 deletions

View file

@ -0,0 +1,38 @@
# Эксперименты полигона — карта
Один эксперимент = один отчёт `NN-*.md` (методика + цифры + честные ограничения). Здесь — **индекс**: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (12.07, D38.2). Карта **скриптов** (какой `.py` какому эксперименту) — в [`eval/README.md`](../../eval/README.md) §Карта; здесь — про **выводы**.
**Легенда статуса:** ⭐ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).
> **Дисциплина:** доки и скрипты **НЕ перемещаются** — на них живые `file:line`-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс `exp13_seed_v2.py`/`exp13_seed_signoff.py` — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.
## Живые reference / инструменты (не «закрытые эксперименты»)
| Док | Что это | Статус |
|---|---|---|
| [`00-provider-quirks`](00-provider-quirks.md) | Wire-квирки провайдеров — **читать ПЕРЕД правкой адаптеров/вызовов**. +D38: gpt-5.4 `reasoning_effort:medium` съедает вывод коротким max_tokens. | ⭐ЖИВОЙ |
| [`09-pilot-protocol`](09-pilot-protocol.md) | Протокол пилота Ф2.5 — **решающая точка проекта** (выбор ядра C0C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. | ⭐ЖИВОЙ (решающий) |
| [`02-refusal-benchmark`](02-refusal-benchmark.md) | Refusal/excision 18+. Его `split_sentences`/`classify_output` = **приёмочный оракул** coverage-гейта (паритет с Go закреплён тестом). | ЖИВОЙ (оракул) |
| [`07-coverage-precision`](07-coverage-precision.md) | Precision excision-гейта (0 FP/57) — **гейтит боевой флип** `gates.coverage.enabled` (D12/Q4). | ЖИВОЙ (гейт) |
| [`01-token-calibration`](01-token-calibration.md) | Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. | settled/reference |
## Закрытые эксперименты
| Док | Что установил | Ратификация | Статус |
|---|---|---|---|
| [`03-local-stand`](03-local-stand.md) | Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. | — (settled) | settled |
| [`04-editor-quality`](04-editor-quality.md) | Бейк-офф редакторов короновал grok-4.3. **Рекомендация ОТМЕНЕНА** (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). | superseded D30.1/D32/D38 | закрыт |
| [`06-local-extraction`](06-local-extraction.md) | Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. | — (settled) | settled |
| [`08-cost-model-v2`](08-cost-model-v2.md) | COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → **D30.4** (~$0.830.86/ранобэ). Множители стадий — живая фактура. | $→D30.4 | закрыт (числа) |
| [`10-explicit-benchmark`](10-explicit-benchmark.md) | 18+ **violence**-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). | D14.4/D14.2/D3 | settled |
| [`11-erotica-benchmark`](11-erotica-benchmark.md) | Сестринский 18+ **erotica**-срез (те же армы/методика). Закрыл последний critical D14.4. | D14.4/D19/D3 | settled |
| [`12-quality-diagnosis`](12-quality-diagnosis.md) | Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. | → D30/D35 (review-header ACCEPT_WITH_FIXES) | закрыт |
| [`13-translator-bakeoff`](13-translator-bakeoff.md) | Бейк-офф ПЕРЕВОДЧИКОВ: flash **сохранён**, pro **отклонён** (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 **принят**. | → D32 (review-header) | закрыт |
| [`14-quality-empirics`](14-quality-empirics.md) | Претензия-1 (абзацы) = дешёвый **промпт**-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. | → D37 (review-header) | закрыт |
| [`14b-meaning-battery`](14b-meaning-battery.md) | «Только gpt-5.4 чинит смысл» **ОПРОВЕРГНУТО** (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = **status:draft** сида. | → D38/D38.1 (review-header) | закрыт |
*Пропуски нумерации:* `05` снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).
## Дуга качества 12 → 13 → 14 → 14b
Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Все**интерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот.** Сошлись к D38: near-term потолок — в нашей **нарезке/промпте/глоссарии-инфре**, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. **Настоящий вердикт качества = пилот Ф2.5** ([`09`](09-pilot-protocol.md)) на корпусе вне претрейна.

View file

@ -19,6 +19,29 @@
| `memory_hotpath.py` | УСТАРЕЛ (контракт до cc57c7b) — не переиспользовать | актуальное зеркало — `pilot/memory_eval.py` |
| `providers.json` | базовые URL/слаги для зондов | квирки — `docs/experiments/00-provider-quirks.md`, читать ПЕРЕД любым вызовом |
### 18+ / корпус-билдеры
| Скрипт | Эксперимент | Заметки |
|---|---|---|
| `explicit_judges.py`, `gu_corpus_build.py` | exp10 (violence-рука 18+) | корпус-строки в `data/` (gitignore); тексты вне git (Р8) |
| `jpm_corpus_build.py`, `en_corpus_build.py`, `ja_corpus_build.py` | exp11 (erotica-рука 18+, zh/en/ja пары) | `jpm`=金瓶梅 PD; en/ja — файлы владельца вне git |
| `mistral_fidelity.py` | exp02/D14.2 (Mistral base-fidelity ре-съёмка с полным персистом) | почему: первый Mistral-зонд потерял сырьё |
| `dialogue_precision.py` | exp07 package-2 (precision гейта на диалог-плотном срезе) | |
| `refusal_corpus_build.py` | exp02 (наполнение refusal-корпуса L0L1) | explicit/L3 этим НЕ наполняются |
| `local_bench.py`, `llama_moe_bench.sh` | exp03 (локальный стенд) | dense через ollama / MoE через llama.cpp |
### Скрипты «дуги качества» 12 → 13 → 14 → 14b (эксперименты ЗАКРЫТЫ — отчёты см. `docs/experiments/README.md`)
Оставлены на месте намеренно: цитируются по пути из D-лога/PROGRESS/отчётов; перемещение рвёт грепы (D23.3). Прогонять повторно не нужно — вердикты ратифицированы (D30/D32/D37/D38).
| Семья | Эксперимент | Общие/особые модули |
|---|---|---|
| `exp12_*.py` (arms, blocks, candidate, extract, glossary_v2, judges, monitor, pack, reflow_demo, rootcause) | exp12 диагноз (закрыт D30) | `exp12_judges` **импортит** `exp12_pack` — семья неделима |
| `exp13_*.py` (aggregate, blind_stage, gates, judges, monitor, translate) | exp13 бейк-офф переводчиков (закрыт D32) | — |
| `exp13_seed_v2.py`, `exp13_seed_signoff.py` | **ЖИВОЙ провенанс сида v2** (воспроизводимый трансформ, цитируется D-логом D30.5) | НЕ спент, НЕ трогать/не перемещать |
| `exp14_*.py` (arms, judges, kpi, monitor, rank, regate, sizecurve) | exp14 рычаги качества (закрыт D37) | все импортят `exp14_common` (+ arms/sizecurve → `exp14_prompts`); `exp14_material` автономен |
| `exp14b_*.py` (arms, judge, monitor, score) | exp14b батарея смысл-трапов (закрыт D38) | реюзят `exp14_common`/`exp14_prompts`**exp14 и 14b неразделимы** |
> **`exp14_common.py` + `exp14_prompts.py` — общий фундамент exp14 И exp14b.** Их не переносить/не переименовывать без переезда обеих семей вместе (иначе рвётся `import exp14_common`).
## Правила (выучены на ошибках)
1. **Провенанс данных:** results-файлы не перезаписывать ре-раном (урок exp02: сырьё 66 вызовов утрачено); каждый прогон — model id + дата + usage; сырые ВЫХОДЫ сохранять целиком.