textmachine/docs/experiments/README.md

# Эксперименты полигона — карта

Один эксперимент = один отчёт `NN-*.md` (методика + цифры + честные ограничения). Здесь — **индекс**: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (**досведено 25.07, голова D39.28**: добавлены exp15/exp16; **ре-сверка 01.08, голова D39.64**: новых экспериментов нет, `00-provider-quirks` синхронизирован с катовером DeepSeek-0731 по D39.61; **ре-сверка 04.08, голова D39.105** — новых экспериментов карты нет, банк-арбитраж = research/24, выдан промт пробы 18, см. хвост карты; **досведено 08.08, голова D39.117** — добавлены строки 18–21, следующий — эксп-22). Карта **скриптов** (какой `.py` какому эксперименту) — в [`eval/README.md`](../../eval/README.md) §Карта; здесь — про **выводы**.

**Легенда статуса:** ⭐ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).

> **Дисциплина:** доки и скрипты **НЕ перемещаются** — на них живые `file:line`-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс `exp13_seed_v2.py`/`exp13_seed_signoff.py` — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.

## Живые reference / инструменты (не «закрытые эксперименты»)

| Док | Что это | Статус |
|---|---|---|
| [`00-provider-quirks`](00-provider-quirks.md) | Wire-квирки провайдеров — **читать ПЕРЕД правкой адаптеров/вызовов**. +D38: gpt-5.4 `reasoning_effort:medium` съедает вывод коротким max_tokens. | ⭐ЖИВОЙ |
| [`09-pilot-protocol`](09-pilot-protocol.md) | Протокол пилота Ф2.5 — **решающая точка проекта** (выбор ядра C0–C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. | ⭐ЖИВОЙ (решающий) |
| [`02-refusal-benchmark`](02-refusal-benchmark.md) | Refusal/excision 18+. Его `split_sentences`/`classify_output` = **приёмочный оракул** coverage-гейта (паритет с Go закреплён тестом). | ЖИВОЙ (оракул) |
| [`07-coverage-precision`](07-coverage-precision.md) | Precision excision-гейта (0 FP/57) — **гейтит боевой флип** `gates.coverage.enabled` (D12/Q4). | ЖИВОЙ (гейт) |
| [`01-token-calibration`](01-token-calibration.md) | Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. | settled/reference |

## Закрытые эксперименты

| Док | Что установил | Ратификация | Статус |
|---|---|---|---|
| [`03-local-stand`](03-local-stand.md) | Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. | — (settled) | settled |
| [`04-editor-quality`](04-editor-quality.md) | Бейк-офф редакторов короновал grok-4.3. **Рекомендация ОТМЕНЕНА** (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). | superseded D30.1 (закреплено ревизией D31) | закрыт |
| [`06-local-extraction`](06-local-extraction.md) | Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. | — (settled) | settled |
| [`08-cost-model-v2`](08-cost-model-v2.md) | COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → **D30.4** (~$0.83–0.86/ранобэ). Множители стадий — живая фактура. | $→D30.4 | закрыт (числа) |
| [`10-explicit-benchmark`](10-explicit-benchmark.md) | 18+ **violence**-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). | D14.4/D14.2/D3 | settled |
| [`11-erotica-benchmark`](11-erotica-benchmark.md) | Сестринский 18+ **erotica**-срез (те же армы/методика). Закрыл последний critical D14.4. | D14.4/D19/D3 | settled |
| [`12-quality-diagnosis`](12-quality-diagnosis.md) | Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. | → D30 (review-header ACCEPT_WITH_FIXES; D35 — downstream-переподтверждение диагноза, не ратификация) | закрыт |
| [`13-translator-bakeoff`](13-translator-bakeoff.md) | Бейк-офф ПЕРЕВОДЧИКОВ: flash **сохранён**, pro **отклонён** (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 **принят**. | → D32 (review-header) | закрыт |
| [`14-quality-empirics`](14-quality-empirics.md) | Претензия-1 (абзацы) = дешёвый **промпт**-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. | → D37 (review-header) | закрыт |
| [`14b-meaning-battery`](14b-meaning-battery.md) | «Только gpt-5.4 чинит смысл» **ОПРОВЕРГНУТО** (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = **status:draft** сида. | → D38/D38.1 (review-header) | закрыт |
| [`15-segmentation-empirics`](15-segmentation-empirics.md) | Сегментация/когезия/контракт t-e (пре-рег `research/19` §D). REV.2: клейм «граница вредит» **ОТОЗВАН** (артефакт окна судьи); все когезия-эффекты **под floor 0.126**; «sequential нигде не лучше» LOO-stable (отсутствие сигнала, НЕ зелёный свет); фертильность 1.20/0.39; $12.79/$15. Побочно — **риг-стандарт D39.7** (per-vote, полно-evidence, floor-гейт). | → D39.7; гейт = слепое чтение владельца → **D39.8** (планку не прошёл никто, floor-null подтверждён) | закрыт |
| [`16-bank-mining`](16-bank-mining.md) | Банк-майнинг W1.5 (пре-рег `research/20` §D): **WHICH подтверждена** (детектор V-C, recall 0.97, $0), **WHAT** уходит в банкноту+Палладий (canon-recovery <70%), 9B-споттер не нужен, Z1 → облако; $0-ре-аудит exp14b **чист** (errata не потребовалась). Этим исследовательская программа полигона ЗАВЕРШЕНА. | → D39.10; gender-тачпойнт §7 закрыт **D39.19**; продолжение — Go-майнер, парити **EXACT** (D39.14/D39.16) | закрыт |
| [`18-editor-wire-probe`](18-editor-wire-probe.md) | Доктрина D39.104 на боевом проводе (байт-сверка): закон-блок исполняется 21/21, неверная строка банка принимается 6/6 — инъекция несёт защиту, редактор ошибок банка не ловит; оговорка ОБЛАСТИ опровергнута; фронтир терминолога не оправдан (конвенция = данные). Ревью-шапка приёмки первична над телом | D39.108 | закрыт |
| [`19-editor-contract-q4b`](19-editor-contract-q4b.md) | Дифф-контракт механически исправен (комплаенс 0.966 на боевой единице, малформед 0), но гейт Q4b: диффы ОТЛОЖЕНЫ — fidelity-trap 11/12, цена ×2.5–2.9 на dspro×ru (свойство пары, не класса). Ревью-шапка первична | D39.108; D21.4/D21.10 закрыты | закрыт |
| [`20-editor-role`](20-editor-role.md) | Роль редактора: починка по флагу дёшева при ИДЕАЛЬНОЙ детекции; поиск дороже правки; решающий замер §5.2 не персистирован («со слов» — позже опровергнут эксп-21). Exploratory, без пре-рег-фриза; ревью-шапка первична | D39.108; §5.2 superseded D39.117 п.4 | закрыт |
| [`21-role-topology`](21-role-topology.md) | **Топология бьёт жильца** (нога 2×2; `A/F3` +2.50 Holm 0.0004, движки dspro/glm-5 неразличимы) · черновик двигает ~70% эффекта финала · закон-блок обязателен (два независимых подтверждения) · точечный ремонт/обратная связка/роутинг — отклонены · разложение шума НЕ установлено. ⚠ Все zh-величины предварительны (материал узнан 4/5); пять редакций, судейство финала — агенты ($0) | **D39.117** (гейты: `verify_report.py` 90/90 · `itog.py`) | закрыт |

*Пропуски нумерации:* `05` снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).

## Дуга качества 12 → 13 → 14 → 14b

Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Все — **интерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот.** Сошлись к D38: near-term потолок — в нашей **нарезке/промпте/глоссарии-инфре**, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. **Настоящий вердикт качества = пилот Ф2.5** ([`09`](09-pilot-protocol.md)) на корпусе вне претрейна.

## Что было после дуги: 15 → 16 → пере-прогон (дописано 25.07)

Дуга 12→14b проверяла **модели**; следующая пара проверяла **инфру**, на которую дуга указала. [`15`](15-segmentation-empirics.md) закрыл нарезку/когезию (все эффекты под floor — оптимизировать там нечего, зато родился риг-стандарт D39.7), [`16`](16-bank-mining.md) закрыл банк-майнинг (WHICH работает, WHAT уходит в банкноту) — и на этом **исследовательская программа полигона завершена** (D39.10). Дальше был не эксперимент, а **пере-прогон прод-путём** (rerun2, D39.20/D39.22): планка «≤2 претензии» **не пройдена**, пилот не открыт, `mistral` исключён как несущий редактор (анти-корреляция гладкость↔верность ×3), редактор = **deepseek-v4-pro ИНТЕРИМ**, dspro-vs-glm не ратифицирован (зазор ≈ шум) → **итерация №2 отложена** довеском к следующему платному прогону. Отчёта `17-*.md` нет и не будет: пере-прогон — не эксперимент полигона, его запись живёт в D-логе и `PROGRESS.md`.

**Дальше (04.08):** банк-арбитраж прошёл НЕ этой картой — отчёт `../research/24-bank-arbitration.md` + харнесс `eval/bank_arbitration/` (принят D39.102: консилиум · кросс-модельные веса · self-consistency · селекция · отказ-сигнал — закрыты классом). Дуга 18→21 (04–08.08) закрыла вопрос редактора: топология «черновик → переписыватель» подтверждена, жильцы ролей — вопрос конфига и цены (строки таблицы выше; приёмки D39.108/D39.117). Следующий отчёт карты — **`22-tenant-panel.md`**: панель жильцов обеих ролей (промт `docs/POLYGON_TENANT_PANEL_SESSION_PROMPT.md`, санкция D39.117).