38 lines
7.2 KiB
Markdown
38 lines
7.2 KiB
Markdown
# Эксперименты полигона — карта
|
||
|
||
Один эксперимент = один отчёт `NN-*.md` (методика + цифры + честные ограничения). Здесь — **индекс**: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (12.07, D38.2). Карта **скриптов** (какой `.py` какому эксперименту) — в [`eval/README.md`](../../eval/README.md) §Карта; здесь — про **выводы**.
|
||
|
||
**Легенда статуса:** ⭐ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).
|
||
|
||
> **Дисциплина:** доки и скрипты **НЕ перемещаются** — на них живые `file:line`-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс `exp13_seed_v2.py`/`exp13_seed_signoff.py` — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.
|
||
|
||
## Живые reference / инструменты (не «закрытые эксперименты»)
|
||
|
||
| Док | Что это | Статус |
|
||
|---|---|---|
|
||
| [`00-provider-quirks`](00-provider-quirks.md) | Wire-квирки провайдеров — **читать ПЕРЕД правкой адаптеров/вызовов**. +D38: gpt-5.4 `reasoning_effort:medium` съедает вывод коротким max_tokens. | ⭐ЖИВОЙ |
|
||
| [`09-pilot-protocol`](09-pilot-protocol.md) | Протокол пилота Ф2.5 — **решающая точка проекта** (выбор ядра C0–C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. | ⭐ЖИВОЙ (решающий) |
|
||
| [`02-refusal-benchmark`](02-refusal-benchmark.md) | Refusal/excision 18+. Его `split_sentences`/`classify_output` = **приёмочный оракул** coverage-гейта (паритет с Go закреплён тестом). | ЖИВОЙ (оракул) |
|
||
| [`07-coverage-precision`](07-coverage-precision.md) | Precision excision-гейта (0 FP/57) — **гейтит боевой флип** `gates.coverage.enabled` (D12/Q4). | ЖИВОЙ (гейт) |
|
||
| [`01-token-calibration`](01-token-calibration.md) | Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. | settled/reference |
|
||
|
||
## Закрытые эксперименты
|
||
|
||
| Док | Что установил | Ратификация | Статус |
|
||
|---|---|---|---|
|
||
| [`03-local-stand`](03-local-stand.md) | Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. | — (settled) | settled |
|
||
| [`04-editor-quality`](04-editor-quality.md) | Бейк-офф редакторов короновал grok-4.3. **Рекомендация ОТМЕНЕНА** (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). | superseded D30.1/D32/D38 | закрыт |
|
||
| [`06-local-extraction`](06-local-extraction.md) | Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. | — (settled) | settled |
|
||
| [`08-cost-model-v2`](08-cost-model-v2.md) | COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → **D30.4** (~$0.83–0.86/ранобэ). Множители стадий — живая фактура. | $→D30.4 | закрыт (числа) |
|
||
| [`10-explicit-benchmark`](10-explicit-benchmark.md) | 18+ **violence**-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). | D14.4/D14.2/D3 | settled |
|
||
| [`11-erotica-benchmark`](11-erotica-benchmark.md) | Сестринский 18+ **erotica**-срез (те же армы/методика). Закрыл последний critical D14.4. | D14.4/D19/D3 | settled |
|
||
| [`12-quality-diagnosis`](12-quality-diagnosis.md) | Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. | → D30/D35 (review-header ACCEPT_WITH_FIXES) | закрыт |
|
||
| [`13-translator-bakeoff`](13-translator-bakeoff.md) | Бейк-офф ПЕРЕВОДЧИКОВ: flash **сохранён**, pro **отклонён** (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 **принят**. | → D32 (review-header) | закрыт |
|
||
| [`14-quality-empirics`](14-quality-empirics.md) | Претензия-1 (абзацы) = дешёвый **промпт**-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. | → D37 (review-header) | закрыт |
|
||
| [`14b-meaning-battery`](14b-meaning-battery.md) | «Только gpt-5.4 чинит смысл» **ОПРОВЕРГНУТО** (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = **status:draft** сида. | → D38/D38.1 (review-header) | закрыт |
|
||
|
||
*Пропуски нумерации:* `05` снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).
|
||
|
||
## Дуга качества 12 → 13 → 14 → 14b
|
||
|
||
Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Все — **интерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот.** Сошлись к D38: near-term потолок — в нашей **нарезке/промпте/глоссарии-инфре**, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. **Настоящий вердикт качества = пилот Ф2.5** ([`09`](09-pilot-protocol.md)) на корпусе вне претрейна.
|