textmachine/docs/experiments
2026-08-21 00:17:20 +03:00
..
00-provider-quirks.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
01-token-calibration.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
02-refusal-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
03-local-stand.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
04-editor-quality.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
06-local-extraction.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
07-coverage-precision.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
08-cost-model-v2.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
09-pilot-protocol.md Close orchestrator thirteen: full doc sweep D39.105, handoff to fourteen, queue recounted, injection doctrine pointers propagated, chronicle of sessions nine and ten sliced to archive 2026-08-04 22:27:07 +03:00
10-explicit-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
11-erotica-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
12-quality-diagnosis.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
13-translator-bakeoff.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14-quality-empirics.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14b-meaning-battery.md Ratify D38 accepting exp14b: refute only-gpt-5.4 (mistral and deepseek-pro fix meaning inversions), find term-drift root is seed draft-status, hold cheap-editor swap for a prose bake-off 2026-07-12 20:06:03 +03:00
15-segmentation-empirics.md Accept polygon package five and record the owner decisions: first-source ToS rights, no violence label with signed interpretation, accepted Z.AI risk, two signed capability rows 2026-07-25 19:04:36 +03:00
16-bank-mining.md Ratify D39.96-97: standards pack and archguard dofix accepted and landed, rows 107 112 117 closed, snapshot calibration and tools module decisions recorded 2026-08-04 01:55:00 +03:00
18-editor-wire-probe.md Land accepted editor-wire probe 18 with acceptance review header, frontier harness and gold, and section renumber fix 2026-08-06 16:10:10 +03:00
19-editor-contract-q4b.md Land accepted diff-contract experiment 19 with review header pinning frozen-scorer numbers, premise-review verifiers and the falsification run log 2026-08-06 16:10:26 +03:00
20-editor-role.md Land accepted editor-role experiment 20 with review header downgrading unpersisted judge claims, plus its harness and judge scripts 2026-08-06 16:10:26 +03:00
21-role-topology.md Give every carrying number of the experiment a path in the tree: add itog.py, guard those numbers in the gate, print the phase-2b family, and write the missing report body 2026-08-08 02:42:37 +03:00
22-tenant-panel.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
23-editor-tier.md Add the panel gate for truncated cells and record the judging-run audit with its two incidents 2026-08-21 00:17:20 +03:00
README.md Issue the tenant-panel prompt for experiment 22 after cold-reader and self-review audits, archive the executed role-topology prompt with its outcome banner, refresh both maps 2026-08-08 04:36:08 +03:00

Эксперименты полигона — карта

Один эксперимент = один отчёт NN-*.md (методика + цифры + честные ограничения). Здесь — индекс: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (досведено 25.07, голова D39.28: добавлены exp15/exp16; ре-сверка 01.08, голова D39.64: новых экспериментов нет, 00-provider-quirks синхронизирован с катовером DeepSeek-0731 по D39.61; ре-сверка 04.08, голова D39.105 — новых экспериментов карты нет, банк-арбитраж = research/24, выдан промт пробы 18, см. хвост карты; досведено 08.08, голова D39.117 — добавлены строки 1821, следующий — эксп-22). Карта скриптов (какой .py какому эксперименту) — в eval/README.md §Карта; здесь — про выводы.

Легенда статуса: ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).

Дисциплина: доки и скрипты НЕ перемещаются — на них живые file:line-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс exp13_seed_v2.py/exp13_seed_signoff.py — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.

Живые reference / инструменты (не «закрытые эксперименты»)

Док Что это Статус
00-provider-quirks Wire-квирки провайдеров — читать ПЕРЕД правкой адаптеров/вызовов. +D38: gpt-5.4 reasoning_effort:medium съедает вывод коротким max_tokens. ЖИВОЙ
09-pilot-protocol Протокол пилота Ф2.5 — решающая точка проекта (выбор ядра C0C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. ЖИВОЙ (решающий)
02-refusal-benchmark Refusal/excision 18+. Его split_sentences/classify_output = приёмочный оракул coverage-гейта (паритет с Go закреплён тестом). ЖИВОЙ (оракул)
07-coverage-precision Precision excision-гейта (0 FP/57) — гейтит боевой флип gates.coverage.enabled (D12/Q4). ЖИВОЙ (гейт)
01-token-calibration Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. settled/reference

Закрытые эксперименты

Док Что установил Ратификация Статус
03-local-stand Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. — (settled) settled
04-editor-quality Бейк-офф редакторов короновал grok-4.3. Рекомендация ОТМЕНЕНА (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). superseded D30.1 (закреплено ревизией D31) закрыт
06-local-extraction Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. — (settled) settled
08-cost-model-v2 COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → D30.4 (~$0.830.86/ранобэ). Множители стадий — живая фактура. $→D30.4 закрыт (числа)
10-explicit-benchmark 18+ violence-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). D14.4/D14.2/D3 settled
11-erotica-benchmark Сестринский 18+ erotica-срез (те же армы/методика). Закрыл последний critical D14.4. D14.4/D19/D3 settled
12-quality-diagnosis Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. → D30 (review-header ACCEPT_WITH_FIXES; D35 — downstream-переподтверждение диагноза, не ратификация) закрыт
13-translator-bakeoff Бейк-офф ПЕРЕВОДЧИКОВ: flash сохранён, pro отклонён (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 принят. → D32 (review-header) закрыт
14-quality-empirics Претензия-1 (абзацы) = дешёвый промпт-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. → D37 (review-header) закрыт
14b-meaning-battery «Только gpt-5.4 чинит смысл» ОПРОВЕРГНУТО (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = status:draft сида. → D38/D38.1 (review-header) закрыт
15-segmentation-empirics Сегментация/когезия/контракт t-e (пре-рег research/19 §D). REV.2: клейм «граница вредит» ОТОЗВАН (артефакт окна судьи); все когезия-эффекты под floor 0.126; «sequential нигде не лучше» LOO-stable (отсутствие сигнала, НЕ зелёный свет); фертильность 1.20/0.39; $12.79/$15. Побочно — риг-стандарт D39.7 (per-vote, полно-evidence, floor-гейт). → D39.7; гейт = слепое чтение владельца → D39.8 (планку не прошёл никто, floor-null подтверждён) закрыт
16-bank-mining Банк-майнинг W1.5 (пре-рег research/20 §D): WHICH подтверждена (детектор V-C, recall 0.97, $0), WHAT уходит в банкноту+Палладий (canon-recovery <70%), 9B-споттер не нужен, Z1 → облако; $0-ре-аудит exp14b чист (errata не потребовалась). Этим исследовательская программа полигона ЗАВЕРШЕНА. → D39.10; gender-тачпойнт §7 закрыт D39.19; продолжение — Go-майнер, парити EXACT (D39.14/D39.16) закрыт
18-editor-wire-probe Доктрина D39.104 на боевом проводе (байт-сверка): закон-блок исполняется 21/21, неверная строка банка принимается 6/6 — инъекция несёт защиту, редактор ошибок банка не ловит; оговорка ОБЛАСТИ опровергнута; фронтир терминолога не оправдан (конвенция = данные). Ревью-шапка приёмки первична над телом D39.108 закрыт
19-editor-contract-q4b Дифф-контракт механически исправен (комплаенс 0.966 на боевой единице, малформед 0), но гейт Q4b: диффы ОТЛОЖЕНЫ — fidelity-trap 11/12, цена ×2.52.9 на dspro×ru (свойство пары, не класса). Ревью-шапка первична D39.108; D21.4/D21.10 закрыты закрыт
20-editor-role Роль редактора: починка по флагу дёшева при ИДЕАЛЬНОЙ детекции; поиск дороже правки; решающий замер §5.2 не персистирован («со слов» — позже опровергнут эксп-21). Exploratory, без пре-рег-фриза; ревью-шапка первична D39.108; §5.2 superseded D39.117 п.4 закрыт
21-role-topology Топология бьёт жильца (нога 2×2; A/F3 +2.50 Holm 0.0004, движки dspro/glm-5 неразличимы) · черновик двигает ~70% эффекта финала · закон-блок обязателен (два независимых подтверждения) · точечный ремонт/обратная связка/роутинг — отклонены · разложение шума НЕ установлено. ⚠ Все zh-величины предварительны (материал узнан 4/5); пять редакций, судейство финала — агенты ($0) D39.117 (гейты: verify_report.py 90/90 · itog.py) закрыт

Пропуски нумерации: 05 снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).

Дуга качества 12 → 13 → 14 → 14b

Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Всеинтерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот. Сошлись к D38: near-term потолок — в нашей нарезке/промпте/глоссарии-инфре, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. Настоящий вердикт качества = пилот Ф2.5 (09) на корпусе вне претрейна.

Что было после дуги: 15 → 16 → пере-прогон (дописано 25.07)

Дуга 12→14b проверяла модели; следующая пара проверяла инфру, на которую дуга указала. 15 закрыл нарезку/когезию (все эффекты под floor — оптимизировать там нечего, зато родился риг-стандарт D39.7), 16 закрыл банк-майнинг (WHICH работает, WHAT уходит в банкноту) — и на этом исследовательская программа полигона завершена (D39.10). Дальше был не эксперимент, а пере-прогон прод-путём (rerun2, D39.20/D39.22): планка «≤2 претензии» не пройдена, пилот не открыт, mistral исключён как несущий редактор (анти-корреляция гладкость↔верность ×3), редактор = deepseek-v4-pro ИНТЕРИМ, dspro-vs-glm не ратифицирован (зазор ≈ шум) → итерация №2 отложена довеском к следующему платному прогону. Отчёта 17-*.md нет и не будет: пере-прогон — не эксперимент полигона, его запись живёт в D-логе и PROGRESS.md.

Дальше (04.08): банк-арбитраж прошёл НЕ этой картой — отчёт ../research/24-bank-arbitration.md + харнесс eval/bank_arbitration/ (принят D39.102: консилиум · кросс-модельные веса · self-consistency · селекция · отказ-сигнал — закрыты классом). Дуга 18→21 (0408.08) закрыла вопрос редактора: топология «черновик → переписыватель» подтверждена, жильцы ролей — вопрос конфига и цены (строки таблицы выше; приёмки D39.108/D39.117). Следующий отчёт карты — 22-tenant-panel.md: панель жильцов обеих ролей (промт docs/POLYGON_TENANT_PANEL_SESSION_PROMPT.md, санкция D39.117).