textmachine/docs/experiments
2026-09-01 21:48:00 +03:00
..
00-provider-quirks.md Teach the rig that DeepSeek peak pricing is weekdays only, and record the vendor wording with the near-miss that a single page read caused 2026-08-30 12:55:42 +03:00
01-token-calibration.md Archive four research reports whose consumers are gone, head the two that read as live orders, and stop the docs claiming providers allow nothing 2026-08-28 22:28:04 +03:00
02-refusal-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
03-local-stand.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
04-editor-quality.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
06-local-extraction.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
07-coverage-precision.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
08-cost-model-v2.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
09-pilot-protocol.md Close orchestrator thirteen: full doc sweep D39.105, handoff to fourteen, queue recounted, injection doctrine pointers propagated, chronicle of sessions nine and ten sliced to archive 2026-08-04 22:27:07 +03:00
10-explicit-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
11-erotica-benchmark.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
12-quality-diagnosis.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
13-translator-bakeoff.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14-quality-empirics.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14b-meaning-battery.md Ratify D38 accepting exp14b: refute only-gpt-5.4 (mistral and deepseek-pro fix meaning inversions), find term-drift root is seed draft-status, hold cheap-editor swap for a prose bake-off 2026-07-12 20:06:03 +03:00
15-segmentation-empirics.md Accept polygon package five and record the owner decisions: first-source ToS rights, no violence label with signed interpretation, accepted Z.AI risk, two signed capability rows 2026-07-25 19:04:36 +03:00
16-bank-mining.md Ratify D39.96-97: standards pack and archguard dofix accepted and landed, rows 107 112 117 closed, snapshot calibration and tools module decisions recorded 2026-08-04 01:55:00 +03:00
18-editor-wire-probe.md Land accepted editor-wire probe 18 with acceptance review header, frontier harness and gold, and section renumber fix 2026-08-06 16:10:10 +03:00
19-editor-contract-q4b.md Land accepted diff-contract experiment 19 with review header pinning frozen-scorer numbers, premise-review verifiers and the falsification run log 2026-08-06 16:10:26 +03:00
20-editor-role.md Land accepted editor-role experiment 20 with review header downgrading unpersisted judge claims, plus its harness and judge scripts 2026-08-06 16:10:26 +03:00
21-role-topology.md Give every carrying number of the experiment a path in the tree: add itog.py, guard those numbers in the gate, print the phase-2b family, and write the missing report body 2026-08-08 02:42:37 +03:00
22-tenant-panel.md Fix packs 22/23 rigs and reports per acceptance 16 and three adversarial review lines: exact sign test, word-boundary bank regex, judge attribution, coverage guard 2026-08-10 07:05:55 +03:00
23-editor-tier.md Land the consilium on research/29: the editor buys fluency at the cost of fidelity, our panel is blind to that axis, and the zh edit ratio is four times the English one we had been quoting 2026-09-01 21:48:00 +03:00
README.md Give the experiments index the two rows it was missing for packs 22 and 23 2026-08-29 22:45:41 +03:00

Эксперименты полигона — карта

Один эксперимент = один отчёт NN-*.md (методика + цифры + честные ограничения). Здесь — индекс: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (досведено 25.07, голова D39.28: добавлены exp15/exp16; ре-сверка 01.08, голова D39.64: новых экспериментов нет, 00-provider-quirks синхронизирован с катовером DeepSeek-0731 по D39.61; ре-сверка 04.08, голова D39.105 — новых экспериментов карты нет, банк-арбитраж = research/24, выдан промт пробы 18, см. хвост карты; досведено 08.08, голова D39.117 — добавлены строки 1821, следующий — эксп-22; досведено 29.08 полигоном: добавлены строки 22 и 23, дыра найдена аудитом доков 28.08). Карта скриптов (какой .py какому эксперименту) — в eval/README.md §Карта; здесь — про выводы.

Легенда статуса: ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).

Дисциплина: доки и скрипты НЕ перемещаются — на них живые file:line-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс exp13_seed_v2.py/exp13_seed_signoff.py — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.

Живые reference / инструменты (не «закрытые эксперименты»)

Док Что это Статус
00-provider-quirks Wire-квирки провайдеров — читать ПЕРЕД правкой адаптеров/вызовов. +D38: gpt-5.4 reasoning_effort:medium съедает вывод коротким max_tokens. ЖИВОЙ
09-pilot-protocol Протокол пилота Ф2.5 — решающая точка проекта (выбор ядра C0C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. ЖИВОЙ (решающий)
02-refusal-benchmark Refusal/excision 18+. Его split_sentences/classify_output = приёмочный оракул coverage-гейта (паритет с Go закреплён тестом). ЖИВОЙ (оракул)
07-coverage-precision Precision excision-гейта (0 FP/57) — гейтит боевой флип gates.coverage.enabled (D12/Q4). ЖИВОЙ (гейт)
01-token-calibration Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. settled/reference

Закрытые эксперименты

Док Что установил Ратификация Статус
03-local-stand Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. — (settled) settled
04-editor-quality Бейк-офф редакторов короновал grok-4.3. Рекомендация ОТМЕНЕНА (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). superseded D30.1 (закреплено ревизией D31) закрыт
06-local-extraction Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. — (settled) settled
08-cost-model-v2 COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → D30.4 (~$0.830.86/ранобэ). Множители стадий — живая фактура. $→D30.4 закрыт (числа)
10-explicit-benchmark 18+ violence-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). D14.4/D14.2/D3 settled
11-erotica-benchmark Сестринский 18+ erotica-срез (те же армы/методика). Закрыл последний critical D14.4. D14.4/D19/D3 settled
12-quality-diagnosis Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. → D30 (review-header ACCEPT_WITH_FIXES; D35 — downstream-переподтверждение диагноза, не ратификация) закрыт
13-translator-bakeoff Бейк-офф ПЕРЕВОДЧИКОВ: flash сохранён, pro отклонён (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 принят. → D32 (review-header) закрыт
14-quality-empirics Претензия-1 (абзацы) = дешёвый промпт-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. → D37 (review-header) закрыт
14b-meaning-battery «Только gpt-5.4 чинит смысл» ОПРОВЕРГНУТО (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = status:draft сида. → D38/D38.1 (review-header) закрыт
15-segmentation-empirics Сегментация/когезия/контракт t-e (пре-рег research/19 §D). REV.2: клейм «граница вредит» ОТОЗВАН (артефакт окна судьи); все когезия-эффекты под floor 0.126; «sequential нигде не лучше» LOO-stable (отсутствие сигнала, НЕ зелёный свет); фертильность 1.20/0.39; $12.79/$15. Побочно — риг-стандарт D39.7 (per-vote, полно-evidence, floor-гейт). → D39.7; гейт = слепое чтение владельца → D39.8 (планку не прошёл никто, floor-null подтверждён) закрыт
16-bank-mining Банк-майнинг W1.5 (пре-рег research/20 §D): WHICH подтверждена (детектор V-C, recall 0.97, $0), WHAT уходит в банкноту+Палладий (canon-recovery <70%), 9B-споттер не нужен, Z1 → облако; $0-ре-аудит exp14b чист (errata не потребовалась). Этим исследовательская программа полигона ЗАВЕРШЕНА. → D39.10; gender-тачпойнт §7 закрыт D39.19; продолжение — Go-майнер, парити EXACT (D39.14/D39.16) закрыт
18-editor-wire-probe Доктрина D39.104 на боевом проводе (байт-сверка): закон-блок исполняется 21/21, неверная строка банка принимается 6/6 — инъекция несёт защиту, редактор ошибок банка не ловит; оговорка ОБЛАСТИ опровергнута; фронтир терминолога не оправдан (конвенция = данные). Ревью-шапка приёмки первична над телом D39.108 закрыт
19-editor-contract-q4b Дифф-контракт механически исправен (комплаенс 0.966 на боевой единице, малформед 0), но гейт Q4b: диффы ОТЛОЖЕНЫ — fidelity-trap 11/12, цена ×2.52.9 на dspro×ru (свойство пары, не класса). Ревью-шапка первична D39.108; D21.4/D21.10 закрыты закрыт
20-editor-role Роль редактора: починка по флагу дёшева при ИДЕАЛЬНОЙ детекции; поиск дороже правки; решающий замер §5.2 не персистирован («со слов» — позже опровергнут эксп-21). Exploratory, без пре-рег-фриза; ревью-шапка первична D39.108; §5.2 superseded D39.117 п.4 закрыт
21-role-topology Топология бьёт жильца (нога 2×2; A/F3 +2.50 Holm 0.0004, движки dspro/glm-5 неразличимы) · черновик двигает ~70% эффекта финала · закон-блок обязателен (два независимых подтверждения) · точечный ремонт/обратная связка/роутинг — отклонены · разложение шума НЕ установлено. ⚠ Все zh-величины предварительны (материал узнан 4/5); пять редакций, судейство финала — агенты ($0) D39.117 (гейты: verify_report.py 90/90 · itog.py) закрыт

| 22-tenant-panel | Жильцы редакторской роли на двух парах. Тот же промт, разные модели: dspro первый на zh; на en порядок иной. Второй проход показан различимо лучше ОДНОГО дешёвого — но клейм позже сужен фазой Д до «различимо хуже ГОЛЫЙ черновик». ⚠ §15 переписан фазой Д: 5 клеток из 6 — эхо, пойманное гейтом; §13а — банк-закон на en НЕ исполнен | пере-читается фазой Д (Д8, Д11) | закрыт, тело правлено эрратами | | 23-editor-tier | Сильный тир редакторской роли + ФАЗА Д «доводка». Несущее: голый черновик различимо хуже в двух семействах · вся середина архитектур неразличима ⇒ схемы решает ЦЕНА · буфер архитектуры замерен (слабый жилец редактором ≡ боевой, он же однопроходкой хуже — 3 круга, 2 семейства, 2 прибора) · вендор-вердикт по конъюнкции (Д31) · вес всего ролевого промта = 1.33 порога, и он лежит на ПРОЗЕ, а не на браке (Д36) · шум прибора = 0.34 порога (Д37) · ответ на два главных вопроса владельца (Д38). Вопрос 0 (консистентность на всю книгу) прибора НЕ имеет | ⚠ приёмка фазы — у параллельного оркестратора; сверка --final сдана КРАСНОЙ с диагнозом (Д39) | ИДЁТ |

Пропуски нумерации: 05 снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).

Дуга качества 12 → 13 → 14 → 14b

Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Всеинтерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот. Сошлись к D38: near-term потолок — в нашей нарезке/промпте/глоссарии-инфре, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. Настоящий вердикт качества = пилот Ф2.5 (09) на корпусе вне претрейна.

Что было после дуги: 15 → 16 → пере-прогон (дописано 25.07)

Дуга 12→14b проверяла модели; следующая пара проверяла инфру, на которую дуга указала. 15 закрыл нарезку/когезию (все эффекты под floor — оптимизировать там нечего, зато родился риг-стандарт D39.7), 16 закрыл банк-майнинг (WHICH работает, WHAT уходит в банкноту) — и на этом исследовательская программа полигона завершена (D39.10). Дальше был не эксперимент, а пере-прогон прод-путём (rerun2, D39.20/D39.22): планка «≤2 претензии» не пройдена, пилот не открыт, mistral исключён как несущий редактор (анти-корреляция гладкость↔верность ×3), редактор = deepseek-v4-pro ИНТЕРИМ, dspro-vs-glm не ратифицирован (зазор ≈ шум) → итерация №2 отложена довеском к следующему платному прогону. Отчёта 17-*.md нет и не будет: пере-прогон — не эксперимент полигона, его запись живёт в D-логе и PROGRESS.md.

Дальше (04.08): банк-арбитраж прошёл НЕ этой картой — отчёт ../research/24-bank-arbitration.md + харнесс eval/bank_arbitration/ (принят D39.102: консилиум · кросс-модельные веса · self-consistency · селекция · отказ-сигнал — закрыты классом). Дуга 18→21 (0408.08) закрыла вопрос редактора: топология «черновик → переписыватель» подтверждена, жильцы ролей — вопрос конфига и цены (строки таблицы выше; приёмки D39.108/D39.117). Следующий отчёт карты — 22-tenant-panel.md: панель жильцов обеих ролей (промт docs/POLYGON_TENANT_PANEL_SESSION_PROMPT.md, санкция D39.117).