heaven/textmachine
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
textmachine/docs/experiments
History
Exact
Claude (backend session) 09ca24b50a Land the ratified implementation plan as D39.12 with design11 verifications, record the mistral rate-limit quirk, and issue the backend single-pack session prompt
2026-07-19 04:03:39 +03:00
..
00-provider-quirks.md Land the ratified implementation plan as D39.12 with design11 verifications, record the mistral rate-limit quirk, and issue the backend single-pack session prompt 2026-07-19 04:03:39 +03:00
01-token-calibration.md Initial commit: documentation, eval polygon, backend step 0 verdict 2026-07-04 06:50:59 +03:00
02-refusal-benchmark.md Land polygon erotica package: exp11 three-register benchmark closing D14.4, seed finalized gender-hidden, fix-list D19.5, journal entries for both sessions with orchestrator review corrections 2026-07-10 04:02:10 +03:00
03-local-stand.md Add decisions log and provider-quirks, set grok-4.3 editor default and OpenAI-retained model stack per owner and editor bake-off 2026-07-04 18:47:45 +03:00
04-editor-quality.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
06-local-extraction.md Add D12 failure-resilience model: three-class failure taxonomy, F3 idempotency fix bounded to at-most-once, progress-surfacing spec grounded in durable-execution prior art 2026-07-04 23:10:32 +03:00
07-coverage-precision.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
08-cost-model-v2.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
09-pilot-protocol.md Ratify D31 documentation revision: actuality map, banners and supersession marks across architecture/experiments/research, fixed archive relative links, bumped contract range 2026-07-11 05:50:23 +03:00
10-explicit-benchmark.md Land polygon package 2: mirror sync with Go v3, explicit benchmark exp10, Mistral fidelity rerun, terse dialogue precision, with orchestrator corrections from external review 2026-07-09 21:16:32 +03:00
11-erotica-benchmark.md Land polygon erotica package: exp11 three-register benchmark closing D14.4, seed finalized gender-hidden, fix-list D19.5, journal entries for both sessions with orchestrator review corrections 2026-07-10 04:02:10 +03:00
12-quality-diagnosis.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
13-translator-bakeoff.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14-quality-empirics.md Group closed experiment scripts into eval/exp12|13|14|14b folders with import shims preserved, keep live seed and oracles in eval/, and update all path citations 2026-07-12 21:48:55 +03:00
14b-meaning-battery.md Ratify D38 accepting exp14b: refute only-gpt-5.4 (mistral and deepseek-pro fix meaning inversions), find term-drift root is seed draft-status, hold cheap-editor swap for a prose bake-off 2026-07-12 20:06:03 +03:00
15-segmentation-empirics.md Land Q4a: fidelity is not bought at the translate stage, the pro arm is not ratified, the glm editor is the confirmed weak link, with corrected trap rules and the truncation-accepting harness bug documented 2026-07-18 22:08:20 +03:00
16-bank-mining.md Land exp16 bank-mining: the which-what split with the 0.97 recall code detector, banknote as the dst channel, the clean exp14b re-audit, and the stop-only truncation errata 2026-07-19 00:24:24 +03:00
README.md Repair the live ACCEPTANCE citation in research/17 to its archived path and drop the over-attributed D-numbers on the exp04 and exp12 index rows 2026-07-12 22:03:07 +03:00

README.md

Эксперименты полигона — карта

Один эксперимент = один отчёт NN-*.md (методика + цифры + честные ограничения). Здесь — индекс: что установил → чем ратифицирован → статус. Каждая строка сверена по шапке самого дока + D-логу (12.07, D38.2). Карта скриптов (какой .py какому эксперименту) — в eval/README.md §Карта; здесь — про выводы.

Легенда статуса: ⭐ЖИВОЙ-reference (читать при работе) · ЖИВОЙ (открытый инструмент/протокол) · закрыт (есть review-header/⚠-баннер; вывод ратифицирован, тело не редактируем — D23.3) · settled (одноразовый бенч, вопрос закрыт).

Дисциплина: доки и скрипты НЕ перемещаются — на них живые file:line-ссылки из D-лога/PROGRESS/друг друга; перемещение рвёт грепы (D23.3, история не переписывается — баннер, не удаление). Уборка = индекс+карта, не relocation. Провенанс exp13_seed_v2.py/exp13_seed_signoff.py — цитируется D-логом (D30.5), это ЖИВЫЕ скрипты сида, не спент.

Живые reference / инструменты (не «закрытые эксперименты»)

Док Что это Статус
00-provider-quirks Wire-квирки провайдеров — читать ПЕРЕД правкой адаптеров/вызовов. +D38: gpt-5.4 reasoning_effort:medium съедает вывод коротким max_tokens. ⭐ЖИВОЙ
09-pilot-protocol Протокол пилота Ф2.5 — решающая точка проекта (выбор ядра C0–C3, go/no-go памяти, судья, think-режим). Жив; ждёт корпус вне претрейна + аннотаторов ≥3. Пост-D13 амендменты — в ⚠-указателе D31. ⭐ЖИВОЙ (решающий)
02-refusal-benchmark Refusal/excision 18+. Его split_sentences/classify_output = приёмочный оракул coverage-гейта (паритет с Go закреплён тестом). ЖИВОЙ (оракул)
07-coverage-precision Precision excision-гейта (0 FP/57) — гейтит боевой флип gates.coverage.enabled (D12/Q4). ЖИВОЙ (гейт)
01-token-calibration Токен-множители (r-коэф) на реальных текстах → питают COGS. Уточнение — по вебновелл-файлам владельца. settled/reference

Закрытые эксперименты

Док Что установил Ратификация Статус
03-local-stand Локаль как ПЕРЕВОДЧИК не годится (эхо/качество); годна как «шпион»/экстрактор. — (settled) settled
04-editor-quality Бейк-офф редакторов короновал grok-4.3. Рекомендация ОТМЕНЕНА (⚠-баннер D31): мерил билингв+reasoning-ON, а боевой был моно+reasoning-off (quality-transfer риск материализовался в exp12). superseded D30.1 (закреплено ревизией D31) закрыт
06-local-extraction Экстракция терминов локаль vs облако — закрывает дыру G1 реестра рисков. — (settled) settled
08-cost-model-v2 COGS v2 Ф1-стека. ⚠-баннер: стоит на снятых посылках (моно-редактор, grok reason-off); $-рамка → D30.4 (~$0.83–0.86/ранобэ). Множители стадий — живая фактура. $→D30.4 закрыт (числа)
10-explicit-benchmark 18+ violence-рука на 蛊真人: отказы/тихая вырезка/вменяемость судьи. Закрыл critical D14.4 (violence). D14.4/D14.2/D3 settled
11-erotica-benchmark Сестринский 18+ erotica-срез (те же армы/методика). Закрыл последний critical D14.4. D14.4/D19/D3 settled
12-quality-diagnosis Диагноз потери читаемости 25 глав: пассивность моно-редактора + сид + построчность + нет санитайзера. Флип D1 моно→билингв принят досрочно. → D30 (review-header ACCEPT_WITH_FIXES; D35 — downstream-переподтверждение диагноза, не ратификация) закрыт
13-translator-bakeoff Бейк-офф ПЕРЕВОДЧИКОВ: flash сохранён, pro отклонён (ложная сходимость + pro-катастрофа 蛊→«гусеницы»); сид v2 принят. → D32 (review-header) закрыт
14-quality-empirics Претензия-1 (абзацы) = дешёвый промпт-рычаг, не модель; A-2pass отклонён (fidelity-катастрофа); gpt-5.4-эскалация held под-мощной. → D37 (review-header) закрыт
14b-meaning-battery «Только gpt-5.4 чинит смысл» ОПРОВЕРГНУТО (mistral/deepseek-pro чинят инверсии, glm/grok валят); фронтир-в-дефолт не нужен; корень терм-дрейфа = status:draft сида. → D38/D38.1 (review-header) закрыт

Пропуски нумерации: 05 снят до прогона (вопрос закрыт литературой — урок «тест только если исход переворачивает решение», eval/README §Правила-3).

Дуга качества 12 → 13 → 14 → 14b

Четыре эксперимента — один трек «мерить, потом строить»: диагноз (12) → переводчик (13) → рычаги нарезка×промпт + фронтир-диагностика (14) → батарея смысл-трапов + ранг (14b). Все — интерим пре-скрины на PD-классике/книге со стенда (D35), НЕ пилот. Сошлись к D38: near-term потолок — в нашей нарезке/промпте/глоссарии-инфре, не в дешёвых моделях; строим инфра-пак, редакторов больше не мерим. Настоящий вердикт качества = пилот Ф2.5 (09) на корпусе вне претрейна.