diff --git a/docs/PROGRESS.md b/docs/PROGRESS.md index 837b9e0..3f0b821 100644 --- a/docs/PROGRESS.md +++ b/docs/PROGRESS.md @@ -80,7 +80,7 @@ ## Оркестратор №6 — трек A пак-1 залендён (D39.2, `d3f6b34`), 2026-07-16 -Бэкенд исполнил T1–T4; **верификация прямая, исполнением** (мандат): build/vet/race-тесты зелёные (прогнал сам), golden-детерминизм PASS, пиновые тесты вербозно, несущие диффы прочитаны построчно, **golden re-capture воспроизведён независимо** (маскированный структурный дифф = 0 расхождений — только хеши/версии/2 новых пустых поля). ⚠ **Мульти-агентный второй рубеж 3× упал на API-529 — зарегистрирован ДОЛГОМ** (по восстановлении API; находки → фикс-лист пак-2, маршрут D37). Залендено: **терм-дрейф закрыт в КОДЕ** (trust-gated suppressor, memmatch-v4, громкий retrieval_state) · export-contract нормализация каждого финала (width.Fold, не NFKC — тот калечит «…»/«№») · **pair-keyed промпт-сеам** (fail-loud на не-zh-ru; `Book.LangPair()` ожил) · реестр role→инъекция · target-gated readability · `tmctl report` (детерм. quality-KPI). Снапшот: memmatch-v4+sanitizer-v5 → плановый единый resnapshot (и так требовался D38.5). Открытое → D39.2 (полигон-экспорт-поверхность ДО пере-прогона; CJK-глоссы — владельцу; билингв src→dst; ja-пример). Разбор — D-лог **D39.2**. **Решения владельца (16.07, пост-D39.2):** бюджет §D-эмпирики ≤$15 ✅ · поле gender в схеме сида ✅ (транспорт+подпись — в exp15-преп) · **CJK-глоссы СОХРАНЯТЬ** (против текущего стрипа → whitelist в фикс-лист пак-2; скоринг exp15 глоссы не штрафует) · W1.5-гейт — решить после Q3. **Промт exp15 ВЫДАН:** `POLYGON_SEGMENTATION_EMPIRICS_SESSION_PROMPT.md` (исполнение research/19 §D: пре-рег фриз пинит бэкенд-HEAD/сид/промты; Q2b→Q1+Q3→Q2a/Q2c→Q4→Q0; преп: DeepSeek-слаги до 24.07, вендор-чек кэша ZAI/GLM, gender-транспорт). +Бэкенд исполнил T1–T4; **верификация прямая, исполнением** (мандат): build/vet/race-тесты зелёные (прогнал сам), golden-детерминизм PASS, пиновые тесты вербозно, несущие диффы прочитаны построчно, **golden re-capture воспроизведён независимо** (маскированный структурный дифф = 0 расхождений — только хеши/версии/2 новых пустых поля). ⚠ **Мульти-агентный второй рубеж 3× упал на API-529 — зарегистрирован ДОЛГОМ** (по восстановлении API; находки → фикс-лист пак-2, маршрут D37). Залендено: **терм-дрейф закрыт в КОДЕ** (trust-gated suppressor, memmatch-v4, громкий retrieval_state) · export-contract нормализация каждого финала (width.Fold, не NFKC — тот калечит «…»/«№») · **pair-keyed промпт-сеам** (fail-loud на не-zh-ru; `Book.LangPair()` ожил) · реестр role→инъекция · target-gated readability · `tmctl report` (детерм. quality-KPI). Снапшот: memmatch-v4+sanitizer-v5 → плановый единый resnapshot (и так требовался D38.5). Открытое → D39.2 (полигон-экспорт-поверхность ДО пере-прогона; CJK-глоссы — владельцу; билингв src→dst; ja-пример). Разбор — D-лог **D39.2**. **Решения владельца (16.07, пост-D39.2):** бюджет §D-эмпирики ≤$15 ✅ · поле gender в схеме сида ✅ (транспорт+подпись — в exp15-преп) · **CJK-глоссы СОХРАНЯТЬ** (против текущего стрипа → whitelist в фикс-лист пак-2; скоринг exp15 глоссы не штрафует) · W1.5-гейт — решить после Q3. **Пакет банк-майнинга W1.5 ратифицирован (D39.3, по записке ресёрчера-19 через владельца):** диспозиция H15/V4-п4 → активный пакет «ресёрч→полигон→бэкенд-дизайн»; гипотеза №1 владельца («код сам разметит») — проверяемая; промт `RESEARCHER_BANK_MINING_SESSION_PROMPT.md` ВЫДАН с HOLD-гейтом (запуск после фриза exp15). **Промт exp15 ВЫДАН:** `POLYGON_SEGMENTATION_EMPIRICS_SESSION_PROMPT.md` (исполнение research/19 §D: пре-рег фриз пинит бэкенд-HEAD/сид/промты; Q2b→Q1+Q3→Q2a/Q2c→Q4→Q0; преп: DeepSeek-слаги до 24.07, вендор-чек кэша ZAI/GLM, gender-транспорт). ## Компоненты единого resnapshot залендены (D38.5), 2026-07-12 diff --git a/docs/RESEARCHER_BANK_MINING_SESSION_PROMPT.md b/docs/RESEARCHER_BANK_MINING_SESSION_PROMPT.md new file mode 100644 index 0000000..885a2e8 --- /dev/null +++ b/docs/RESEARCHER_BANK_MINING_SESSION_PROMPT.md @@ -0,0 +1,61 @@ +# Промт: сессия-РЕСЁРЧЕР — research/20: авто-формирование банка из черновиков (W1.5 / банк-майнинг), 2026-07-16 + +> **⚠ HOLD-ГЕЙТ: запускать ПОСЛЕ пре-рег фриза exp15** (первый коммит полигон-сессии) — фокус полигона +> не разбавляем (решение владельца/ресёрчера-19). Эта сессия — РЕСЁРЧ-стадия пакета +> «ресёрч → полигон → бэкенд-дизайн»; полигон-стадию (эмпирика детектора) выдаёт оркестратор ОТДЕЛЬНЫМ +> промтом после этого отчёта И после завершения exp15. Слой-1 (чанкер) этим пакетом НЕ гейтится. + +## Что это (диспозиция D39.3) +Проработка **авто-формирования глоссария-банка из черновиков волны W1** (research/19 §B3-бис: W1.5 — +глобальный майнинг термин-кандидатов по всем черновикам → реконсиляция → подпись владельца). Закрывает +NEVER_CLOSED `H15` (аудит `08`) и владельческие V4-п4 (как строить глоссарий: контекст вхождений, жанр) ++ V4-п1-эскиз (переводчик выносит кандидатов сносками → парсим → банк → редактор чинит термины). +**Гипотеза №1 (владелец, ПРОВЕРЯЕМАЯ, не пресуппозиция): «чистый код сам разметит всё»** — сначала +измерить потолок бескодового-LLM пути, LLM звать только в доказанные слепые зоны. + +## Зона/протокол +`docs/research/` (отчёт `20-bank-mining.md`); не коммитить (лендит оркестратор). Гардрейлы CLAUDE.md +(`.env`/18+/books — не трогать; счётчики ок). **Анти-анкоринг как research/18/19:** §A (внешняя фактура) +заморожен sha256 ДО чтения стека сверх этого промта; несущие клеймы — адверсариальная верификация по +первоисточникам (author≠reviewer внутри сессии); мандат самопроверки исполнением. + +## Прайор-арт в репо (читать ПОСЛЕ заморозки §A) +- **exp06 / research/06:** локальная NER-экстракция РАБОТАЕТ (9B на стенде, $0) — «спот=локаль/ + рендер=облако» (G1-эскиз реестра рисков `06-memory-risk-registry`). +- **Память v2** (`memory.go`): Aho-Corasick, disposition, longest-match trust-gate (D39.2), сид-схема + (`memseed.go`, глоссарий-yaml; поле gender одобрено владельцем 16.07 — транспорт в exp15-преп). +- **Сид v2 = ground truth** (57+ термов, алиасы, подписан владельцем) — детектор меряется против него + (нашёл ли код то, что человек курировал). Данные черновиков УЖЕ есть ($0): 25-глав rerun + (`records.json`, source+draft пары), артефакты exp14/exp15. +- **research/19 §B3-бис (W1.5):** глобальная пост-хок консолидация качественно бьёт онлайн-замок + первого перевода (LTCR-отравление; BooookScore — иерархическая сборка > инкрементальной). +- **H15-аудит:** НЕ исследованы query-time context-recording, жанр-кондиционирование, сигналы/пороги/ + сведение. Web-fetch-тир (V4-п4) — за trust boundary D25.5 (Ф3), в дизайн заложить как слот, не строить. + +## Вопросы пакета (ядро — из записки ресёрчера-19, ратифицировано) +**(а) Хватает ли ЧИСТОГО КОДА?** Спроектировать детерминированный детектор кандидатов и **тест +recall/precision против сида v2 — ДО любого LLM.** Сигналы: частота × PMI/termhood (c-value-класс) × +**разброс переводов в черновиках** (новый сигнал: сущность, которую draft-модель переводит +НЕконсистентно между чанками, — первый кандидат в банк) × NER-маркеры (титул/имя-паттерны). Пороги, +их устойчивость, честный протокол замера (train/test-раскол по главам, чтобы пороги не подгонялись). +**(б) Канал «сноска переводчика» vs код-детектор vs гибрид** — по recall и цене (~$0.004 vs $0 vs +~$0.02/ранобэ — оценки ресёрчера-19, пере-верифицировать). Сноска: строгий разделитель, срез КОДОМ на +границе волн, **редактор её не видит**. ⚠ Проработать интеграционные точки канала сноски с +детерминированными гейтами — она затрагивает: sanitizer trailing-note класс (срез ДО санитайзера), +coverage/excision (сноска ≠ перевод — не в знаменатель), max_tokens-сайзинг (+токены сноски), +echo-гейт, request_hash/детерминизм (формат сноски версионируется). Перечислить ВСЕ. +**(в) Консолидация (W1.5):** выбор канона по ВСЕМ вхождениям (не первый-победил), кластеры алиасов + +пол, контексты вхождений + жанр (V4-п4), статус draft/подпись владельца — **дисциплина сида НЕ +меняется** (approved-инвариант, спорное = draft до подписи). +**(г) Слепые зоны кода — где нужен LLM:** консистентно-НЕВЕРНЫЙ перевод (сигнал разброса слеп, когда +модель стабильно ошибается — класс 蛊→«гусеницы»), полисемия 转-класса, редкие реалии. Для каждой зоны: +детектируема ли она дёшево (локальная 9B, exp06-паттерн) vs требует облачного судьи vs остаётся +человеку; спот=локаль/рендер=облако как рамка. + +## Deliverable +`docs/research/20-bank-mining.md`: §A (заморожен: внешняя фактура — ATE/терм-майнинг, PMI/c-value, +bilingual terminology mining, translation-consistency сигналы, NER для литературного zh/ja) · §B (дифф +§A↔репо + спека детектора и канала сноски) · §C (консолидация W1.5 + схема потока данных до сида) · +§D (**пре-рег дизайн полигон-эмпирики**: recall/precision детектора против сида v2 на СУЩЕСТВУЮЩИХ +черновиках $0; арм-сравнение (б); методология-guard D32.4) · §E (открытые вопросы владельцу/бэкенду). +Полигон исполняет §D отдельным промтом ПОСЛЕ exp15 (author≠reviewer). diff --git a/docs/architecture/05-decisions-log.md b/docs/architecture/05-decisions-log.md index 9739dfb..9ef784c 100644 --- a/docs/architecture/05-decisions-log.md +++ b/docs/architecture/05-decisions-log.md @@ -3,7 +3,7 @@ > **⟶ КАРТА АКТУАЛЬНОСТИ (ревизия D31, продлена до D38.2 [12.07]; исторические записи ниже НЕ переписываются — дисциплина D23.3).** Читая контракт целиком, держи под рукой, что чем перекрыто: > - **Полностью superseded:** **D1 (моно-редактор) → D17 → D30.1 (редактор БИЛИНГВ)** · D9 (ja-приёмка) → D18 (蛊真人 zh→ru; ja — второй прогон) · D17 → D30.1 · скобка D19.4 «ключ без data-sharing» и D20.3 «чистый ключ = блокер пилота» → **D27** (единый ключ С data-sharing, отключение перед продом) · exp04-дефолт «editor grok-4.3» (D3) → D30.1 (grok reasoning-off из редакторских ролей СНЯТ — no-op; кандидат glm-5-билингв; gemini — премиум-эскалация только за санитайзером D30.3). > - **Частично амендировано:** D3 (канал B → D14.1/D19.1 + оговорки D22.5/D22.6; апекс-слаг `-preview` — D22.4; draft под вопросом exp13 — D30.6) · D6 («off/minimal для draft/edit» эродирован: draft thinking-ON принудительно, editor-off снят D30.1; живы per-роль принцип и D6.2-буфер) · D10 (+D24.2 alias-слепое пятно, истинная консистентность ≈99.5%) · D11-числа → exp08 → **D30.4** (флип D1 = +15–25%, ~$0.85/ранобэ; «$1.5–2» = неподписанная опция Б) · D12 (+D24.3 флоры max_tokens; +D29.1в rollup — амендмент вердикт-правила) · D13.1-арм из решающего → ПОДТВЕРЖДАЮЩИЙ (D30.1); +D25.3 prefix-анализ судьи · D14.2 закрыт D19.1/D22.4; D14.4 закрыт D22.1 · D15.3 исполнен; спека D15.2: v2→v3→v3.1 (D22.2), реализация = текущий пакет (D30.9) · D24.4 +D28.1 (precision/recall-трейдофф; hard-gate требует пере-замера) · порядок D24.5 отложен D26.1 (этап B — после читаемых 25 глав). -> - **Живое ядро без изменений:** D2 (+новый гейт-класс D30.3), D4, D5, D7, D8, D10-механизм, D12-таксономия отказов, D16, D18, D19.1–19.2, D21 (Ф2-механизмы voice/address/reveal), D22.5–22.7, D23 (golden = инвариант №8), D24–D39.2 — действующая голова контракта (**D39.2 = трек-A пак-1 залендён `d3f6b34`: trust-gated suppressor [терм-дрейф закрыт в КОДЕ] + export-contract нормализация + pair-сеам + реестры + quality-report; адверсариал-долг за 529**; **D39.1 = research/19 залендён: конфликт exp14↔research/18 разрешён [эмиссия≠окно≠связность], Go-спека чанкера+когезии, волновая архитектура W0–W3 [вводная владельца: параллелизм], пре-рег эмпирики Q0–Q5; оркестратор-ревью снято владельцем**; **D39 = АРХ-РЕСЕТ: синк-аудит сломанного телефона [65 находок, 0 refuted, `08-sync-audit-ledger.md`] + целевая 7-слойная архитектура [`09-target-architecture.md`] + фазовый план [трек A build-now ∥ трек B ресёрч, пере-прогон после]; формализует фантомный «D35.7» как цель слоя 1; терм-дрейф код-корень жив [сид-воркэраунд]; редактор 4-мандата-full-regen = причина инверсий**; D35 = пивот качество-первым; D36 = приёмка research/18; D37 = приёмка exp14: претензия-1=промпт-рычаг; D38 = приёмка exp14b: «только gpt-5.4» ОПРОВЕРГНУТО [mistral/deepseek-pro чинят], фронтир в дефолт НЕ нужен, корень терм-дрейфа = статус-draft сида; **D38.1 = слепой h2h P1a↔F-disc залендён [ChatGPT «фронтир сильнее» / Claude «near-parity» расходятся, СХОДЯТСЯ: дефекты = инфра] → РАЗВОРОТ «мерить→строить», выдан BACKEND_INFRA_PACK; D38.2 = консолидация/док-гигиена: спент exp-скрипты в `eval/exp12|13|14|14b/`, статус-доки+.puml актуализированы; D38.3 = инфра-пак читаемости залендён (санитайзер-классы strip+export + число/omission-гард), верифицирован исполнением [build/vet/test зелёные, 3 span-дефекта запинены]; D38.4 = аудит полноты exp14/14b: чэнъюй-рычаг забыт near-term→дописан в дискурс-промпт; inversion-гард D37 §2г не строился (число/omission ≠ полярность)→editor-swap = защита от инверсий (приоритет↑); нарезка = re-run-арм; гард-тумблер вкл. при resnapshot; D38.5 = компоненты resnapshot залендены+верифицированы [reseed-сид eb409f2 · дискурс+чэнъюй editor v3 0ac5f7a с few_shot-тумблером] → следующий шаг единый resnapshot + пере-прогон**). +> - **Живое ядро без изменений:** D2 (+новый гейт-класс D30.3), D4, D5, D7, D8, D10-механизм, D12-таксономия отказов, D16, D18, D19.1–19.2, D21 (Ф2-механизмы voice/address/reveal), D22.5–22.7, D23 (golden = инвариант №8), D24–D39.3 — действующая голова контракта (**D39.3 = пакет банк-майнинга W1.5 [диспозиция H15/V4-п4] ратифицирован, research/20-промт с HOLD до фриза exp15**; **D39.2 = трек-A пак-1 залендён `d3f6b34`: trust-gated suppressor [терм-дрейф закрыт в КОДЕ] + export-contract нормализация + pair-сеам + реестры + quality-report; адверсариал-долг за 529**; **D39.1 = research/19 залендён: конфликт exp14↔research/18 разрешён [эмиссия≠окно≠связность], Go-спека чанкера+когезии, волновая архитектура W0–W3 [вводная владельца: параллелизм], пре-рег эмпирики Q0–Q5; оркестратор-ревью снято владельцем**; **D39 = АРХ-РЕСЕТ: синк-аудит сломанного телефона [65 находок, 0 refuted, `08-sync-audit-ledger.md`] + целевая 7-слойная архитектура [`09-target-architecture.md`] + фазовый план [трек A build-now ∥ трек B ресёрч, пере-прогон после]; формализует фантомный «D35.7» как цель слоя 1; терм-дрейф код-корень жив [сид-воркэраунд]; редактор 4-мандата-full-regen = причина инверсий**; D35 = пивот качество-первым; D36 = приёмка research/18; D37 = приёмка exp14: претензия-1=промпт-рычаг; D38 = приёмка exp14b: «только gpt-5.4» ОПРОВЕРГНУТО [mistral/deepseek-pro чинят], фронтир в дефолт НЕ нужен, корень терм-дрейфа = статус-draft сида; **D38.1 = слепой h2h P1a↔F-disc залендён [ChatGPT «фронтир сильнее» / Claude «near-parity» расходятся, СХОДЯТСЯ: дефекты = инфра] → РАЗВОРОТ «мерить→строить», выдан BACKEND_INFRA_PACK; D38.2 = консолидация/док-гигиена: спент exp-скрипты в `eval/exp12|13|14|14b/`, статус-доки+.puml актуализированы; D38.3 = инфра-пак читаемости залендён (санитайзер-классы strip+export + число/omission-гард), верифицирован исполнением [build/vet/test зелёные, 3 span-дефекта запинены]; D38.4 = аудит полноты exp14/14b: чэнъюй-рычаг забыт near-term→дописан в дискурс-промпт; inversion-гард D37 §2г не строился (число/omission ≠ полярность)→editor-swap = защита от инверсий (приоритет↑); нарезка = re-run-арм; гард-тумблер вкл. при resnapshot; D38.5 = компоненты resnapshot залендены+верифицированы [reseed-сид eb409f2 · дискурс+чэнъюй editor v3 0ac5f7a с few_shot-тумблером] → следующий шаг единый resnapshot + пере-прогон**). Ответ на вопросы бэкенд-сессии (PROGRESS §«Вопросы от бэкенда», §«[НУЖНО РЕШЕНИЕ] перед Фазой 1» — с ревизии D31 в `archive/PROGRESS-2026-07-04-10.md`) и полигона (think-режим). Каждое решение прошло адверсариальную панель из 3 критиков (research / экономика / исполнимость в коде Фазы 0); ни одно не отклонено, все уточнены. Это **контракт Фазы 1** — бэкенд исполняет отсюда; при конфликте с буквой 01-decisions/02-mvp-plan — источник истины здесь (потом сольём в основные доки). @@ -594,3 +594,7 @@ exp14b (D37-мандат) прогнал батарею DET-смысл-трап **Что залендено:** **T1** — disposition-gated `suppressContained` (`memmatch-v4`; draft-длиннее больше не съедает вложенный approved; отказ = громкий `retrieval_state.n_trust_gated_suppress`+detail, миграция store v8) + стейл-D1-комменты сняты (поведение CONFIRMED-only цело). **T2** — `exportNormalize` на КАЖДЫЙ FinalText (width.Fold НЕ NFKC — NFKC калечит «…»/«№»; 、。-маппинг; стрип комбинирующего ударения с NFC-гардом на й/ё); санитайзер = чистый детектор (recoverable-глифы чинятся молча, флаг только на contentless-Han). **T3** — реестр `roleInjectionRenderers`; readability-гейты за `isRuTarget`; **pair-keyed промпт-сеам** (`Stage.Prompts{zh-ru:…}` + fail-loud, `Book.LangPair()` ожил; SHA-нейтрально для zh→ru); strip-resolver один (classifyOutput возвращает stripped); сироты `analyst/terminologist.md` снесены, `gatesEnabled()` снесён, `foldModelWire` извлечён. **T4** — `tmctl report`: детерм. per-run quality-report (mean_spp, тире, CJK, глоссарий, дрейф, echo; rate-знаменатель bounded), наблюдаемость не гейт. Снапшот-сдвиги: memmatch-v4 + sanitizer-v5 → плановый единый `--resnapshot` (уже требовался D38.5). **Открытые вопросы пак-1 (маршрутизация):** (1) **полигон-поверхность экспорта** — `records.json`/сырые чекпоинты не видят export-normalize; фикс НЕ в Python-зеркале, а бэкенд-поверхностью (`tmctl`-экспорт / derived-checkpoint — пак-2; решить до пере-прогона). (2) билингв-редактор src→dst — открытый дизайн-вопрос D30.1 (в Q-очередь трека B/пак-2). (3) CJK-глоссы `(羅漢拳)` — решение владельца. (4) `example/book.yaml` (ja) теперь fail-loud — ja-ru пакет или переоформить пример (мелочь, пак-2). Плюс входящие из research/19 §E.5–8-бис (кнобы когезии, дифф-apply после Q4b, **DeepSeek-слаги до 24.07**, **вендор-чек кэша ZAI/GLM**). + +## D39.3 — Пакет «банк-майнинг W1.5» ратифицирован: диспозиция H15/V4-п4, промт research/20 выдан с HOLD-гейтом (16.07, оркестратор №6). ✅ + +По записке ресёрчера-19 (передана владельцем; владелец хочет проработку авто-формирования банка из черновиков отдельным пакетом «ресёрч → полигон → бэкенд-дизайн»). Это штатная диспозиция док-долга D39: **H15 (NEVER_CLOSED) + V4-п4 → АКТИВНЫЙ пакет**; V4-п1-эскиз владельца (сноски переводчика → парсинг → банк) абсорбирован как арм (б). Ядро пакета: (а) потолок ЧИСТОГО КОДА — recall/precision детектора (частота × PMI × **разброс переводов в черновиках** — новый сигнал) против сида v2 как ground truth, ДО любого LLM; (б) канал «сноска переводчика» (строгий разделитель, срез кодом на границе волн, редактор не видит) vs код vs гибрид — по recall и цене (~$0.004/$0/~$0.02 на ранобэ — пере-верифицировать); ⚠ сноска затрагивает детерминированные гейты (sanitizer trailing-note, coverage-знаменатель, max_tokens, echo, request_hash) — интеграционные точки перечислить в дизайне; (в) консолидация W1.5 (канон по всем вхождениям, алиасы+пол, дисциплина сида НЕ меняется); (г) слепые зоны кода (консистентно-неверный перевод, 转-полисемия, редкие реалии) → где LLM/локальная-9B (exp06, спот=локаль/рендер=облако). **Гипотеза №1 владельца («код сам разметит всё») — проверяемая, не пресуппозиция.** Прайор-арт: exp06/research-06, G1-эскиз, память v2, сид v2; данные черновиков $0 (records.json + артефакты exp14/15). **Тайминг (условие ресёрчера-19, ратифицирую): промт `RESEARCHER_BANK_MINING_SESSION_PROMPT.md` ВЫДАН с HOLD-гейтом — запуск после пре-рег фриза exp15** (фокус полигона не разбавлять); полигон-стадия пакета — после завершения exp15; слой-1 пакетом не гейтится.