Ratify D26 quality-first pivot: stage B frozen after owner readability verdict, issue exp12 quality-diagnosis prompt with editor arm matrix and blind owner reading
This commit is contained in:
parent
58f510d2de
commit
aa6bc240ec
3 changed files with 62 additions and 2 deletions
46
docs/POLYGON_QUALITY_DIAG_SESSION_PROMPT.md
Normal file
46
docs/POLYGON_QUALITY_DIAG_SESSION_PROMPT.md
Normal file
|
|
@ -0,0 +1,46 @@
|
|||
# Промт: полигон-сессия «exp12 — диагностика качества 25 глав» (2026-07-11, приоритет №1)
|
||||
|
||||
---
|
||||
|
||||
## Кто ты и зачем
|
||||
|
||||
Ты — **полигон-сессия** (eval) TextMachine, эксперимент 12. Контекст: владелец прочитал 25 глав приёмочного прогона (draft deepseek-v4-flash → editor glm-5 моно) и вынес первый человеческий вердикт: **качество нечитаемо, хуже всего редактура**. Этап B заморожен (D26) до читаемого конфига. Твоя задача — **локализовать, где теряется качество, и найти конфиг-кандидата** для пере-прогона 25 глав. Это пре-скрин пилота Ф2.5, не сам пилот (N=1 читатель, честный «безκ-режим»).
|
||||
|
||||
Зона записи: `eval/` + `docs/experiments/12-quality-diagnosis.md` + секция в `docs/PROGRESS.md` «Полигон». Бэкенд НЕ трогать (там параллельно живёт пакет №5). Артефакты приёмки — только копиями (store: `/home/ubuntu/books/gu-zhenren/acceptance/guzhenren-acc-a.db`, вне git). Сэмплы/выходы — в `/home/ubuntu/books/gu-zhenren/diag/` (ВНЕ git; в доки — числа и короткие цитаты ≤15 слов).
|
||||
|
||||
## Онбординг (~30 мин)
|
||||
|
||||
1. `CLAUDE.md` → CURRENT-STATE → **D26** (мандат), D24 (итоги этапа A), D17/D13.1 (моно vs билингв — оспоренный D1), D3 (бейк-офф exp04: glm слабейший, grok ранг-1 верность, gemini лучшая проза — но всё мерено БИЛИНГВАЛЬНО и на PD-классике).
|
||||
2. `docs/experiments/00-provider-quirks.md` (grok: reasoning off ТОЛЬКО явным `reasoning_effort:"none"`; gemini: слаг `-preview`, mandatory thinking, max_tokens ≥8000; deepseek thinking ON) + `04-editor-quality.md` (методика exp04) + уроки слепоты D13.5 (пере-рандомизация меток по фрагментам, ключ ВНЕ артефакта).
|
||||
3. Отчёт «## Приёмка Ф1» в PROGRESS (разбор D10/флагов — какие главы чистые).
|
||||
|
||||
## Дизайн (пре-регистрация ДО платных вызовов — армы, судьи, бюджет, критерии; в exp12-док)
|
||||
|
||||
**Материал:** 3 ЧИСТЫЕ главы из 25 (без флагов; выбор по пре-регистрированному критерию разнообразия: диалого-плотная / экшен / экспозиция — не черри-пик). Черновики этих глав УЖЕ есть в store приёмки (checkpoints) — переиспользуй, $0.
|
||||
|
||||
**Армы (на одних и тех же черновиках, где применимо):**
|
||||
- A0 — черновик без редактуры (из store, $0).
|
||||
- A1 — glm-5 моно (= финал этапа A, из store, $0).
|
||||
- A2 — glm-5 билингв (боевой editor-промпт + блок исходника; минимальная пре-регистрированная модификация, БЕЗ итераций промпта по ходу).
|
||||
- A3 — grok-4.3 моно (`reasoning_effort:"none"`, temp как в боевом конфиге).
|
||||
- A4 — grok-4.3 билингв.
|
||||
- A5 — gemini-3.1-pro-preview билингв (премиум-якорь; max_tokens ≥8000, thinking биллится как output).
|
||||
- A6 — grok-4.3 моно БЕЗ глоссарных dst-констрейнтов (гипотеза «инъекция деревянит стиль»; терминологию потом сверить отдельно).
|
||||
|
||||
**xAI-ключ:** текущий допустим (категория «eval + приёмочная книга владельца» — D19.4). **Бюджет: кап $5**, пре-регистрируй оценку.
|
||||
|
||||
**Оценка (два слоя):**
|
||||
1. **Владелец-читатель (главный сигнал):** слепые пакеты — по каждой главе варианты в случайном порядке, метки пере-рандомизированы ПО ФРАГМЕНТАМ, ключ соответствий в отдельном файле вне пакета. Формат ответа: ранжирование + бинарный гейт «читаемо да/нет» + свободные пометки. Уложи его время в ~1–2 часа.
|
||||
2. **LLM-судьи (вторично):** 2 кросс-семейных судьи, **семейство не судит свои выходы** (grok-армы НЕ судит grok — D13.3г); ≥3 повтора со свапом позиций, медиана; оси: верность (билингвально, против исходника!) и стиль раздельно. Обязательно: арм, выигравший чтение, прогнать через билингвальную сверку смысла — «гладко-неверное» не должно победить молча (D1.1).
|
||||
|
||||
**Root-cause разбор текущих 25 глав:** владелец даёт 10–20 худших мест своего чтения → классифицируй каждое по фактам (черновик vs финал vs исходник): `ошибка черновика (смысл)` / `редактор ухудшил/не спас` / `скованность от инъекции терминов` / `оформление диалогов/пунктуация` / `другое`. Распределение + примеры — в отчёт.
|
||||
|
||||
## Deliverable
|
||||
|
||||
`docs/experiments/12-quality-diagnosis.md`: пре-регистрация → результаты по армам (чтение владельца + судьи, расхождения честно) → root-cause распределение → **рекомендация конфига для пере-прогона 25 глав** (редактор, моно/билингв, констрейнты) с ценой/главу. Решение о смене дефолта — НЕ твоё (ратифицирует оркестратор, D-блоком). Секция в PROGRESS. Ничего не коммитить.
|
||||
|
||||
## Дисциплина
|
||||
|
||||
- Слепота свята (урок exp04: сломанная слепота уже один раз дала дефолт-редактора). Промпты армов заморожены после пре-регистрации — никакого промпт-инжиниринга по ходу.
|
||||
- Провайдер странно себя ведёт → вендор-дока, не гадание (шапка quirks); слаги — live `/models`.
|
||||
- `.env` не читать; тексты книги в git-доки не тащить; результаты — «безκ-режим, N=1, пре-скрин» (не выдавать за пилот).
|
||||
|
|
@ -1,10 +1,10 @@
|
|||
# Журнал прогресса
|
||||
|
||||
> **⟶ ТЕКУЩЕЕ СОСТОЯНИЕ** (обновляемый блок; на 2026-07-11). **Источник истины по РЕШЕНИЯМ — `architecture/05-decisions-log.md` (D1–D25); этот файл — ЖУРНАЛ, не спека.**
|
||||
> - **Фаза:** 0 ✅; машинерия Ф1 построена и отрефакторена (бэкенд №1–4, полигон №1–3 — все залендены после внешних ревью, D21–D23). **Приёмка Ф1 этап A (25 глав 蛊真人) ВЫПОЛНЕНА и ратифицирована с оговорками — D24** ($0.41; деньги/kill-9/resume/redrive подтверждены исполнением; дрейф ≈0; флаггер D10 шумел из-за decl-сида — фиксы ратифицированы). **research/17 (внешняя критика GPT-5.6) принят — D25** (курс не разворачивается; release-state контракт и trust boundary добавлены, пилот не разбавляется). **Очередь: бэкенд-мини-пакет №5 (`BACKEND_PACKAGE5_SESSION_PROMPT.md`: floor max_tokens D24.3 + post-check D24.4 + golden) ∥ полигон №4 (`POLYGON_PACKAGE4_SESSION_PROMPT.md`: сид мн.ч. — гейтит этап B; D22.8; судья-дублёр) → единый resnapshot → этап B (~300 глав, ~$5, ждём «да»+потолок владельца) → реализация D15.2 (v3.1-правки первым шагом — D22.2).** Решающая точка — пилот Ф2.5 (блокеры: чистый xAI-ключ, билингв-якорь/аннотаторы ≥3 — D25.9-Q1, корпус 25–35 глав, проба судьи-дублёра 18+ — D22.6).
|
||||
> - **Фаза:** 0 ✅; машинерия Ф1 построена и отрефакторена (бэкенд №1–4, полигон №1–3 — все залендены после внешних ревью, D21–D23). **Приёмка Ф1 этап A (25 глав 蛊真人) ВЫПОЛНЕНА и ратифицирована с оговорками — D24** ($0.41; деньги/kill-9/resume/redrive подтверждены исполнением; дрейф ≈0). **research/17 принят — D25.** **⚠ КАЧЕСТВО-ПЕРВЫМ (D26): владелец прочитал 25 глав — нечитаемо, слабейшее звено редактура (первый человеческий замер; конфиг glm-5-моно никем не выбирался как лучший — D20.3-замена + оспоренный D1/D17). Этап B ЗАМОРОЖЕН до читаемых 25 глав.** **Очередь: бэкенд-мини-пакет №5 (`BACKEND_PACKAGE5_SESSION_PROMPT.md`) ∥ полигон-диагностика exp12 (`POLYGON_QUALITY_DIAG_SESSION_PROMPT.md`: армы моно/билингв × glm/grok/gemini на 3 главах, слепое чтение владельца, root-cause; кап $5) → пере-прогон 25 глав выигравшим конфигом → этап B → D15.2 (после №5 бэкенд может начинать v3.1+реализацию — смена редактора без переоплаты черновиков).** Полигон №4 — второй приоритет. Решающая точка — пилот Ф2.5 (блокеры: чистый xAI-ключ, билингв-якорь/аннотаторы ≥3 — D25.9-Q1, корпус, проба судьи-дублёра — D22.6).
|
||||
> - **Стек:** черновик DeepSeek V4 Flash (thinking ON — эхо-мина; temperature там wire-no-op) · редактор **grok-4.3** `reasoning_effort:none` (D1-монолингв оспорен — решает пилот-арм D13.1/D17) · судья/апекс Gemini 3.1 Pro (**wire-слаг `-preview`**; mandatory thinking; биллинг `additive_total` — D22.3) · эскалация A: DeepSeek V4 Pro → GLM-5.1 → Gemini-preview (заведена, пакет №3) · **канал B (18+): переводчик Mistral (18/18 чист вкл. эротику) · эскалация grok-4.3 reasoning-ON (⚠ НЕ на архаичных zh — register-оговорка D22.5) · abliterated-скрининг · судьи: эротика — Grok (дублёр гейтится пробой D22.6), violence/SFW — Grok+Gemini** (DeepSeek в explicit запрещён ToS — D14.1). Anthropic выброшен, OpenAI оставлен. 7 ключей.
|
||||
> - **Экономика:** `experiments/08-cost-model-v2.md` (~$0.69 ранобэ / ~$10.94 вебновелла-500). ⚠ Resume: любой `--resnapshot` = переоплата книги — онгоинг гейтится D15.2 (v3.1 → реализация); exp08 v3 (annotator/voice-строки) заказан D21.8. Gemini-недоучёт 146×/вызов закрыт additive_total (D22.3).
|
||||
> - **Ждём от владельца:** **«да» + потолок на этап B** (~300 глав, ~$5; после лендинга №5+сида) · **решение по билингв-якорю пилота** (рекрут zh/ja→ru-аннотаторов или явное принятие en-моста в пре-регистрации — D25.9-Q1, самый гейтящий) · чистый xAI-ключ без data-sharing (блокер пилота — D20.3) · семантика «publishable»/подпись waiver — при постройке читательского экспорта (D25.1) · FN-bound и методика валидации L3 — при приёмке спеки (D25.4) · провенанс двух внешних 12-*-доков · решение по юр-пакету (+rights manifest, D25.8).
|
||||
> - **Ждём от владельца:** **слепое чтение сэмплов exp12** (~1–2 часа — ключевой сигнал диагностики) + его 10–20 худших мест из 25 глав для root-cause · **решение по билингв-якорю пилота** (рекрут zh/ja→ru-аннотаторов или явное принятие en-моста в пре-регистрации — D25.9-Q1) · чистый xAI-ключ без data-sharing и NSFW-истории (нужен к пилоту/боевым книгам, НЕ к exp12 — D19.4/D20.3) · семантика «publishable»/подпись waiver — при постройке читательского экспорта (D25.1) · FN-bound и методика валидации L3 — при приёмке спеки (D25.4) · провенанс двух внешних 12-*-доков · решение по юр-пакету (+rights manifest, D25.8). *(Этап B: «да»+потолок больше не запрашиваются — заморожен D26 до читаемых 25 глав.)*
|
||||
> - Записи ниже — хронология; РАННИЕ (день-0, 04.07) содержат устаревшие цифры/решения (COGS $2–4, BYOK, Anthropic-Sonnet), переопределённые позже — см. блок выше и 05-decisions-log.
|
||||
|
||||
## Приёмка Ф1 — 蛊真人 zh→ru, этап A (25 глав), 2026-07-10
|
||||
|
|
@ -86,6 +86,10 @@
|
|||
4. **Задания выданы:** `BACKEND_PACKAGE5_SESSION_PROMPT.md` (floor + post-check + golden re-capture + coverage-recall/budget-отказ тесты + D23.4-микро) ∥ `POLYGON_PACKAGE4_SESSION_PROMPT.md` (сид мн.ч. — гейтит этап B; D22.8 major; проба судьи-дублёра; echo-калибровка; дополнения пре-регистрации пилота; P4-хвост) → затем этап B (`ACCEPTANCE_SESSION_PROMPT.md` ред. 11.07). Доко-дрейф ja-приёмки в 02-mvp-plan закрыт (v3.1); GPT_EXTERNAL_ASCENT_PROMPT — в архив.
|
||||
5. **Владельцу (сводно, см. CURRENT-STATE):** «да»+потолок на этап B (после лендинга №5+сида); билингв-якорь пилота (Q1 — рекрут vs en-мост в пре-регистрации); publishable/waiver-подпись — при постройке экспорта; L3 FN-bound и методика валидации — при спеке; юр-пакет и чистый xAI-ключ — висят.
|
||||
|
||||
## 2026-07-11 (позже) — Оркестратор: качество-первым (D26)
|
||||
|
||||
Владелец прочитал 25 глав этапа A — **нечитаемо, слабейшее звено редактура**. Первый человеческий замер читаемости на реальной книге; D24 не пересматривается (приёмка мерила инфраструктуру по D1.1), но очередь перестроена — **D26**: этап B заморожен до читаемого конфига на 25 главах; полигону выдан промт **exp12 «диагностика качества»** (`POLYGON_QUALITY_DIAG_SESSION_PROMPT.md`: армы draft-only / glm-5-моно / glm-5-билингв / grok-моно / grok-билингв / gemini-премиум / grok-без-констрейнтов на 3 чистых главах; слепые пакеты владельцу; LLM-судьи вторично с билингвальной сверкой смысла; root-cause разбор худших мест; кап $5; текущий xAI-ключ допустим — D19.4); полигон №4 — второй приоритет; бэкенд №5 без изменений, после него — пакет D15.2 (пер-стадийный reuse = дешёвая итерация редактора). Оценка research/17 владельцу дана честно (~6/10: две контракт-аддиции + задачи, по качеству перевода — ничего, не его мандат). Разъяснена «гигиена чистого ключа» (без data-sharing + без NSFW-истории; к exp12 не требуется).
|
||||
|
||||
## 2026-07-04 — Старт проекта (MVP-сессия)
|
||||
|
||||
- Прочитан стартовый бриф `START_PROMT.MD` (37 пунктов идей).
|
||||
|
|
|
|||
|
|
@ -310,6 +310,16 @@ D1 остаётся дефолтом Фазы 1 (менять конфигура
|
|||
9. **§D: ранжирование реально открытых вопросов** (для владельца и очереди): **Q1 билингв-якорь zh/ja→ru** (блокер валидности пилота; владельцу: рекрут билингв-аннотаторов ИЛИ явное принятие ограничений en-моста в пре-регистрации) > Q3 publishable (п.1) > Q2 human budget (инструментировка в пилот; числа — владельцу пост-пилот) > Q5 L3 FN-bound (п.4) > Q4 юр-пакет (уже висит) > Q7 календарь G1/B6/морфо-гейта (оркестратор, после пилот-подготовки) > Q6 fact-gate резюме (Ф2-дизайн). Q8 (doc-drift) снят: владелец = оркестратор; его наблюдение подтверждено и закрыто — `02-mvp-plan:24,31` (ja→ru приёмка вопреки D18) исправлены этим лендингом.
|
||||
10. **Методологический урок для будущих внешних критик**: (а) §A хешировать/коммитить ДО открытия фазы 2 (фриз research/17 — attested, not proven); (б) оси мандата формулировать нейтрально, не встраивая наши выводы; (в) список признанных дыр (фаза-3(г)) выдавать только ПОСЛЕ фиксации §A.
|
||||
|
||||
## D26. Качество-первым: этап B заморожен, диагностика exp12 вперёд (11.07, решение владельца + оркестратор). ✅
|
||||
|
||||
**Триггер:** первое человеческое чтение продукта — владелец прочитал 25 глав этапа A (draft deepseek-v4-flash → editor glm-5 моно) и вынес вердикт: качество нечитаемо, слабейшее звено — редактура. Это ПЕРВЫЙ замер читаемости на реальной книге; он не противоречит D24 (приёмка Ф1 = инфраструктура по D1.1 и читаемость не мерила), но меняет очерёдность: масштабировать нечитаемый конфиг смысла нет. Наблюдение согласуется с тремя задокументированными рисками: редактор этапа A = glm-5 (замена D20.3; GLM-линейка — слабейшая в бейк-оффе exp04, glm-5 не перемерян), D1-моно оспорен (D17: −2.2…−5.6 MQM), рейтинг grok снят билингвально при боевом моно-промпте (quality-transfer риск exp08). Решения:
|
||||
|
||||
1. **Этап B (~300 глав) ЗАМОРОЖЕН** до достижения читаемого конфига на 25 главах (подтверждение — чтение владельца). D24.5-порядок (фиксы→resnapshot→B) не отменён — отложен; предусловия B пополняются: «читаемый конфиг ратифицирован».
|
||||
2. **exp12 «диагностика качества» — приоритет №1 полигона** (промт `POLYGON_QUALITY_DIAG_SESSION_PROMPT.md`): армы на 3 чистых главах {draft-only · glm-5-моно(=этап A) · glm-5-билингв · grok-4.3-моно · grok-4.3-билингв · gemini-премиум-билингв · grok-моно-без-констрейнтов}; слепые пакеты владельцу-читателю (безκ-режим честно, N=1 — пре-скрин пилота, НЕ пилот); LLM-судьи вторично (кросс-семейные, свои выходы не судят, верность билингвально — «гладко-неверное» не побеждает молча); root-cause разбор 10–20 худших мест чтения (черновик/редактор/констрейнты/оформление). Кап $5; текущий xAI-ключ допустим (категория D19.4). Дефолт-конфиг по итогам меняется только ратификацией.
|
||||
3. **Полигон №4 — второй приоритет** (сид мн.ч. без этапа B не горит; D22.8-очередь не отменена).
|
||||
4. **Бэкенд не тормозится:** №5 без изменений (floor/post-check нужны любому конфигу); следующий пакет после №5 — D15.2 v3.1+реализация: пер-стадийный wireSnapshotID (D20.1-Q1) делает смену редактора без переоплаты черновиков — прямая синергия с качественной итерацией.
|
||||
5. **Дорожка после диагностики:** пере-прогон 25 глав выигравшим конфигом (~$0.5–1) → чтение владельца → читаемо → этап B и подготовка пилота Ф2.5 (пилот остаётся решающей точкой; диагностика его не подменяет и не разбавляет — D25.2-гейт про билингв-якорь в силе).
|
||||
|
||||
## Сопутствующие правки доков (оркестратор, 09.07)
|
||||
|
||||
`02-mvp-plan.md` → v3 (мёртвые пороги/интерим-18+/фазовые списки синхронизированы с D-логом); обе `*.puml` → v3 (убраны Opus/BYOK/«≤2×», дорисованы ре-гейт эскалации, три класса отказов D12, человек в петле, фазовые пометки); superseded-баннеры на `research/01, 02, 03, 04, 09`; провенанс-шапки на `research/12-architecture-as-antipattern.md` и `12-common-failures.md` (происхождение не зафиксировано — до уточнения владельцем числа оттуда не абсорбировать как факты); закрытые промты → `docs/archive/prompts/`; онбординг: корневой `CLAUDE.md` + `backend/README.md` + `eval/README.md`.
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue