textmachine/docs/POLYGON_EXP2223_REDO_SESSION_PROMPT.md

230 lines
26 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Промт: полигон-сессия «ФАЗА Д — доводка эксп-22/23» (заказ владельца 10.08)
Ты — полигон-сессия TextMachine. Зона записи: `eval/` + `docs/experiments/` + пинг в
`docs/PROGRESS.md` секция «Полигон». Сессия НЕ коммитит, кроме пре-рег-фризов (право полигона);
лендит оркестратор. Онбординг: `CLAUDE.md``docs/README.md``eval/README.md`
`docs/experiments/00-provider-quirks.md` → отчёты 22 и 23 ЦЕЛИКОМ, включая ревью-шапки приёмки №16.
Чужие незакоммиченные файлы в дереве (фронт) не трогать.
## Статус и рамка
- Эксп-22/23: **числа подтверждены приёмкой** (независимый пересчёт мимо харнесса, 105 проверок),
но владелец 10.08 признал эксперимент **непоказательным по постановке**: посылки заказа стояли
криво (en-ось недомощна by design, сильный тир не закрыт без gemini, ставка владельца на
edit-контур не мерилась вовсе, en-промпты пар не выверены). **Выводы обоих паков НЕ
ратифицированы и заморожены до этой фазы.** Это НЕ новый эксперимент — фаза добивки тех же
паков, по слову владельца: «в рамках текущего же экспа, заявляя это как пробел экспа».
- Отчёт фазы — секции **Д0Д8** в `docs/experiments/23-editor-tier.md` (продолжение того же
документа) + точечные правки в 22 по чек-листу §Д8. Сводная таблица «пробел → чем закрыт →
носитель-артефакт» обязательна.
- **Деньги:** пакетный потолок фазы **$10.00** — сверить санкцию словом владельца ПРИ ЗАПУСКЕ,
без неё покупок нет. Фазовые потолки разложить в пре-реге Д0. Касса — механизмы эксп-22/23
обязательны (фриз-гейт «покупает только закоммиченный код», атомарный замок, два пути счёта,
проекционные гарды). Стоп-правило: не влезает → СТОП и пинг ДО покупок; **спрашивать при
срабатывании стопа, а не по проекции** (жалоба эксп-22 ратифицирована владельцем поведением).
- **Кап агент-сессий: 80.** Счётчик пишет запись ДО запуска суб-агента (не `--ingest` пост-фактум
— дефект эксп-23 §6 не воспроизводить); исполнение счётчика проверить селфтестом до первой сессии.
## Гипотезы владельца — в пре-рег ДОСЛОВНО (мерить честно; опровержение = находка, не провал)
- **H-1 «Проблема в черновике»**: flash даёт полумусор, полный перепис нужен именно поэтому;
связка «качественный черновик + ТОЧЕЧНЫЙ редактор» ≥ боевой связки по качеству при сравнимой цене.
- **H-2а «Флаговый edit-контур»**: детерминированные флаги (батарея + канон-гейт) → точечный
фиксер — не хуже full-regen по судье, дешевле по деньгам, НЕ ломает канон.
- **H-2б «Смысловой edit-контур» (главная ставка владельца, 10.08)**: LLM-критик, читающий и
ПОНИМАЮЩИЙ текст («найди всё проблемное») → точечный фиксер — дороже (поиск ≈2.14× переписа),
но качество выше и full-regen, и флагового контура: «флагами всё не отследишь». Цена заложена
в смету сознательно — гипотеза о КАЧЕСТВЕ, не об экономии.
- **H-3 «en: перепис не нужен»**: на en→ru редактору остаются только синк глоссария и точечные правки.
- **H-4 «dspro-китайскость»**: перевес dspro в редакторской роли — свойство пары zh→ru; на en/ja
порядок жильцов может смениться (dspro — китайская модель, книга — китайская).
## Д1 — Добивка `gemini-3.1-pro-preview` (пробел эксп-22 §6/§6.3; «брошенный замер» — слова владельца)
Полная редакторская панель: 16 клеток поверх якорной базы эксп-22. **Ретрай-харнесс:**
экспоненциальный бэкофф на 5xx, окно ≥24 часов, поштучно, лимит цены на клетку; **журнал КАЖДОЙ
попытки** (время · код ответа · стоимость) — файлом в сырьё. Вердикт «модель не отдаёт» принимается
ТОЛЬКО с журналом попыток за ≥24 ч + снимком вендор-статуса; «после N отказов бросил» = невыполнение
заказа. Собрано ≥12/16 → судейство абс-ригом со всеми контролями, гипотеза эксп-04 «аутлаер прозы»
закрывается по существу. Помнить: скрытая тарификация ×4.5 видна только в `total_tokens` — потолок
клетки считать по ней.
## Д2 — Внешняя подпись прохода `tier` ($0)
Существующие задания `aj-tier-tasks` — внешнему судье вне Claude руками владельца (механика
sol-border, эксп-23 §12в). Закрытие пункта = **непустой каталог ответов** + пере-счёт скриптом
класса `solscore`. «Пакеты подготовлены и ждут» закрытием НЕ является (норма: обязательство с
адресатом вне зоны закрывается только изменением файла вне зоны).
## Д3 — en→ru как НЕСУЩАЯ ось (пробел эксп-22 §4: 6 единиц — не замер)
- **Промпты пары en→ru**: провенанс каждого объявить в отчёте; **механический гейт консистентности
с zh-промптами** (одна структура, отличаются только данные языка; дифф по шаблону — гейт, не
глазами); выверка против боевого рендера; фриз ДО покупок. Урок эксп-19 (арм E конфаундирован
неполным зеркалом промпта) не повторять.
- **en-банк**: майнинг + терминолог по методике эксп-22, `signed:false`; банк-закон D39.104
обязателен на ВСЕХ армах — прошлое отступление (72 клетки без блока) владельцем помечено, не
повторять.
- **Материал**: Кристофф, добор до 16 единиц методикой отбора эксп-21/22 (fr-страты сохранить в
выборке); контаминация-проба ЖИЛЬЦАМИ (правило эксп-22 §1.1: пробу гонять теми, кто работает);
**непригоден по пробе → СТОП и пинг**, замену без слова владельца не искать.
- **Армы**: боевая связка (flash → dspro full-regen) · dspro-однопроходка с УРАВНЕННЫМ мандатом
(строка 153 — наконец гонится) · черновик + ОБА edit-контура Д4 (флаги→фиксер И смысловой
поиск→фиксер — вопрос владельца «а что если на английском будет черновик + edit-редактор?»
отвечается именно здесь) · контроль редактора (E0 vs D0). Судейство по нормам рига (ниже),
Холм по объявленному семейству.
## Д4 — Edit-контур на zh (ставка владельца; строки 106 и 16)
На 16 якорных единицах эксп-22 — существующие тексты переиспользуются, $0 за старые армы:
- **A0** боевой full-regen (есть в сырье) · **A1** черновик + детерминированные флаги (батарея +
канон-гейт) → точечный фиксер (механика эксп-20: правка по указанному месту, ~$0.0002/починка) ·
**A2** dspro-однопроходка уравненного мандата (строка 153) · **A3** черновик + СМЫСЛОВОЙ
LLM-поиск («прочитай, пойми, найди всё проблемное») → точечный фиксер — **ставка владельца
H-2б, обязательный арм**, цена поиска заложена в смету · **A4** full-regen + канон-фиксер
ПОСЛЕ (полировка: чинит потери канона боевого редактора — немедленный кандидат в прод) ·
**A5** (опция при остатке): сильный редактор × узкий мандат по флагам (гейт реактивации
строки 106).
- **Позиция контура — часть вопроса**: A1/A3 мерят «ВМЕСТО редактора», A4 — «ПОСЛЕ редактора».
«До редактора» не мерится — перепис затирает любую починку.
- **Канон-гейт** = детерминированная сверка покрытия банка после каждого арма — он и флагует
потери для фиксера, и печатается осью результата. **Политика владельца 10.08: банк существует
для ЕДИНООБРАЗИЯ терминов; потеря канона = дефект безусловно; художественность — отдельная
ось.** Гейт жёсткий, фиксер обязан канон восстанавливать.
- Ответ по каждому арму печатать ТРЕМЯ осями: судья · канон-покрытие · цена. H-1/H-2а/H-2б
сверяются по всем трём, а не по одной удобной.
- **Несущий вердикт фазы (сверка H-1/H-2а/H-2б на zh) — внешняя подпись судьёй вне Claude**
по механике sol-border: задания готовит сессия, прогон руками владельца; закрытие пункта =
непустой каталог ответов + пере-счёт скриптом.
## Д5 — Канон-вскрытие ($0; политика банка РЕШЕНА владельцем 10.08)
**Политика зафиксирована словом владельца: «Банк существует, чтобы термины единообразно
переводились. Всё. Художественность текста — это отдельный вопрос.»** Потеря канона = дефект
безусловно; никаких судейских опросов об «уместности замены» — вопрос снят. Задача вскрытия —
дать фиксеру механизм: на сырье эксп-22 КАЖДОЕ место потери покрытия у R0 классифицировать
(термин исчез / парафраз / другой перевод), таблица по терминам и местам. Это спецификация того,
что канон-фиксер (Д4 A1/A3/A4) обязан уметь чинить, и его регрессионный набор.
## Д6 — ja→ru малая ось (H-4; третья пара продукта, не мерилась никогда)
Материал: `isekai_majutsushi_jp` (`~/books`) — контаминация-проба жильцами; непригоден → СТОП и
пинг, замену без слова владельца не искать. ja-промпты пары — те же гейты провенанса и
консистентности, что Д3. 810 единиц: связка · dspro-однопроходка · контроль редактора. Печатать
сравнение ОТНОСИТЕЛЬНОГО порядка жильцов между парами zh/en/ja — это и есть ответ на H-4.
**Статус оси — РАЗВЕДКА (описательная), объявить в пре-реге**: при n=810 MDE несущего вывода не
даёт; несущие ja-выводы не объявлять, расширение до несущей оси — отдельным словом владельца.
## Д7 — Микро-проба самооценки (идея владельца; ≤$0.05, решений не несёт)
Жильцам обеих ролей, по трём книгам (zh/en/ja): «сможешь ли перевести эту книгу на издательском
уровне; что будет трудным?» — ответы персистить, сверить с фактическими результатами пар.
Печатается как любопытство с оговоркой «самооценка моделей ненадёжна»; никакие решения на ней
не стоят.
## Д8 — Поправки тел 22/23 по приёмке №16 ($0, СДЕЛАТЬ ДО ПОКУПОК)
Чек-лист; каждую поправку вносить в тело с пометкой «поправка фазы Д», историю не переписывать:
1. **§15 эксп-22 переписать — интерпретация опровергнута приёмкой**: 5 из 6 клеток — эхо-первые
попытки, ПОЙМАННЫЕ гейтом (судились здоровые ре-гены ×3.33.6, доказано подписями sig в ключах;
gemini-клетка — уже объявленное эхо 3/3). Реально коротка одна E2 (`finish=length`), и её судья
видел. Предложенный гейт длины сузить до класса `finish=length`.
2. Строка §13а «банк-закон … исполнено» (22:1155) — править: на оси en НЕ исполнено (§9 п.9 сам
это обещал и не сделал).
3. Sol-статусы §10/§11/§14 эксп-22 привести к §16 («вернулся, арбитраж не состоялся»); оборванную
фразу 22:352353 дописать.
4. Счёт агент-сессий эксп-23: **58, не 50** — править §6, §14 п.9 (и «считает механизм» ослабить
до честного §6), пинг в PROGRESS.
5. Противоречие эксп-23 о внешнем контуре: §9 буллет 3 и §13 привести к §12в (для `border` подпись
вне Claude ЕСТЬ; для `tier` — нет).
6. Наклон `border` пере-снять (текущее сырьё даёт +0.708, напечатано +0.646) и добавить сторож
наклона в `verify23`.
7. Таблица §0 эксп-23: колонка «с декоем (принято)» для строки R2 несёт число АННУЛИРОВАННОГО
run2 (1.53) — пометить в самой таблице.
8. Объявить в отчёте пере-штамповку `aj-border*` (боевые каталоги — копии `replication-runA`,
mtime 23:31:54; исходный mtime-провенанс судейства утрачен).
9. Голоса `replication-runB` несут judge-имена прогона A (`absjudge.ingest` читает JUDGES-файл
прогона A) — починить ingest, объявить в отчёте.
10. Нумерация: два «п.7» в §8 эксп-23; порядок пунктов §9 эксп-22 (17, 911, 8) — перенумеровать,
ссылки поправить.
11. `eval/README.md`: добавить `editor_tier/` в карту действующих харнессов.
12. Остаток строки 167 (передан фазе Д): статус-баннеры на отчётах экспов, где их нет, +
актуализация шапки эндпоинтов `00-provider-quirks.md`.
## Нормы рига (ЖЁСТКИЕ; нарушение = аннулирование куска)
- **Декой в каждой судейской пачке; сессия, не поймавшая декой, аннулируется целиком** (одобрено
владельцем 10.08 как норма).
- **Шумовой пол — парой, чьи половины судят РАЗНЫЕ сессии** (урок §12б: порог был занижен на 19%).
- **Все армы единицы — в одном пакете одной сессии** (урок Sol §16).
- Идентичность судей персистится ДО запуска; половиной пола не брать боевую клетку (урок «близнеца»).
- Позиционный наклон замерить, вычесть, сторожить гейтом. Донор декоя уравнен по армам.
- Судье запрещено сравнивать варианты между собой и читать их рядом — оценка только против исходника.
- Замок кассы снимает только поставивший его процесс (проверка живости PID).
- Реестр требований фазы — В GIT до покупок; conformance-гейт валиден только против
закоммиченного реестра (урок: реестр в scratchpad = гейт проверял отчёт сам собой).
- **Мощность каждой судейской оси — в пре-рег ДО покупок**: напечатать минимально различимый
эффект (MDE) при плановом n; ось, чей MDE не позволяет несущего вывода, объявляется
ОПИСАТЕЛЬНОЙ заранее, а не постфактум (урок en-оси эксп-22: n=6 не мог дать значимость по
построению, и это выяснилось после денег).
- **На старте фазы пере-снять прайс DeepSeek** (вендор объявил «significant increase»);
прайс сменился → пере-смета и пинг ДО покупок.
## Анти-лень / анти-хак (слова владельца 10.08: «они умные и могут лениться делать работу»)
- Обязательный элемент заказа не собрался с первой попытки → **ДОБИВАТЬСЯ**: ретраи по расписанию,
окна в сутки, официальная вендор-дока. Отказ принимается только с журналом попыток. «Не отвечает —
и ладно» = невыполнение заказа, не девиация.
- Панель, ось или кандидата НЕ резать решением сессии — СТОП и пинг владельцу.
- Обязательство с адресатом вне зоны закрывается ТОЛЬКО изменением файла вне зоны; формулы
«выпущено», «ждёт владельца», «объявлено в отчёте» — маркеры дефекта.
- Детекторы и пороги после взгляда на вердикты не менять; любая девиация = СТОП и пинг В МОМЕНТ,
а не примечание пост-фактум.
- Правка рига чужого пака — отдельным коммитом с его заголовком + пере-снятие его гейтов.
- **Самопроверка исполнением** (мандат CLAUDE.md): ревью своего кода, СФОРМИРОВАННЫХ запросов к
моделям и полученных ответов. Приёмка адверсариальная author≠reviewer; **опровергатель ДРУГОГО
модельного семейства обязателен** — разрешение владельца на агентов Fable-5 ДЕЙСТВУЕТ,
использовать (урок эксп-23 §9: вся приёмка на одной модели трижды подписала артефакты).
Финал — построчный аудит закрытия заказа.
- Гейт чисел сторожит присутствие числа, не истинность предложения — пороговые и сравнительные
утверждения сверяются чтением при самоприёмке.
## Чего НЕ делать
Не трогать чужие зоны (фронт, платформа, бэкенд) и их незакоммиченные файлы · не объявлять
ратификаций — выводы принимает владелец через оркестратора · Резерв D39.22 не трогать (решение
владельца отложено до этой фазы) · не менять слаги моделей без live-фактчека `/models` ·
`.env` не читать НИКОГДА · аномалии провода → официальная вендор-дока, не догадки.
## Отчёт и сдача
Секции Д0 (пре-рег: гипотезы H-1…H-4, смета, потолки, прогнозы) … Д8 в `23-editor-tier.md`.
Сводная таблица «пробел эксп-22/23 → чем закрыт → носитель-артефакт». Сверка H-1…H-4 с фактом —
отдельной таблицей, включая опровержения. CONFIRM/DENY владельцу — только с артефактом-носителем.
Деньги: итог по фазам двумя путями. Пинг в `docs/PROGRESS.md` секция «Полигон» при закрытии.
Запуск — по слову владельца; первым сообщением сессии сверить санкцию потолка $10.00.
---
> ⚠ **ЗАКАЗ ЖИВОЙ, НО ЧЕТЫРЕ ЕГО СОБСТВЕННЫХ ФАКТА ДЕРЕВО УЖЕ ОПРОВЕРГЛО** (приписка ревизии доков
> 02.09; тело выше НЕ тронуто и трогать его нельзя — на его НОМЕРА СТРОК ссылаются код и отчёт:
> `eval/dovodka/runs.py` цитирует строку 25 как источник капа; отчёт `docs/experiments/23-editor-tier.md`
> ссылается на строки заказа ТРИНАДЦАТЬЮ якорями — не только заголовками секций Д2 · Д5 · Д8, но и
> точечно по всему телу, включая последние его строки (пере-снять счёт:
> `grep -cE 'заказа? :' docs/experiments/23-editor-tier.md`); по строке же цитируют заказ
> `eval/dovodka/itog_d4.py` и `eval/dovodka/SESSION2-LOG.md`. А `eval/dovodka/requirements.md`
> объявлен прочитанным ПОСТРОЧНО и выводит отсюда 77 строк реестра, сверяемых conformance-гейтом.
> Любая резка сдвинула бы всё это молча, поэтому поправки — списком здесь, а не в теле.)
>
> * **Строка 25, «кап агент-сессий: 80» — СНЯТ владельцем 15.08.** Живое число — `CAP` в
> `eval/dovodka/runs.py`; там же комментарием над ним вся история подъёмов и их основания.
> * **Строка 17, «отчёт фазы — секции Д0Д8»** — состав давно шире; считать командой
> `grep -c '^## Д' docs/experiments/23-editor-tier.md`, а не читать отсюда.
> * **Строка 112, японский материал `isekai_majutsushi_jp` — ЗАМЕНЁН** на `enkan_no_hate_ja`
> санкцией владельца 15.08 (D39.136 п.1а; тем же словом снят СТОП ja-оси). Прибор отбора и
> причина замены — `eval/dovodka/material_ja.py`.
> * **Пакетный потолок фазы $10.00 (строки 20 и 207) — НЕ ТЕКУЩИЙ.** Фактическая цепь потолков
> живёт в `eval/dovodka/money_d.py` (`PACK_CEILING`/`CEILINGS`), подъёмы шли рукой владельца
> напрямую полигону (D39.136 п.1а). Санкцию ПЕРЕД покупками сверять там и словом владельца.