230 lines
26 KiB
Markdown
230 lines
26 KiB
Markdown
# Промт: полигон-сессия «ФАЗА Д — доводка эксп-22/23» (заказ владельца 10.08)
|
||
|
||
Ты — полигон-сессия TextMachine. Зона записи: `eval/` + `docs/experiments/` + пинг в
|
||
`docs/PROGRESS.md` секция «Полигон». Сессия НЕ коммитит, кроме пре-рег-фризов (право полигона);
|
||
лендит оркестратор. Онбординг: `CLAUDE.md` → `docs/README.md` → `eval/README.md` →
|
||
`docs/experiments/00-provider-quirks.md` → отчёты 22 и 23 ЦЕЛИКОМ, включая ревью-шапки приёмки №16.
|
||
Чужие незакоммиченные файлы в дереве (фронт) не трогать.
|
||
|
||
## Статус и рамка
|
||
|
||
- Эксп-22/23: **числа подтверждены приёмкой** (независимый пересчёт мимо харнесса, 105 проверок),
|
||
но владелец 10.08 признал эксперимент **непоказательным по постановке**: посылки заказа стояли
|
||
криво (en-ось недомощна by design, сильный тир не закрыт без gemini, ставка владельца на
|
||
edit-контур не мерилась вовсе, en-промпты пар не выверены). **Выводы обоих паков НЕ
|
||
ратифицированы и заморожены до этой фазы.** Это НЕ новый эксперимент — фаза добивки тех же
|
||
паков, по слову владельца: «в рамках текущего же экспа, заявляя это как пробел экспа».
|
||
- Отчёт фазы — секции **Д0–Д8** в `docs/experiments/23-editor-tier.md` (продолжение того же
|
||
документа) + точечные правки в 22 по чек-листу §Д8. Сводная таблица «пробел → чем закрыт →
|
||
носитель-артефакт» обязательна.
|
||
- **Деньги:** пакетный потолок фазы **$10.00** — сверить санкцию словом владельца ПРИ ЗАПУСКЕ,
|
||
без неё покупок нет. Фазовые потолки разложить в пре-реге Д0. Касса — механизмы эксп-22/23
|
||
обязательны (фриз-гейт «покупает только закоммиченный код», атомарный замок, два пути счёта,
|
||
проекционные гарды). Стоп-правило: не влезает → СТОП и пинг ДО покупок; **спрашивать при
|
||
срабатывании стопа, а не по проекции** (жалоба эксп-22 ратифицирована владельцем поведением).
|
||
- **Кап агент-сессий: 80.** Счётчик пишет запись ДО запуска суб-агента (не `--ingest` пост-фактум
|
||
— дефект эксп-23 §6 не воспроизводить); исполнение счётчика проверить селфтестом до первой сессии.
|
||
|
||
## Гипотезы владельца — в пре-рег ДОСЛОВНО (мерить честно; опровержение = находка, не провал)
|
||
|
||
- **H-1 «Проблема в черновике»**: flash даёт полумусор, полный перепис нужен именно поэтому;
|
||
связка «качественный черновик + ТОЧЕЧНЫЙ редактор» ≥ боевой связки по качеству при сравнимой цене.
|
||
- **H-2а «Флаговый edit-контур»**: детерминированные флаги (батарея + канон-гейт) → точечный
|
||
фиксер — не хуже full-regen по судье, дешевле по деньгам, НЕ ломает канон.
|
||
- **H-2б «Смысловой edit-контур» (главная ставка владельца, 10.08)**: LLM-критик, читающий и
|
||
ПОНИМАЮЩИЙ текст («найди всё проблемное») → точечный фиксер — дороже (поиск ≈2.14× переписа),
|
||
но качество выше и full-regen, и флагового контура: «флагами всё не отследишь». Цена заложена
|
||
в смету сознательно — гипотеза о КАЧЕСТВЕ, не об экономии.
|
||
- **H-3 «en: перепис не нужен»**: на en→ru редактору остаются только синк глоссария и точечные правки.
|
||
- **H-4 «dspro-китайскость»**: перевес dspro в редакторской роли — свойство пары zh→ru; на en/ja
|
||
порядок жильцов может смениться (dspro — китайская модель, книга — китайская).
|
||
|
||
## Д1 — Добивка `gemini-3.1-pro-preview` (пробел эксп-22 §6/§6.3; «брошенный замер» — слова владельца)
|
||
|
||
Полная редакторская панель: 16 клеток поверх якорной базы эксп-22. **Ретрай-харнесс:**
|
||
экспоненциальный бэкофф на 5xx, окно ≥24 часов, поштучно, лимит цены на клетку; **журнал КАЖДОЙ
|
||
попытки** (время · код ответа · стоимость) — файлом в сырьё. Вердикт «модель не отдаёт» принимается
|
||
ТОЛЬКО с журналом попыток за ≥24 ч + снимком вендор-статуса; «после N отказов бросил» = невыполнение
|
||
заказа. Собрано ≥12/16 → судейство абс-ригом со всеми контролями, гипотеза эксп-04 «аутлаер прозы»
|
||
закрывается по существу. Помнить: скрытая тарификация ×4.5 видна только в `total_tokens` — потолок
|
||
клетки считать по ней.
|
||
|
||
## Д2 — Внешняя подпись прохода `tier` ($0)
|
||
|
||
Существующие задания `aj-tier-tasks` — внешнему судье вне Claude руками владельца (механика
|
||
sol-border, эксп-23 §12в). Закрытие пункта = **непустой каталог ответов** + пере-счёт скриптом
|
||
класса `solscore`. «Пакеты подготовлены и ждут» закрытием НЕ является (норма: обязательство с
|
||
адресатом вне зоны закрывается только изменением файла вне зоны).
|
||
|
||
## Д3 — en→ru как НЕСУЩАЯ ось (пробел эксп-22 §4: 6 единиц — не замер)
|
||
|
||
- **Промпты пары en→ru**: провенанс каждого объявить в отчёте; **механический гейт консистентности
|
||
с zh-промптами** (одна структура, отличаются только данные языка; дифф по шаблону — гейт, не
|
||
глазами); выверка против боевого рендера; фриз ДО покупок. Урок эксп-19 (арм E конфаундирован
|
||
неполным зеркалом промпта) не повторять.
|
||
- **en-банк**: майнинг + терминолог по методике эксп-22, `signed:false`; банк-закон D39.104
|
||
обязателен на ВСЕХ армах — прошлое отступление (72 клетки без блока) владельцем помечено, не
|
||
повторять.
|
||
- **Материал**: Кристофф, добор до 16 единиц методикой отбора эксп-21/22 (fr-страты сохранить в
|
||
выборке); контаминация-проба ЖИЛЬЦАМИ (правило эксп-22 §1.1: пробу гонять теми, кто работает);
|
||
**непригоден по пробе → СТОП и пинг**, замену без слова владельца не искать.
|
||
- **Армы**: боевая связка (flash → dspro full-regen) · dspro-однопроходка с УРАВНЕННЫМ мандатом
|
||
(строка 153 — наконец гонится) · черновик + ОБА edit-контура Д4 (флаги→фиксер И смысловой
|
||
поиск→фиксер — вопрос владельца «а что если на английском будет черновик + edit-редактор?»
|
||
отвечается именно здесь) · контроль редактора (E0 vs D0). Судейство по нормам рига (ниже),
|
||
Холм по объявленному семейству.
|
||
|
||
## Д4 — Edit-контур на zh (ставка владельца; строки 106 и 16)
|
||
|
||
На 16 якорных единицах эксп-22 — существующие тексты переиспользуются, $0 за старые армы:
|
||
|
||
- **A0** боевой full-regen (есть в сырье) · **A1** черновик + детерминированные флаги (батарея +
|
||
канон-гейт) → точечный фиксер (механика эксп-20: правка по указанному месту, ~$0.0002/починка) ·
|
||
**A2** dspro-однопроходка уравненного мандата (строка 153) · **A3** черновик + СМЫСЛОВОЙ
|
||
LLM-поиск («прочитай, пойми, найди всё проблемное») → точечный фиксер — **ставка владельца
|
||
H-2б, обязательный арм**, цена поиска заложена в смету · **A4** full-regen + канон-фиксер
|
||
ПОСЛЕ (полировка: чинит потери канона боевого редактора — немедленный кандидат в прод) ·
|
||
**A5** (опция при остатке): сильный редактор × узкий мандат по флагам (гейт реактивации
|
||
строки 106).
|
||
- **Позиция контура — часть вопроса**: A1/A3 мерят «ВМЕСТО редактора», A4 — «ПОСЛЕ редактора».
|
||
«До редактора» не мерится — перепис затирает любую починку.
|
||
- **Канон-гейт** = детерминированная сверка покрытия банка после каждого арма — он и флагует
|
||
потери для фиксера, и печатается осью результата. **Политика владельца 10.08: банк существует
|
||
для ЕДИНООБРАЗИЯ терминов; потеря канона = дефект безусловно; художественность — отдельная
|
||
ось.** Гейт жёсткий, фиксер обязан канон восстанавливать.
|
||
- Ответ по каждому арму печатать ТРЕМЯ осями: судья · канон-покрытие · цена. H-1/H-2а/H-2б
|
||
сверяются по всем трём, а не по одной удобной.
|
||
- **Несущий вердикт фазы (сверка H-1/H-2а/H-2б на zh) — внешняя подпись судьёй вне Claude**
|
||
по механике sol-border: задания готовит сессия, прогон руками владельца; закрытие пункта =
|
||
непустой каталог ответов + пере-счёт скриптом.
|
||
|
||
## Д5 — Канон-вскрытие ($0; политика банка РЕШЕНА владельцем 10.08)
|
||
|
||
**Политика зафиксирована словом владельца: «Банк существует, чтобы термины единообразно
|
||
переводились. Всё. Художественность текста — это отдельный вопрос.»** Потеря канона = дефект
|
||
безусловно; никаких судейских опросов об «уместности замены» — вопрос снят. Задача вскрытия —
|
||
дать фиксеру механизм: на сырье эксп-22 КАЖДОЕ место потери покрытия у R0 классифицировать
|
||
(термин исчез / парафраз / другой перевод), таблица по терминам и местам. Это спецификация того,
|
||
что канон-фиксер (Д4 A1/A3/A4) обязан уметь чинить, и его регрессионный набор.
|
||
|
||
## Д6 — ja→ru малая ось (H-4; третья пара продукта, не мерилась никогда)
|
||
|
||
Материал: `isekai_majutsushi_jp` (`~/books`) — контаминация-проба жильцами; непригоден → СТОП и
|
||
пинг, замену без слова владельца не искать. ja-промпты пары — те же гейты провенанса и
|
||
консистентности, что Д3. 8–10 единиц: связка · dspro-однопроходка · контроль редактора. Печатать
|
||
сравнение ОТНОСИТЕЛЬНОГО порядка жильцов между парами zh/en/ja — это и есть ответ на H-4.
|
||
**Статус оси — РАЗВЕДКА (описательная), объявить в пре-реге**: при n=8–10 MDE несущего вывода не
|
||
даёт; несущие ja-выводы не объявлять, расширение до несущей оси — отдельным словом владельца.
|
||
|
||
## Д7 — Микро-проба самооценки (идея владельца; ≤$0.05, решений не несёт)
|
||
|
||
Жильцам обеих ролей, по трём книгам (zh/en/ja): «сможешь ли перевести эту книгу на издательском
|
||
уровне; что будет трудным?» — ответы персистить, сверить с фактическими результатами пар.
|
||
Печатается как любопытство с оговоркой «самооценка моделей ненадёжна»; никакие решения на ней
|
||
не стоят.
|
||
|
||
## Д8 — Поправки тел 22/23 по приёмке №16 ($0, СДЕЛАТЬ ДО ПОКУПОК)
|
||
|
||
Чек-лист; каждую поправку вносить в тело с пометкой «поправка фазы Д», историю не переписывать:
|
||
|
||
1. **§15 эксп-22 переписать — интерпретация опровергнута приёмкой**: 5 из 6 клеток — эхо-первые
|
||
попытки, ПОЙМАННЫЕ гейтом (судились здоровые ре-гены ×3.3–3.6, доказано подписями sig в ключах;
|
||
gemini-клетка — уже объявленное эхо 3/3). Реально коротка одна E2 (`finish=length`), и её судья
|
||
видел. Предложенный гейт длины сузить до класса `finish=length`.
|
||
2. Строка §13а «банк-закон … исполнено» (22:1155) — править: на оси en НЕ исполнено (§9 п.9 сам
|
||
это обещал и не сделал).
|
||
3. Sol-статусы §10/§11/§14 эксп-22 привести к §16 («вернулся, арбитраж не состоялся»); оборванную
|
||
фразу 22:352–353 дописать.
|
||
4. Счёт агент-сессий эксп-23: **58, не 50** — править §6, §14 п.9 (и «считает механизм» ослабить
|
||
до честного §6), пинг в PROGRESS.
|
||
5. Противоречие эксп-23 о внешнем контуре: §9 буллет 3 и §13 привести к §12в (для `border` подпись
|
||
вне Claude ЕСТЬ; для `tier` — нет).
|
||
6. Наклон `border` пере-снять (текущее сырьё даёт +0.708, напечатано +0.646) и добавить сторож
|
||
наклона в `verify23`.
|
||
7. Таблица §0 эксп-23: колонка «с декоем (принято)» для строки R2 несёт число АННУЛИРОВАННОГО
|
||
run2 (−1.53) — пометить в самой таблице.
|
||
8. Объявить в отчёте пере-штамповку `aj-border*` (боевые каталоги — копии `replication-runA`,
|
||
mtime 23:31:54; исходный mtime-провенанс судейства утрачен).
|
||
9. Голоса `replication-runB` несут judge-имена прогона A (`absjudge.ingest` читает JUDGES-файл
|
||
прогона A) — починить ingest, объявить в отчёте.
|
||
10. Нумерация: два «п.7» в §8 эксп-23; порядок пунктов §9 эксп-22 (1–7, 9–11, 8) — перенумеровать,
|
||
ссылки поправить.
|
||
11. `eval/README.md`: добавить `editor_tier/` в карту действующих харнессов.
|
||
12. Остаток строки 167 (передан фазе Д): статус-баннеры на отчётах экспов, где их нет, +
|
||
актуализация шапки эндпоинтов `00-provider-quirks.md`.
|
||
|
||
## Нормы рига (ЖЁСТКИЕ; нарушение = аннулирование куска)
|
||
|
||
- **Декой в каждой судейской пачке; сессия, не поймавшая декой, аннулируется целиком** (одобрено
|
||
владельцем 10.08 как норма).
|
||
- **Шумовой пол — парой, чьи половины судят РАЗНЫЕ сессии** (урок §12б: порог был занижен на 19%).
|
||
- **Все армы единицы — в одном пакете одной сессии** (урок Sol §16).
|
||
- Идентичность судей персистится ДО запуска; половиной пола не брать боевую клетку (урок «близнеца»).
|
||
- Позиционный наклон замерить, вычесть, сторожить гейтом. Донор декоя уравнен по армам.
|
||
- Судье запрещено сравнивать варианты между собой и читать их рядом — оценка только против исходника.
|
||
- Замок кассы снимает только поставивший его процесс (проверка живости PID).
|
||
- Реестр требований фазы — В GIT до покупок; conformance-гейт валиден только против
|
||
закоммиченного реестра (урок: реестр в scratchpad = гейт проверял отчёт сам собой).
|
||
- **Мощность каждой судейской оси — в пре-рег ДО покупок**: напечатать минимально различимый
|
||
эффект (MDE) при плановом n; ось, чей MDE не позволяет несущего вывода, объявляется
|
||
ОПИСАТЕЛЬНОЙ заранее, а не постфактум (урок en-оси эксп-22: n=6 не мог дать значимость по
|
||
построению, и это выяснилось после денег).
|
||
- **На старте фазы пере-снять прайс DeepSeek** (вендор объявил «significant increase»);
|
||
прайс сменился → пере-смета и пинг ДО покупок.
|
||
|
||
## Анти-лень / анти-хак (слова владельца 10.08: «они умные и могут лениться делать работу»)
|
||
|
||
- Обязательный элемент заказа не собрался с первой попытки → **ДОБИВАТЬСЯ**: ретраи по расписанию,
|
||
окна в сутки, официальная вендор-дока. Отказ принимается только с журналом попыток. «Не отвечает —
|
||
и ладно» = невыполнение заказа, не девиация.
|
||
- Панель, ось или кандидата НЕ резать решением сессии — СТОП и пинг владельцу.
|
||
- Обязательство с адресатом вне зоны закрывается ТОЛЬКО изменением файла вне зоны; формулы
|
||
«выпущено», «ждёт владельца», «объявлено в отчёте» — маркеры дефекта.
|
||
- Детекторы и пороги после взгляда на вердикты не менять; любая девиация = СТОП и пинг В МОМЕНТ,
|
||
а не примечание пост-фактум.
|
||
- Правка рига чужого пака — отдельным коммитом с его заголовком + пере-снятие его гейтов.
|
||
- **Самопроверка исполнением** (мандат CLAUDE.md): ревью своего кода, СФОРМИРОВАННЫХ запросов к
|
||
моделям и полученных ответов. Приёмка адверсариальная author≠reviewer; **опровергатель ДРУГОГО
|
||
модельного семейства обязателен** — разрешение владельца на агентов Fable-5 ДЕЙСТВУЕТ,
|
||
использовать (урок эксп-23 §9: вся приёмка на одной модели трижды подписала артефакты).
|
||
Финал — построчный аудит закрытия заказа.
|
||
- Гейт чисел сторожит присутствие числа, не истинность предложения — пороговые и сравнительные
|
||
утверждения сверяются чтением при самоприёмке.
|
||
|
||
## Чего НЕ делать
|
||
|
||
Не трогать чужие зоны (фронт, платформа, бэкенд) и их незакоммиченные файлы · не объявлять
|
||
ратификаций — выводы принимает владелец через оркестратора · Резерв D39.22 не трогать (решение
|
||
владельца отложено до этой фазы) · не менять слаги моделей без live-фактчека `/models` ·
|
||
`.env` не читать НИКОГДА · аномалии провода → официальная вендор-дока, не догадки.
|
||
|
||
## Отчёт и сдача
|
||
|
||
Секции Д0 (пре-рег: гипотезы H-1…H-4, смета, потолки, прогнозы) … Д8 в `23-editor-tier.md`.
|
||
Сводная таблица «пробел эксп-22/23 → чем закрыт → носитель-артефакт». Сверка H-1…H-4 с фактом —
|
||
отдельной таблицей, включая опровержения. CONFIRM/DENY владельцу — только с артефактом-носителем.
|
||
Деньги: итог по фазам двумя путями. Пинг в `docs/PROGRESS.md` секция «Полигон» при закрытии.
|
||
Запуск — по слову владельца; первым сообщением сессии сверить санкцию потолка $10.00.
|
||
|
||
---
|
||
|
||
> ⚠ **ЗАКАЗ ЖИВОЙ, НО ЧЕТЫРЕ ЕГО СОБСТВЕННЫХ ФАКТА ДЕРЕВО УЖЕ ОПРОВЕРГЛО** (приписка ревизии доков
|
||
> 02.09; тело выше НЕ тронуто и трогать его нельзя — на его НОМЕРА СТРОК ссылаются код и отчёт:
|
||
> `eval/dovodka/runs.py` цитирует строку 25 как источник капа; отчёт `docs/experiments/23-editor-tier.md`
|
||
> ссылается на строки заказа ТРИНАДЦАТЬЮ якорями — не только заголовками секций Д2 · Д5 · Д8, но и
|
||
> точечно по всему телу, включая последние его строки (пере-снять счёт:
|
||
> `grep -cE 'заказа? :' docs/experiments/23-editor-tier.md`); по строке же цитируют заказ
|
||
> `eval/dovodka/itog_d4.py` и `eval/dovodka/SESSION2-LOG.md`. А `eval/dovodka/requirements.md`
|
||
> объявлен прочитанным ПОСТРОЧНО и выводит отсюда 77 строк реестра, сверяемых conformance-гейтом.
|
||
> Любая резка сдвинула бы всё это молча, поэтому поправки — списком здесь, а не в теле.)
|
||
>
|
||
> * **Строка 25, «кап агент-сессий: 80» — СНЯТ владельцем 15.08.** Живое число — `CAP` в
|
||
> `eval/dovodka/runs.py`; там же комментарием над ним вся история подъёмов и их основания.
|
||
> * **Строка 17, «отчёт фазы — секции Д0–Д8»** — состав давно шире; считать командой
|
||
> `grep -c '^## Д' docs/experiments/23-editor-tier.md`, а не читать отсюда.
|
||
> * **Строка 112, японский материал `isekai_majutsushi_jp` — ЗАМЕНЁН** на `enkan_no_hate_ja`
|
||
> санкцией владельца 15.08 (D39.136 п.1а; тем же словом снят СТОП ja-оси). Прибор отбора и
|
||
> причина замены — `eval/dovodka/material_ja.py`.
|
||
> * **Пакетный потолок фазы $10.00 (строки 20 и 207) — НЕ ТЕКУЩИЙ.** Фактическая цепь потолков
|
||
> живёт в `eval/dovodka/money_d.py` (`PACK_CEILING`/`CEILINGS`), подъёмы шли рукой владельца
|
||
> напрямую полигону (D39.136 п.1а). Санкцию ПЕРЕД покупками сверять там и словом владельца.
|