26 KiB
Промт: полигон-сессия «ФАЗА Д — доводка эксп-22/23» (заказ владельца 10.08)
Ты — полигон-сессия TextMachine. Зона записи: eval/ + docs/experiments/ + пинг в
docs/PROGRESS.md секция «Полигон». Сессия НЕ коммитит, кроме пре-рег-фризов (право полигона);
лендит оркестратор. Онбординг: CLAUDE.md → docs/README.md → eval/README.md →
docs/experiments/00-provider-quirks.md → отчёты 22 и 23 ЦЕЛИКОМ, включая ревью-шапки приёмки №16.
Чужие незакоммиченные файлы в дереве (фронт) не трогать.
Статус и рамка
- Эксп-22/23: числа подтверждены приёмкой (независимый пересчёт мимо харнесса, 105 проверок), но владелец 10.08 признал эксперимент непоказательным по постановке: посылки заказа стояли криво (en-ось недомощна by design, сильный тир не закрыт без gemini, ставка владельца на edit-контур не мерилась вовсе, en-промпты пар не выверены). Выводы обоих паков НЕ ратифицированы и заморожены до этой фазы. Это НЕ новый эксперимент — фаза добивки тех же паков, по слову владельца: «в рамках текущего же экспа, заявляя это как пробел экспа».
- Отчёт фазы — секции Д0–Д8 в
docs/experiments/23-editor-tier.md(продолжение того же документа) + точечные правки в 22 по чек-листу §Д8. Сводная таблица «пробел → чем закрыт → носитель-артефакт» обязательна. - Деньги: пакетный потолок фазы $10.00 — сверить санкцию словом владельца ПРИ ЗАПУСКЕ, без неё покупок нет. Фазовые потолки разложить в пре-реге Д0. Касса — механизмы эксп-22/23 обязательны (фриз-гейт «покупает только закоммиченный код», атомарный замок, два пути счёта, проекционные гарды). Стоп-правило: не влезает → СТОП и пинг ДО покупок; спрашивать при срабатывании стопа, а не по проекции (жалоба эксп-22 ратифицирована владельцем поведением).
- Кап агент-сессий: 80. Счётчик пишет запись ДО запуска суб-агента (не
--ingestпост-фактум — дефект эксп-23 §6 не воспроизводить); исполнение счётчика проверить селфтестом до первой сессии.
Гипотезы владельца — в пре-рег ДОСЛОВНО (мерить честно; опровержение = находка, не провал)
- H-1 «Проблема в черновике»: flash даёт полумусор, полный перепис нужен именно поэтому; связка «качественный черновик + ТОЧЕЧНЫЙ редактор» ≥ боевой связки по качеству при сравнимой цене.
- H-2а «Флаговый edit-контур»: детерминированные флаги (батарея + канон-гейт) → точечный фиксер — не хуже full-regen по судье, дешевле по деньгам, НЕ ломает канон.
- H-2б «Смысловой edit-контур» (главная ставка владельца, 10.08): LLM-критик, читающий и ПОНИМАЮЩИЙ текст («найди всё проблемное») → точечный фиксер — дороже (поиск ≈2.14× переписа), но качество выше и full-regen, и флагового контура: «флагами всё не отследишь». Цена заложена в смету сознательно — гипотеза о КАЧЕСТВЕ, не об экономии.
- H-3 «en: перепис не нужен»: на en→ru редактору остаются только синк глоссария и точечные правки.
- H-4 «dspro-китайскость»: перевес dspro в редакторской роли — свойство пары zh→ru; на en/ja порядок жильцов может смениться (dspro — китайская модель, книга — китайская).
Д1 — Добивка gemini-3.1-pro-preview (пробел эксп-22 §6/§6.3; «брошенный замер» — слова владельца)
Полная редакторская панель: 16 клеток поверх якорной базы эксп-22. Ретрай-харнесс:
экспоненциальный бэкофф на 5xx, окно ≥24 часов, поштучно, лимит цены на клетку; журнал КАЖДОЙ
попытки (время · код ответа · стоимость) — файлом в сырьё. Вердикт «модель не отдаёт» принимается
ТОЛЬКО с журналом попыток за ≥24 ч + снимком вендор-статуса; «после N отказов бросил» = невыполнение
заказа. Собрано ≥12/16 → судейство абс-ригом со всеми контролями, гипотеза эксп-04 «аутлаер прозы»
закрывается по существу. Помнить: скрытая тарификация ×4.5 видна только в total_tokens — потолок
клетки считать по ней.
Д2 — Внешняя подпись прохода tier ($0)
Существующие задания aj-tier-tasks — внешнему судье вне Claude руками владельца (механика
sol-border, эксп-23 §12в). Закрытие пункта = непустой каталог ответов + пере-счёт скриптом
класса solscore. «Пакеты подготовлены и ждут» закрытием НЕ является (норма: обязательство с
адресатом вне зоны закрывается только изменением файла вне зоны).
Д3 — en→ru как НЕСУЩАЯ ось (пробел эксп-22 §4: 6 единиц — не замер)
- Промпты пары en→ru: провенанс каждого объявить в отчёте; механический гейт консистентности с zh-промптами (одна структура, отличаются только данные языка; дифф по шаблону — гейт, не глазами); выверка против боевого рендера; фриз ДО покупок. Урок эксп-19 (арм E конфаундирован неполным зеркалом промпта) не повторять.
- en-банк: майнинг + терминолог по методике эксп-22,
signed:false; банк-закон D39.104 обязателен на ВСЕХ армах — прошлое отступление (72 клетки без блока) владельцем помечено, не повторять. - Материал: Кристофф, добор до 16 единиц методикой отбора эксп-21/22 (fr-страты сохранить в выборке); контаминация-проба ЖИЛЬЦАМИ (правило эксп-22 §1.1: пробу гонять теми, кто работает); непригоден по пробе → СТОП и пинг, замену без слова владельца не искать.
- Армы: боевая связка (flash → dspro full-regen) · dspro-однопроходка с УРАВНЕННЫМ мандатом (строка 153 — наконец гонится) · черновик + ОБА edit-контура Д4 (флаги→фиксер И смысловой поиск→фиксер — вопрос владельца «а что если на английском будет черновик + edit-редактор?» отвечается именно здесь) · контроль редактора (E0 vs D0). Судейство по нормам рига (ниже), Холм по объявленному семейству.
Д4 — Edit-контур на zh (ставка владельца; строки 106 и 16)
На 16 якорных единицах эксп-22 — существующие тексты переиспользуются, $0 за старые армы:
- A0 боевой full-regen (есть в сырье) · A1 черновик + детерминированные флаги (батарея + канон-гейт) → точечный фиксер (механика эксп-20: правка по указанному месту, ~$0.0002/починка) · A2 dspro-однопроходка уравненного мандата (строка 153) · A3 черновик + СМЫСЛОВОЙ LLM-поиск («прочитай, пойми, найди всё проблемное») → точечный фиксер — ставка владельца H-2б, обязательный арм, цена поиска заложена в смету · A4 full-regen + канон-фиксер ПОСЛЕ (полировка: чинит потери канона боевого редактора — немедленный кандидат в прод) · A5 (опция при остатке): сильный редактор × узкий мандат по флагам (гейт реактивации строки 106).
- Позиция контура — часть вопроса: A1/A3 мерят «ВМЕСТО редактора», A4 — «ПОСЛЕ редактора». «До редактора» не мерится — перепис затирает любую починку.
- Канон-гейт = детерминированная сверка покрытия банка после каждого арма — он и флагует потери для фиксера, и печатается осью результата. Политика владельца 10.08: банк существует для ЕДИНООБРАЗИЯ терминов; потеря канона = дефект безусловно; художественность — отдельная ось. Гейт жёсткий, фиксер обязан канон восстанавливать.
- Ответ по каждому арму печатать ТРЕМЯ осями: судья · канон-покрытие · цена. H-1/H-2а/H-2б сверяются по всем трём, а не по одной удобной.
- Несущий вердикт фазы (сверка H-1/H-2а/H-2б на zh) — внешняя подпись судьёй вне Claude по механике sol-border: задания готовит сессия, прогон руками владельца; закрытие пункта = непустой каталог ответов + пере-счёт скриптом.
Д5 — Канон-вскрытие ($0; политика банка РЕШЕНА владельцем 10.08)
Политика зафиксирована словом владельца: «Банк существует, чтобы термины единообразно переводились. Всё. Художественность текста — это отдельный вопрос.» Потеря канона = дефект безусловно; никаких судейских опросов об «уместности замены» — вопрос снят. Задача вскрытия — дать фиксеру механизм: на сырье эксп-22 КАЖДОЕ место потери покрытия у R0 классифицировать (термин исчез / парафраз / другой перевод), таблица по терминам и местам. Это спецификация того, что канон-фиксер (Д4 A1/A3/A4) обязан уметь чинить, и его регрессионный набор.
Д6 — ja→ru малая ось (H-4; третья пара продукта, не мерилась никогда)
Материал: isekai_majutsushi_jp (~/books) — контаминация-проба жильцами; непригоден → СТОП и
пинг, замену без слова владельца не искать. ja-промпты пары — те же гейты провенанса и
консистентности, что Д3. 8–10 единиц: связка · dspro-однопроходка · контроль редактора. Печатать
сравнение ОТНОСИТЕЛЬНОГО порядка жильцов между парами zh/en/ja — это и есть ответ на H-4.
Статус оси — РАЗВЕДКА (описательная), объявить в пре-реге: при n=8–10 MDE несущего вывода не
даёт; несущие ja-выводы не объявлять, расширение до несущей оси — отдельным словом владельца.
Д7 — Микро-проба самооценки (идея владельца; ≤$0.05, решений не несёт)
Жильцам обеих ролей, по трём книгам (zh/en/ja): «сможешь ли перевести эту книгу на издательском уровне; что будет трудным?» — ответы персистить, сверить с фактическими результатами пар. Печатается как любопытство с оговоркой «самооценка моделей ненадёжна»; никакие решения на ней не стоят.
Д8 — Поправки тел 22/23 по приёмке №16 ($0, СДЕЛАТЬ ДО ПОКУПОК)
Чек-лист; каждую поправку вносить в тело с пометкой «поправка фазы Д», историю не переписывать:
- §15 эксп-22 переписать — интерпретация опровергнута приёмкой: 5 из 6 клеток — эхо-первые
попытки, ПОЙМАННЫЕ гейтом (судились здоровые ре-гены ×3.3–3.6, доказано подписями sig в ключах;
gemini-клетка — уже объявленное эхо 3/3). Реально коротка одна E2 (
finish=length), и её судья видел. Предложенный гейт длины сузить до классаfinish=length. - Строка §13а «банк-закон … исполнено» (22:1155) — править: на оси en НЕ исполнено (§9 п.9 сам это обещал и не сделал).
- Sol-статусы §10/§11/§14 эксп-22 привести к §16 («вернулся, арбитраж не состоялся»); оборванную фразу 22:352–353 дописать.
- Счёт агент-сессий эксп-23: 58, не 50 — править §6, §14 п.9 (и «считает механизм» ослабить до честного §6), пинг в PROGRESS.
- Противоречие эксп-23 о внешнем контуре: §9 буллет 3 и §13 привести к §12в (для
borderподпись вне Claude ЕСТЬ; дляtier— нет). - Наклон
borderпере-снять (текущее сырьё даёт +0.708, напечатано +0.646) и добавить сторож наклона вverify23. - Таблица §0 эксп-23: колонка «с декоем (принято)» для строки R2 несёт число АННУЛИРОВАННОГО run2 (−1.53) — пометить в самой таблице.
- Объявить в отчёте пере-штамповку
aj-border*(боевые каталоги — копииreplication-runA, mtime 23:31:54; исходный mtime-провенанс судейства утрачен). - Голоса
replication-runBнесут judge-имена прогона A (absjudge.ingestчитает JUDGES-файл прогона A) — починить ingest, объявить в отчёте. - Нумерация: два «п.7» в §8 эксп-23; порядок пунктов §9 эксп-22 (1–7, 9–11, 8) — перенумеровать, ссылки поправить.
eval/README.md: добавитьeditor_tier/в карту действующих харнессов.- Остаток строки 167 (передан фазе Д): статус-баннеры на отчётах экспов, где их нет, +
актуализация шапки эндпоинтов
00-provider-quirks.md.
Нормы рига (ЖЁСТКИЕ; нарушение = аннулирование куска)
- Декой в каждой судейской пачке; сессия, не поймавшая декой, аннулируется целиком (одобрено владельцем 10.08 как норма).
- Шумовой пол — парой, чьи половины судят РАЗНЫЕ сессии (урок §12б: порог был занижен на 19%).
- Все армы единицы — в одном пакете одной сессии (урок Sol §16).
- Идентичность судей персистится ДО запуска; половиной пола не брать боевую клетку (урок «близнеца»).
- Позиционный наклон замерить, вычесть, сторожить гейтом. Донор декоя уравнен по армам.
- Судье запрещено сравнивать варианты между собой и читать их рядом — оценка только против исходника.
- Замок кассы снимает только поставивший его процесс (проверка живости PID).
- Реестр требований фазы — В GIT до покупок; conformance-гейт валиден только против закоммиченного реестра (урок: реестр в scratchpad = гейт проверял отчёт сам собой).
- Мощность каждой судейской оси — в пре-рег ДО покупок: напечатать минимально различимый эффект (MDE) при плановом n; ось, чей MDE не позволяет несущего вывода, объявляется ОПИСАТЕЛЬНОЙ заранее, а не постфактум (урок en-оси эксп-22: n=6 не мог дать значимость по построению, и это выяснилось после денег).
- На старте фазы пере-снять прайс DeepSeek (вендор объявил «significant increase»); прайс сменился → пере-смета и пинг ДО покупок.
Анти-лень / анти-хак (слова владельца 10.08: «они умные и могут лениться делать работу»)
- Обязательный элемент заказа не собрался с первой попытки → ДОБИВАТЬСЯ: ретраи по расписанию, окна в сутки, официальная вендор-дока. Отказ принимается только с журналом попыток. «Не отвечает — и ладно» = невыполнение заказа, не девиация.
- Панель, ось или кандидата НЕ резать решением сессии — СТОП и пинг владельцу.
- Обязательство с адресатом вне зоны закрывается ТОЛЬКО изменением файла вне зоны; формулы «выпущено», «ждёт владельца», «объявлено в отчёте» — маркеры дефекта.
- Детекторы и пороги после взгляда на вердикты не менять; любая девиация = СТОП и пинг В МОМЕНТ, а не примечание пост-фактум.
- Правка рига чужого пака — отдельным коммитом с его заголовком + пере-снятие его гейтов.
- Самопроверка исполнением (мандат CLAUDE.md): ревью своего кода, СФОРМИРОВАННЫХ запросов к моделям и полученных ответов. Приёмка адверсариальная author≠reviewer; опровергатель ДРУГОГО модельного семейства обязателен — разрешение владельца на агентов Fable-5 ДЕЙСТВУЕТ, использовать (урок эксп-23 §9: вся приёмка на одной модели трижды подписала артефакты). Финал — построчный аудит закрытия заказа.
- Гейт чисел сторожит присутствие числа, не истинность предложения — пороговые и сравнительные утверждения сверяются чтением при самоприёмке.
Чего НЕ делать
Не трогать чужие зоны (фронт, платформа, бэкенд) и их незакоммиченные файлы · не объявлять
ратификаций — выводы принимает владелец через оркестратора · Резерв D39.22 не трогать (решение
владельца отложено до этой фазы) · не менять слаги моделей без live-фактчека /models ·
.env не читать НИКОГДА · аномалии провода → официальная вендор-дока, не догадки.
Отчёт и сдача
Секции Д0 (пре-рег: гипотезы H-1…H-4, смета, потолки, прогнозы) … Д8 в 23-editor-tier.md.
Сводная таблица «пробел эксп-22/23 → чем закрыт → носитель-артефакт». Сверка H-1…H-4 с фактом —
отдельной таблицей, включая опровержения. CONFIRM/DENY владельцу — только с артефактом-носителем.
Деньги: итог по фазам двумя путями. Пинг в docs/PROGRESS.md секция «Полигон» при закрытии.
Запуск — по слову владельца; первым сообщением сессии сверить санкцию потолка $10.00.
⚠ ЗАКАЗ ЖИВОЙ, НО ЧЕТЫРЕ ЕГО СОБСТВЕННЫХ ФАКТА ДЕРЕВО УЖЕ ОПРОВЕРГЛО (приписка ревизии доков 02.09; тело выше НЕ тронуто и трогать его нельзя — на его НОМЕРА СТРОК ссылаются код и отчёт:
eval/dovodka/runs.pyцитирует строку 25 как источник капа, заголовки секций Д2 · Д5 · Д8 отчётаdocs/experiments/23-editor-tier.mdцитируют диапазоны строк заказа, аeval/dovodka/requirements.mdобъявлен прочитанным ПОСТРОЧНО и выводит отсюда 77 строк реестра, сверяемых conformance-гейтом. Любая резка сдвинула бы всё это молча, поэтому поправки — списком здесь, а не в теле.)
- Строка 25, «кап агент-сессий: 80» — СНЯТ владельцем 15.08. Живое число —
CAPвeval/dovodka/runs.py; там же комментарием над ним вся история подъёмов и их основания.- Строка 17, «отчёт фазы — секции Д0–Д8» — состав давно шире; считать командой
grep -c '^## Д' docs/experiments/23-editor-tier.md, а не читать отсюда.- Строка 112, японский материал
isekai_majutsushi_jp— ЗАМЕНЁН наenkan_no_hate_jaсанкцией владельца 15.08 (D39.136 п.1а; тем же словом снят СТОП ja-оси). Прибор отбора и причина замены —eval/dovodka/material_ja.py.- Пакетный потолок фазы $10.00 (строки 20 и 207) — НЕ ТЕКУЩИЙ. Фактическая цепь потолков живёт в
eval/dovodka/money_d.py(PACK_CEILING/CEILINGS), подъёмы шли рукой владельца напрямую полигону (D39.136 п.1а). Санкцию ПЕРЕД покупками сверять там и словом владельца.