diff --git a/eval/dovodka/PLAN-01-09.md b/eval/dovodka/PLAN-01-09.md index 8d7bb91b..2f6fcda1 100644 --- a/eval/dovodka/PLAN-01-09.md +++ b/eval/dovodka/PLAN-01-09.md @@ -37,7 +37,7 @@ SHA — снапшот их различает (`snapshot.go:288`=`prompt_sha256 Без флага движок авто-продолжает с неподписанным банком и покупает edit-юнит в том же процессе — тогда каждая копия потребует `--resnapshot` и перекупит базовые edit-юниты ×4. **Условия копирования:** движок остановлен (WAL закрыт), `book_id` тот же (он входит в - `request_hash`), в `book.yaml` меняются РОВНО два поля — `project_db` и `pipeline`. + `request_hash`), в `book.yaml` меняются ТРИ поля — `project_db`, `pipeline` и `ceilings` (последнее — потому что касса наследует базовый расход, §5.4). * **КОНТРОЛИРУЕТСЯ длина входа:** `len(draft)` и `prompt_tokens` — ковариата. ⚠ Честно: чанки движка узки по `prompt_tokens` (4412–6946: там доминируют исходник и системное), **но сама длина черновика широка — 427–6171 знак, разброс ×14**, и она входит в модель ковариатой (§4). Прежняя формулировка @@ -84,7 +84,7 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода ≈1 токен, видимая часть недооценивается, `R̂` завышается; направление консервативно для E1, но раздувает клетки E5; (2) при `R̂ < ~700` относительная ошибка достигает 20–70% — у мелких клеток `low` вывод о величине не делается; (3) брать сырую строку попытки, **не `sanitized_export`** — та -несёт обрезанный текст и пустой `usage_json`; (4) «±2.3%» занижено: худшая клетка дала **5.3%**. +несёт обрезанный текст и пустой `usage_json`; (4) типичная ошибка ~3%, худшая клетка — **5.3%**. **Дыра 2. У движка нет проводного артефакта** — стадийный лог эффорт не печатает. Лечение: (а) снапшот фолдит `Reasoning` и `PromptSHA256` ⇒ **у четырёх рук четыре разных `snapshot_id`**, это @@ -108,11 +108,19 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода таблицы мощности (требовало бы истинного эффекта ≈×2.3 против заявленных ×1.84) и потому что сама полоса — заимствованная конвенция биоэквивалентности, к объёму размышления не обоснованная. Полоса остаётся **описательной**: попадание в неё печатается, решения не несёт. - ⛔ **Цензура на потолке — правило записано до чисел.** В холодном прогоне 1 из 4 `∅`-строк вернула - `length` ровно на 16000 при непустом тексте: там `R̂` — **нижняя граница**, а ретрай на 32000 есть - ДРУГОЙ розыгрыш. ⇒ **E1 считается по попытке 0**; клетка с `length` входит как правая цензура - (`R̂ ≥` наблюдённого). Знаковый вклад пары сохраняется, пока цензурированная `∅` ≥ `low`; если - наоборот — пара идёт как ничья, а не выбрасывается. + ⛔ **Цензура на потолке — правило записано до чисел, СИММЕТРИЧНО.** В холодном прогоне 1 из 4 + `∅`-строк вернула `length` ровно на 16000 при непустом тексте: там `R̂` — **нижняя граница**, а + ретрай на 32000 есть ДРУГОЙ розыгрыш. ⇒ **E1 считается по попытке 0**; клетка с `length` входит + правой цензурой (`R̂ ≥` наблюдённого). Знак пары определяется так: + * цензурирована `∅` — знак достоверен, пока цензурированная `∅` ≥ `low`; иначе **ничья**; + * цензурирована `low` — знак достоверен, только если `∅` ≤ наблюдённой границы `low`; иначе **ничья**; + * цензурированы обе — **ничья**. + ⚠ **«Ничья» ≠ «выброшено», и это надо задать в коде явно:** стандартный знаково-ранговый Вилкоксон + нули по умолчанию ВЫБРАСЫВАЕТ; сохраняет их вариант Пратта. **Скрипт эндпойнта обязан назвать + метод обработки нулей**, иначе правило плана и тест разойдутся молча. + ⚠ **Величина под цензурой — НИЖНЯЯ ГРАНИЦА:** медиана и ДИ Ходжеса–Лемана при цензурированных + клетках занижают эффект, поэтому величина печатается со знаком **«≥»**. Иначе `p<0.05` при малой + медиане прочтётся как «эффект мал», когда он может быть велик. * **E2:** то же для `log(cost/delivered)` — отдельно по попытке 0 (равный потолок) и по итогу юнита (боевая цена). ⭐ Средний член цены за знак — константа, поэтому разница рук сидит в **ρ = R̂/delivered**. ⚠ Оговорка: 2–4-я клетки юнита бьют префикс-кэш, вход дешевеет ~$0.006–0.009; @@ -153,7 +161,7 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода ## 5. ГАРДЫ -1. **Пред-полёт:** один юнит × 4 руки (~$0.25) → сигнатура Δ`prompt_tokens` в полосе · четыре разных +1. **Пред-полёт:** один юнит × 4 руки (~$0.25) → сигнатура Δ`prompt_tokens` СНЯТА и запинена коммитом (по одной на P₇ и P₉; полосой она станет только после этого) · четыре разных `snapshot_id` · кириллица ≥0.99 · эхо 0. Только потом пачка. 2. **Зелень на пустоте:** `delivered = 0` ⇒ клетка идёт в E5 и исключается из E2; если таких >20% в руке — **прибор ОТКАЗЫВАЕТ**, а не печатает «в пределах». @@ -166,6 +174,13 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода `--ceiling-usd` на каждый запуск. И **число владельцу подаётся ОДНОЙ суммой**: база + пред-полёт + N юнитов × 4 руки — иначе базовый расход посчитается четырежды или не посчитается вовсе. Отказ леджера = **СТОП и вопрос владельцу**; добор после чисел запрещён; потолок сессия не поднимает. +0. ⛔ **РАМКА ВЫБОРКИ — пинится ДО всего остального, иначе «24 юнита» читаются как ОТБОР.** + В пре-рег заносится: срез исходника (диапазон глав, файл, его sha256) · **новый каталог книги** — + ⚠ не `coldrun-v16`, где три оплаченных edit-юнита заставят `--resnapshot` на каждой из четырёх + копий · **все юниты этих глав в порядке движка, без выбора** · `n` = сколько их получится + (ориентир холодного прогона: 14 юнитов на 10 глав) · и **входит ли юнит пред-полёта в `n`** + (решение: входит, он же обычный юнит первой руки). + 5. **Фриз — и он обязан лежать в зоне полигона.** Пре-рег и скрипт эндпойнта коммитятся в `eval/dovodka/`. ⚠ Четыре `pipeline.yaml` и два `editor.md` физически живут в каталоге книги — это ОТДЕЛЬНЫЙ репозиторий с открытым вопросом «кто коммитит книги», поэтому в зону полигона @@ -201,18 +216,21 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода * **вариант A (24 юнита): $8.6** — разрешающая способность ×2.02; * **вариант B (32 юнита): $11.1** — разрешающая способность ×1.84. -⚠ **Чувствительность, названная до покупки:** если `low` на zh режет размышление слабо (×1.4, -как внутри блока Д47), клетка `low` дорожает до $0.05–0.065 ⇒ 32 юнита ≈ **$9.5–10.5 до запаса**. -У рекомендации «$11» остаётся зазор 5–15%, и гард с заметной вероятностью остановит раньше 32-го -юнита. Это штатный исход: **стоп и вопрос владельцу, добор после чисел запрещён.** +⚠ **Чувствительность, названная до покупки и выведенная из своих же клеток:** если `low` на zh режет +размышление слабо (×1.4, как внутри блока Д47), клетка `low` дорожает до $0.05–0.065 ⇒ юнит +2·0.09 + 2·(0.05…0.065) = **$0.28–0.31** ⇒ 32 юнита = **$8.96–9.92 до запаса**. Сравнивать это надо +со строкой ЮНИТОВ ($10.0), а не с полной суммой: база, эскалация и пред-полёт ($1.1) тратятся при +любом срезе. **Зазор 0.8–10.4%** ⇒ гард с заметной вероятностью остановит раньше 32-го юнита. +Это штатный исход: **стоп и вопрос владельцу, добор после чисел запрещён.** ⛔ **Мои прежние сметы ($1.7 и $2.50) занижены втрое** и снимаются: они считали «выход» как видимый текст, тогда как размышление у DeepSeek сидит ВНУТРИ `completion_tokens`. Это тот же класс, что «смета ×10» редакции 1. -⭐ **Вопрос владельцу, единственный блокирующий:** потолок. Рекомендация — **$11 расчётных за 32 -юнита** (MDE ×1.84 при σ=1.2); экономный вариант — **$8.5 за 24 юнита** (MDE ×2.02). Санкция -«платные замеры разрешаю» числа не содержит, а по канону потолок сессия не поднимает. +⭐ **Вопрос владельцу, единственный блокирующий:** потолок — **вариант A $8.6** (24 юнита, MDE ×2.02) +или **вариант B $11.1** (32 юнита, MDE ×1.84). Обе суммы — из таблицы выше и больше нигде в этом +файле не повторяются. Санкция «платные замеры разрешаю» числа не содержит, а по канону потолок +сессия не поднимает. ## 7. ЧЕГО В ЗАМЕРЕ НЕТ НАМЕРЕННО