diff --git a/eval/dovodka/PLAN-01-09.md b/eval/dovodka/PLAN-01-09.md index d9fafd0a..844c8ecb 100644 --- a/eval/dovodka/PLAN-01-09.md +++ b/eval/dovodka/PLAN-01-09.md @@ -66,6 +66,18 @@ SHA — снапшот их различает (`snapshot.go:288`=`prompt_sha256 ⚠ Окно 10–20 мин достижимо не всегда: латентности edit-вызовов 43–216 с, ретрай добавляет ~200 с — юнит с обрывом в обеих `∅`-руках упирается в верх окна. +⭐ **ПЯТАЯ, РЕФЕРЕНСНАЯ КЛЕТКА НА ЮНИТ: `glm-5` в БОЕВОЙ форме (размышление выключено) × +сегодняшний промпт.** Не фактор креста — **ценовой контроль**: тот же черновик, тот же банк, тот же +день. ~$0.02 за клетку, **≈$0.5 на 24 юнита**. +**Зачем:** без неё вывод звучит «pro стал дешевле на ×N», а с ней — «цена доставленного знака у +pro@low против glm@off СЕГОДНЯ». Это ровно та таблица, которой не хватает Д51: там pro посчитан на +ИЮЛЬСКИХ токенах (2 798 на вызов), а сегодня один вызов даёт 12 203 — отношение ×2.14 занижено. +⛔ **Почему `glm` НЕ вводится третьей осью:** её «low» в движке не ступень — `on_extra_body` у неё не +объявлен, при `low` мержится пустое и едет вендор-дефолт. Значит ось на `glm` = «выкл/вкл», а на +`pro` = «уровень» — **фактор означал бы РАЗНОЕ на разных уровнях**, и крест 2×2×2 не дал бы чистого +взаимодействия. Плюс удвоение рук при потолке $8.6 срезало бы n до ~12 и MDE до ×2.7 — проба +перестала бы видеть даже ×2.5. + **Единица наблюдения** — клетка (юнит × рука); **единица анализа** — юнит. ⭐ **Требование §14 «потолок вывода одинаков во всех руках» выполняется само:** `stagerun.go:109-125` @@ -98,12 +110,51 @@ n=16, sd 0.0069**. Ошибка типично ~3% видимого выхода запись в БД, что конфиг был в силе; (б) сигнатура `prompt_tokens(∅) − prompt_tokens(low)` по юнитам (на en дважды ровно **79**). ⚠ Оба — косвенные; побайтной улики у движка нет. +## 3-БИС. ⭐ ОБЛАСТЬ ПЕРЕНОСА — ПИШЕТСЯ ДО ЗАМЕРА, ЧТОБЫ ВЫВОД НЕ РАСШИРИЛИ МОЛЧА + +⚠ **Повод: владелец 02.09 — «мы фактически измеряем, как ведёт себя дипсик; исследование однобокое». +Он прав, и лечится это не расширением креста (§7), а честной границей вывода.** + +**УСТАНАВЛИВАЕТСЯ** — на одной модели `deepseek-v4-pro` **в тех весах, что сервятся в дни прогона** +(вендор объявил новые веса 13.08 при неизменном слаге), при маппинге эффорта от 30.08, на паре +zh→ru, на нашей нарезке (~2 тыс. знаков исходника на юнит), с нашей инъекцией банка, на двух +конкретных SHA `editor.md`: +1. эффект ОТПРАВКИ `reasoning_effort:"low"` против неотправки ключа — на объём размышления и на цену + доставленного знака; +2. эффект одной строки промпта; +3. **разложение цены по статьям** (E0 ниже) — у ЭТОЙ модели. + +**НЕ УСТАНАВЛИВАЕТСЯ, и это пишется тем же абзацем:** +* «размышление вообще» — в реестре **четыре разных механизма**: у DeepSeek уровень без выключения, + у GLM тумблер, у grok явное «none», у Gemini выключить нельзя; +* «семейство DeepSeek» — у `flash` другие веса и своя эхо-статистика; общее у них лишь таблица + маппинга и сигнатура входа; +* перенос на английскую пару — размышление на плотном китайском идёт в разы больше. + +⛔ **СРОК ГОДНОСТИ.** Вендор за месяц сменил дефолт эффорта (31.07), веса (13.08) и таблицу маппинга +(30.08). ⇒ **вывод действителен до следующего изменения вахты и ПЕРЕ-СНИМАЕТСЯ пред-полётной парой +(~$0.25), а не цитируется.** + +⭐ **ШАБЛОН КЛЕЙМА, обязательный для любого, кто будет ссылаться на результат:** +> «у `deepseek-v4-pro` (веса 0813) на zh→ru при нашей нарезке ручка `low` даёт ×N [ДИ] — +> на N-й день после смены маппинга 30.08» + +**Число без этого квалификатора — ошибка класса Д52.5** (вендор-факт принят за свойство системы). + ## 4. ПРАВИЛО РЕШЕНИЯ — ЗАПИСАНО ДО ЧИСЕЛ **Метрики клетки:** `R̂` · `completion_tokens` · `cost_usd` (сумма ВСЕХ строк юнита в руке, ретраи включены) · `delivered` = знаки отгружаемого текста при годной диспозиции, иначе **0** · `cost/delivered` · `finish` попытки 0 · `flag_reason`. +* ⭐ **E0 (ответ на вопрос «ПОЧЕМУ дорого», $0, на тех же данных).** Для каждой руки на каждом юните + цена раскладывается по статьям: вход · кэш · видимый выход · размышление · ретраи, сложенные по + ВСЕМ попыткам. Печатаются доли и их сдвиг между руками. + **Зачем он введён:** ратифицированные оси меряют «сколько режет ручка», а заказ владельца был + «почему редактор дорог» — это шире. Разложение и есть ответ: «у пары без ручки размышление = X% + цены знака, ретраи = Y%; на `low` — X′/Y′; промпт даёт Z». ⚠ Одна статья невосстановима никакой + пробой и объявляется заранее: **что из подорожания дали новые веса и смена дефолта вендором** — + июльское состояние сервинга не вернуть. * **E1 (главный):** по-юнитный контраст `log R̂(low) − log R̂(∅)`; **Вилкоксон знаково-ранговый**, α=0.05 двусторонне; медиана и 95% ДИ Ходжеса–Лемана печатаются как ВЕЛИЧИНА. ⛔ **Исходов ДВА, а не три** — прежняя редакция обещала третий и была неправа: ветвь