From 2acaedc9101400f28159c8b910453391b919d878 Mon Sep 17 00:00:00 2001 From: heaven Date: Sun, 30 Aug 2026 01:51:47 +0300 Subject: [PATCH] Record that the effort knob now reaches the anchor, retract my claim that no unconfounded design fits the money, and freeze the interleaved pre-registration --- docs/PROGRESS.md | 2 + docs/experiments/00-provider-quirks.md | 2 + docs/experiments/23-editor-tier.md | 265 ++++++++++++++++++++++++- eval/dovodka/SESSION-30-08.md | 29 ++- 4 files changed, 296 insertions(+), 2 deletions(-) diff --git a/docs/PROGRESS.md b/docs/PROGRESS.md index 6edadcf2..61703d8d 100644 --- a/docs/PROGRESS.md +++ b/docs/PROGRESS.md @@ -617,6 +617,8 @@ * ⚠ **Незакрываемое панелями, названо прямо:** абсолютная база класса Б (Шаг 5.1). Читателя просят назвать худших ВНУТРИ панели — метка сравнительная, норма абсолютная. До отдельной абсолютной рубрики или человека норму «≤1 машинная глава на 25 глав Гу» печатать нельзя. +* ⭐⛔ **30.08, ПОСЛЕ КОМПАКТА: КЛЮЧИ ПОЧИНЕНЫ ВЛАДЕЛЬЦЕМ, ПРОБНАЯ КЛЕТКА КУПЛЕНА ($0.038276) — И ГЛАВНОЕ ОНА ОТДАЛА БЕСПЛАТНО (Д45.5, Д46).** Несущая улика — не размер размышления, а **входные токены**: при побайтно одинаковых `messages` (sha256 сверен исполнением) вызов без параметра дал `prompt_tokens` **3270**, вызов с `reasoning_effort:"low"` — **3191**, то есть **−79**. **Два контроля детерминизма:** замер 05.08 (дефолт и `low` вернули ОДИНАКОВЫЕ 2124) и пред-полётные пробы самого рига (`84 · 84 · 84 · 84` на одном тривиальном запросе, четвёртая куплена 30.08 — то есть **дефолтный счёт входа не сдвинулся через смену вендорского сервинга**). ⇒ **параметр `low` на `deepseek-v4-pro` ТЕПЕРЬ ДОХОДИТ ДО МОДЕЛИ**, статус квирк-бюллетеня «НЕ УСТАНОВЛЕНО» закрыт в части «доходит ли» (новая запись **3г**). ⛔ **ВЕЛИЧИНА среза — НЕТ, и это находка против моего же пре-рега:** `RN` куплен 21.08, `RNL` — 30.08, а между блоками лежит **документированная смена вендорского сервинга** (её же зафиксировала вахта Д44) — сравнение приписывает ручке всё, что вендор поменял за девять дней; дрейф из §3б — второй конфаунд и слабее (у него есть знак, и он работает против нуля). Раздел Д45.3 «чего замер не закроет» не назвал НИ ОДНОГО — **дефект найден пере-чтением ПОСЛЕ фриза `87dd124`, печатаю против себя**. ⇒ ⭐ **Лечение одно: оба арма в ОДНОМ блоке вперемежку — и такой замер КУПИТЬ МОЖНО, вчетверо дешевле замороженного:** дизайн Д (интерливинг `RN2` против `RNL` на восьми дешёвых главах) стоит **$0.078–0.133** при свободных $0.2472, n=8 пар, минимальный двусторонний p = 0.0078; гард кассы его пропускает (проверено по коду, гард не тронут). **Пре-регистрация — Д47, заморожена коммитом, ⛔ НЕ КУПЛЕНО: санкция владельца была на ДРУГОЙ дизайн, переносить её я не вправе.** Рекомендация: пятнадцать клеток по фризу Д45 (дизайн А) **не покупать ни при каком ответе**; Д47 — по его слову. ⚠ **Первая редакция Д46 утверждала обратное — «ни один неконфаундированный дизайн не влезает» — и это было НЕВЕРНО** (пропущена дешёвая восьмёрка, при том что бимодальность нашла та же секция); сломал адверсариальный проход, разбор и цена ошибки — **Д46.6**, там же единственная находка прохода, которую я ОТКЛОНИЛ (корреляция по порядку вызовов: у всех 16 клеток `RN` один mtime, порядка не существует). Боевая ступень редактора **не тронута** (`eval/tenant_panel/roster.py` — правлен только комментарий, который до сегодня объяснял выбор снятой посылкой; гейт пака пере-снят, расхождение то же единственное mtime-шное). + **📌 ПИНГ ПОЛИГОНУ от оркестратора №19 (28.08, D39.164) — вендор-вердикт по Gemini для `docs/experiments/00-provider-quirks.md`.** Материал добыт бэкенд-сессией (curl по вендор-доке, не пересказ), но файл — ВАША зона, поэтому вписываете вы, а не я. Строка 157 сегодня несёт три утверждения сильнее, чем даёт источник: diff --git a/docs/experiments/00-provider-quirks.md b/docs/experiments/00-provider-quirks.md index 4816e322..ba1bcc47 100644 --- a/docs/experiments/00-provider-quirks.md +++ b/docs/experiments/00-provider-quirks.md @@ -80,6 +80,8 @@ ⛔⛔ **ВАХТА D39.92 ПЕРЕ-СНЯТА 2026-08-30 (полигон; `curl`, HTTP 200, страница 108 336 байт, sha256 `f28c4324…`) — ТАБЛИЦА У ВЕНДОРА ИЗМЕНИЛАСЬ, И ЗАПИСЬ НИЖЕ БОЛЬШЕ НЕ ВЕРНА.** Вендор исполнил обещанное сноской обновление маппинга. Живая редакция, дословно: *«(2) The mapping between the effort set by the user and the model's actual reasoning effort is as follows (**identical for `deepseek-v4-flash` and `deepseek-v4-pro`**)»* — и таблица теперь ОДНА на обе модели: `low→low · medium→high · high→high · xhigh→high · max→max`. Плюс *«(1) Thinking mode is enabled by default, with the default effort being `high`»*, а тумблер `{"thinking":{"type":"enabled/disabled"}}` подан как общий для модели DeepSeek, без оговорки «только flash». ⇒ **(i) на `deepseek-v4-pro` ручка `low` ТЕПЕРЬ РАБОТАЕТ и даёт `low`; (ii) рычаг бюджета размышления существует У ОБЕИХ моделей; (iii) размышление у `pro` в принципе ВЫКЛЮЧАЕМО тумблером.** ⚠ Это ДОКА, а не поведенческая проба: по норме проекта («слаг ≠ модель, при аномалии — поведенческая проба, не листинг») клейм действителен как ВЕНДОРСКОЕ ЗАЯВЛЕНИЕ и требует живой пробы перед денежным решением (смета — единицы центов). ⚠ И цена рычага уже замерена с другой стороны: `effort:"low"` **пере-вооружает эхо-мину** (п.4 ниже), а «reasoning-off + плотный CJK-вход = зона эха». ⚠ ЕЩЁ ОДИН ЖИВОЙ ФАКТ С ТОЙ ЖЕ СТРАНИЦЫ, которого у нас не записано нигде: *«Thinking mode does not support the `temperature`, `top_p`, `presence_penalty`, or `frequency_penalty` parameters… setting these parameters will not trigger an error but will also have no effect»* ⇒ **наш `temperature: 0.3`, который ростер шлёт на `deepseek-v4-pro`, МОЛЧА ИГНОРИРУЕТСЯ** — параметр в проводе есть, эффекта нет. ~~⇒ (i) **не слать `reasoning_effort` = ехать на `high`** — вот почему боевая форма упирается в стену (п.10); (ii) на `deepseek-v4-pro` ручка `low` НЕ РАБОТАЕТ (маппится в `high`); рычаг бюджета размышления существует ТОЛЬКО у flash~~ — **редакция до 30.08, оставлена под зачёркиванием: на ней стоят все денежные выводы фазы Д и вся её арифметика размышления. Дефолт `high` при не-присланной ручке — В СИЛЕ и в новой редакции** — **строка В СИЛЕ**: её отзыв от 05.08 сам ОТОЗВАН адверсариальным ревью того же дня (см. 3б), замер §3б признан недиагностичным; (iii) `none` в OpenAI-формате у DeepSeek не существует вовсе (колонка `reasoning.effort:"none"` — Anthropic-формат), запись 04.07 «`none` → 400» в силе. + **3г. ⭐ ПОВЕДЕНЧЕСКАЯ ПРОБА 2026-08-30 (полигон, фаза Д, $0.038276): ПАРАМЕТР `low` НА `pro` ТЕПЕРЬ ДОХОДИТ ДО МОДЕЛИ.** Дока 3а требовала живой пробы перед денежным решением — вот она. **Несущая улика — не размер размышления, а `prompt_tokens`:** при **побайтно одинаковых** `messages` (sha256 `51e7f427940cae15`, проверено исполнением) вызов без параметра дал **3270** входных токенов, вызов с `reasoning_effort:"low"` — **3191**, то есть **−79**. Тело вызова различалось РОВНО одним полем (`eval/dovodka/rol.py:668-679`), исходник главы приколот манифестом с гейтом остановки (`eval/role_topology/pair_en.py:132-157`), шаблон промта не менялся с 20.08, кэш смещения не даёт (две клетки с `cached_tokens=0` дали остатки −31.8 и +10.4 при разбросе ±20–44). **ДВА контроля детерминизма.** (1) Замер 05.08 ниже: при побайтно одинаковых `messages` дефолт и `low` вернули ОДИНАКОВЫЕ 2124 — провайдер повторяет `prompt_tokens` в точности, когда параметр не действует; ⚠ но он снят ДО смены сервинга и на другом промте. (2) **Межэпохальный контроль — пред-полётные пробы того же рига:** один и тот же тривиальный запрос БЕЗ ручки дал `prompt_tokens` = **84 · 84 · 84 · 84**, причём четвёртая куплена 30.08 за две минуты до испытуемого вызова ⇒ **дефолтный счёт входа не сдвинулся ни на токен через смену вендорского сервинга**, и −79 принадлежит параметру, а не эпохе. ⚠ **Регулярность без объяснения:** 2203 − 2124 = **79** (05.08, `xhigh` над дефолтом) и 3270 − 3191 = **79** (30.08, дефолт над `low`) на совершенно разных промтах — похоже на серверную вставку фиксированного размера, но это догадка. ⇒ **Статус `low` на `pro` закрыт В ЧАСТИ «доходит ли»: ДОХОДИТ.** ⛔ **ВЕЛИЧИНА среза размышления ПО-ПРЕЖНЕМУ НЕ УСТАНОВЛЕНА:** наблюдённые ×2.52 (19 559 → 7 748 токенов) сняты БЛОКАМИ, разнесёнными на 9 дней. ⛔ **Несущий конфаунд здесь — НЕ дрейф, а сама смена сервинга, зафиксированная выше в 3а:** вендор переписал маппинг между двумя блоками, и сравнение «арм 21.08 против арма 30.08» приписывает ручке всё, что он поменял. Дрейф (строка в 3б) — второй и более слабый: у него есть ЗНАК (все шесть розыгрышей монотонно РАСТУТ), и при его продолжении ×2.52 было бы нижней границей среза. Чтобы величина стала известной, нужен интерливинг обоих армов в ОДНОМ блоке; пре-регистрация и цены — `docs/experiments/23-editor-tier.md` §Д46.3 и §Д47 (дорогая восьмёрка $0.565–0.620, дешёвая — $0.078–0.133). ⚠ **Эхо на `low` у `pro`: одна английская клетка дала кириллицу 1.000 и ноль латиницы — это НЕ снимает предупреждение «Не бесплатно» ниже**, эхо-мина живёт на плотном CJK, а проба была на английской паре. + **3в. ВАХТА D39.92 ИСПОЛНЕНА ПОВТОРНО 2026-08-10 (полигон, фаза Д; $0, `curl` HTTP 200).** Таблица маппинга 3а на `guides/thinking_mode` **побайтно та же** (снята разбором ячеек ``: `low`→low/high · `high`→high/high · `xhigh`→high/**max** · `max`→max/max), и сноска (3) diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index f9aaa133..4a34f4da 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -10,6 +10,7 @@ > | **ДЕНЬГИ: связка против всего остального, один прайс, одна единица** | **Д41** | > | **что корпус знал, а фаза Д не использовала** (⚠ правит Д38 и Д41) | **Д42** | > | ⛔ **реестр потерянного: что фаза запланировала и растеряла между планами** | **Д43** | +> | ручка размышления у `deepseek-v4-pro`: доходит ли · ⛔ почему замер её величины не куплен | **Д46** | > | статус метавопроса «консистентность на всю книгу» и цена его закрытия | **Д38.3**, **Д38.6** | > | что закрыто и что осталось по плану 22.08 | **Д38.4** | > | вес всего ролевого промта в единицах прибора | **Д36** | @@ -6183,7 +6184,7 @@ n = 16 английских единиц = 7.89 главы Гу · k = 5 арм * **Находка 1 (декой) — диспозиция за приёмкой**, не за сессией. От неё зависит, считать ли Шаг 4 закрытым по букве или по цели. * **Находка 11** — пометы «контраст условный» на телах Д23/Д24 не поставлены. -* `docs/PROGRESS.md:671`=`ЖИВОЙ ДЕФЕКТ ДВИЖКА` — шапка пинга №19 теперь ложна дважды (дефект +* `docs/PROGRESS.md:673`=`ЖИВОЙ ДЕФЕКТ ДВИЖКА` — шапка пинга №19 теперь ложна дважды (дефект движка закрыт 28.08; терялся промт, а не глоссарий) и баннера не имеет. **Чужая зона, пинг дан.** --- @@ -6817,3 +6818,265 @@ RL reasoning_tokens: 511 · 512 · 512 · 512 · 1005 · 1022 · 1023 · 1024 остановит прогон сам, если не уложится. ⇒ **два решения, оба за владельцем: (1) брать ли пачку при результате «эффект есть, но вдвое, а не на порядок»; (2) если брать — что делать при срабатывании гарда на последних клетках.** Потолок сессией не поднимается. + +⚠ **ПОПРАВКА Д46 (30.08, после пере-чтения пре-рега):** развилка переформулирована, и у неё +появилась рекомендация — **пятнадцать клеток не покупать**, потому что дизайн Д45 конфаундирован +дрейфом, а ни один неконфаундированный дизайн в оставшиеся деньги не влезает. Смета «$0.18–0.25» +уточнена до **$0.169** (считана не по цене худшей главы, а по доле цены на пробной клетке). См. Д46. + +--- + +## Д46 — ЧТО ОДНА КЛЕТКА ОТДАЛА БЕСПЛАТНО, И ПОЧЕМУ ПЯТНАДЦАТЬ ОСТАЛЬНЫХ ОТВЕТА НЕ ДАЛИ БЫ + +### Д46.1 ⭐ УЛИКА ЗА $0: ПАРАМЕТР ДОХОДИТ ДО МОДЕЛИ, И ЭТО ВИДНО ВО ВХОДНЫХ ТОКЕНАХ + +При **побайтно одинаковых** `messages` провайдер вернул **разные** `prompt_tokens`: + +| арм | `reasoning_effort` | `prompt_tokens` | `cached_tokens` | +|---|---|---|---| +| `RN` | не слался | **3 270** | 2 688 | +| `RNL` | `low` | **3 191** | 0 | + +**−79 токенов на входе.** Ни один из них не наш: наши сообщения совпадают до байта. + +**Цепь, каждое звено снято исполнением, а не памятью:** +1. **промт побайтно один** — `rol.rol_msgs('en', src, 'RN')` и `…'RNL'` дают sha256 `51e7f427940cae15` + у обоих армов (три сообщения 7525 · 310 · 1675 знаков); +2. **тело вызова различается ровно одним полем** — `call_kwargs` (`eval/dovodka/rol.py:668-706`, + дописывание уровня — строка 701) + берёт общий ростер и добавляет только `reasoning_effort`; модель, `max_tokens=32000`, + `temperature` — общие; +3. **исходник главы тот же** — манифест единиц приколот, и чтение никогда не переотбирает: + при смене текста uid меняется, приколотый исчезает из пересчитанных кандидатов и **покупка + останавливается** (`eval/role_topology/pair_en.py:132-157`). Покупка 30.08 прошла ⇒ текст не менялся. + ⚠ Это не рассуждение, а гейт, который обязан был сработать и не сработал; +4. **шаблон промта не менялся** — `onepass-core.md` последний раз тронут **20.08**, за день до + покупки `RN`; пар-блоки и бриф с 20.08 не менялись вовсе (`git log --since=2026-08-20`, пусто); +5. **кэш это не объясняет** — две клетки `RN` с `cached_tokens=0` не смещены вниз: остатки от линии + `pt = 0.23332·знаки + 1041.7`, построенной по 14 кэшированным, у них **−31.8** и **+10.4** при + фактическом разбросе остатков **от −29.5 до +44.0**. У `RNL` остаток **−69.6** — ниже любой + клетки `RN`, но ⚠ всего на ~38 токенов ниже нижнего края, при хвосте +44 с другой стороны: + регрессия — подпорка, а не несущая улика. Несущая — прямое сравнение на ОДНОЙ главе (−79). + +**ДВА контроля детерминизма, и второй нашёлся бесплатно при адверсариальном проходе.** +1. **Замер 05.08** — тот самый, у которого отозвано звено про величину: при побайтно одинаковых + `messages` дефолт и `low` вернули **одинаковые 2124**, а `xhigh` — 2203 (квирк-бюллетень §3б, + строка «серверная реакция»). Провайдер **повторяет `prompt_tokens` в точности, когда параметр не + действует**. ⚠ Границу назвать честно: это ДРУГОЙ промт и ДРУГАЯ роль, и снят он ДО того, как + вендор поменял сервинг, — значит он доказывает детерминизм счётчика внутри прежней эпохи. +2. ⭐ **Пред-полётные пробы самого рига закрывают и межэпохальную дыру.** `dv-n-probe-deepseek-v4-pro-1…4` + — один и тот же тривиальный запрос без ручки: `prompt_tokens` = **84 · 84 · 84 · 84**, причём + четвёртая куплена **30.08 за две минуты до `RNL`** (её $0.000923 и составляют разницу между + списанными $0.038276 и ценой клетки $0.037353). ⇒ **дефолтный счёт входа не сдвинулся ни на + токен через смену сервинга** — значит −79 принадлежит параметру, а не эпохе. + +⇒ 79 — реакция на параметр, а не разброс счётчика и не смена вендорского сервинга. + +⚠ **Регулярность, которую я не берусь объяснять:** 2203 − 2124 = **79** (05.08, `xhigh` над +дефолтом) и 3270 − 3191 = **79** (30.08, дефолт над `low`) — при совершенно разных промтах (2 124 +против 3 270 входных токенов) и разных ролях. Похоже на серверную вставку фиксированного размера, +но это догадка; печатается как наблюдение, а не как клейм. + +⇒ **Статус «`low` на `pro` — НЕ УСТАНОВЛЕНО» закрыт В ЧАСТИ «доходит ли»: ДОХОДИТ.** Вендор-дока +(живая вахта 30.08) и поведение сошлись. **Величина среза размышления не установлена** — Д46.2. + +### Д46.2 ⛔ ПРЕ-РЕГ Д45 КОНФАУНДИРОВАН — НО НЕ ТЕМ, ЧЕМ Я СНАЧАЛА НАПИСАЛ + +Д45 сравнивает `RNL`, купленный **30.08**, с `RN`, купленным **21.08**: два блока, разнесённые на +девять дней. Между ними лежит событие, которое в отчёте уже записано и которое я в первой редакции +этой секции конфаундером НЕ НАЗВАЛ: + +⛔ **НЕСУЩИЙ КОНФАУНД — ДОКУМЕНТИРОВАННАЯ СМЕНА ВЕНДОРСКОГО СЕРВИНГА.** Живая вахта 30.08 (Д44) +показала, что DeepSeek переписал таблицу маппинга эффорта, и сделал это между двумя блоками. Кроме +маппинга, вендор мог тронуть что угодно ещё — доказательства, что дефолтный путь остался тем же, у +нас нет ни на единицу размышления. **Сравнение «арм 21.08 против арма 30.08» приписывает ручке всё, +что вендор поменял за девять дней.** Это и есть та причина, по которой ответ нельзя получить +дозакупкой одного арма. + +⚠ **Дрейф — второй конфаунд, и он СЛАБЕЕ, чем я написал сначала.** §3б бюллетеня даёт шесть +дефолтных розыгрышей одного запроса, монотонно РАСТУЩИХ (1952 → 9104 → 10818 → 11157 → 13421 → +15720). Три уточнения, каждое против моей же первой формулировки: +* **у дрейфа есть ЗНАК, и он работает против нуля, а не за него**: если бы тренд продолжился, дефолт + 30.08 думал бы БОЛЬШЕ 19 559, и наблюдённые ×2.52 были бы НИЖНЕЙ границей среза, а не артефактом; +* **эпизодичность:** пред-полётные пробы того же рига на одном запросе дали 58 · 202 · 130 (до 22.08) + и **196** (30.08) — значение 30.08 внутри старого диапазона. Улика слабая (вход тривиальный, + n=4), но она есть, и она против «модель за девять дней стала думать иначе»; +* ⛔ **а вот проверить дрейф ВНУТРИ блока `RN` нельзя вовсе, и это надо сказать прямо:** у всех 16 + клеток `RN` **один и тот же mtime** (переезд машины, Д35.2), поля времени в клетках нет ⇒ порядка + вызовов не существует. Любая корреляция «номер вызова ↔ размышление» на этих данных построена на + порядке, которого нет. ⚠ Ровно такую корреляцию (Spearman −0.08) принёс адверсариальный проход — + **отклонена по этой причине**, см. Д46.6. + +⛔ **Раздел Д45.3 «чего замер не закроет» не назвал НИ ОДНОГО из двух.** Там четыре границы (одна +пара · средняя ступень · эхо · нужен П3). **Это дефект моей же пре-регистрации**, найденный +пере-чтением уже после фриза `87dd124`. Печатаю против себя: фриз ценен тем, что делает такую +находку видимой, а не тем, что делает дизайн правильным. + +⇒ **Лечение у обоих конфаундов одно и то же: оба арма покупаются В ОДНОМ БЛОКЕ, вперемежку.** +Тогда ни смена сервинга, ни дрейф не могут разойтись между армами. Цена такого дизайна — Д46.3. + +### Д46.3 АРИФМЕТИКА: ОДИН НЕКОНФАУНДИРОВАННЫЙ ДИЗАЙН В ОСТАВШИЕСЯ ДЕНЬГИ ВСЁ-ТАКИ ВЛЕЗАЕТ + +⚠⚠ **ЭТА ТАБЛИЦА — ВТОРАЯ РЕДАКЦИЯ. Первая утверждала «ни один неконфаундированный дизайн не +влезает», и это было НЕВЕРНО:** я перебрал только полный набор, дорогую восьмёрку и четыре главы, +пропустив дешёвую восьмёрку — при том, что бимодальность нашёл сам двумя абзацами выше. Поймано +адверсариальным проходом (Д46.6). Заодно сметы пере-считаны честно: плоская доля «RNL = 0.4622 от +RN» переносила отношение с САМОЙ ДУМАЮЩЕЙ главы на дешёвые, где цену задаёт вход, — ровно та +операция, которую соседняя строка запрещает делать с ×2.52. + +Свободно в ФД-N: **$0.2472** (потрачено 3.052781 при потолке 3.30). Основание сметы — не отношение, +а **пин прайса** ($1.320 вход · $0.044 кэш · $3.96 выход за 1M) и по-клеточное сырьё: вход берётся +фактический, выход = `completion − reasoning` плюс размышление, ужатое в 2.5245. **Вилка** — от +«кэш прогрет» (2 688 токенов системного промта по кэш-цене) до «кэш холодный на каждой клетке». + +Факты панели: 16 клеток `RN` стоили **$0.445438** (медиана ≈$0.01668, разброс $0.0032–$0.0808), +размышление бимодально — восемь глав 466–931 токенов и восемь 5 804–19 559, и **89.8% денег панели +лежит в дорогой восьмёрке**. + +| дизайн | что покупает | цена (тёплый … холодный) | вердикт | +|---|---|---|---| +| **А — фриз Д45** | 15 `RNL`, сравнение с `RN` от 21.08 | $0.170 … **$0.221** | влезает, но **конфаундирован** (Д46.2). ⚠ Прежняя смета $0.169 была ниже обоих концов честной вилки | +| **Б — интерливинг, все 16 глав** | 16 `RN'` + 16 `RNL` одним блоком | $0.643 … $0.753 | ⛔ не влезает | +| **В — интерливинг, дорогая восьмёрка** | 8 + 8 | $0.565 … $0.620 | ⛔ не влезает | +| **Г — интерливинг, гибрид 8 дешёвых + 3 дорогих** | 11 + 11 | $0.205 … **$0.280** | ⚠ холодный конец ВЫШЕ потолка ⇒ гард остановит на последних клетках | +| ⭐ **Д — интерливинг, дешёвая восьмёрка** | 8 `RN'` + 8 `RNL` | **$0.078 … $0.133** | ✅ влезает с запасом ~2× даже по холодному концу; n=8 пар ⇒ минимальный двусторонний p знакового теста **0.0078** — значимость достижима по построению | + +⇒ **Вывод меняется: неконфаундированный замер купить МОЖНО, и он вчетверо дешевле того, что было +заморожено.** Но он покупает не всё: +* ⭐ дизайн Д отвечает на вопрос **«режет ли ручка размышление»** чисто — оба арма в одном блоке; +* ⛔ **он НЕ отвечает, сколько денег это экономит там, где деньги**: дешёвая восьмёрка — 10.2% цены + панели. Дизайн В отвечал бы, но стоит вдвое больше свободных денег; +* ⚠ **и «дешёвая глава» — не свойство главы, а исход одного розыгрыша.** Разброс размышления на + побайтно одном входе у DeepSeek измерялся десятками раз (квирк п.2), так что `RN'` на «дешёвой» + главе может сегодня думать вдесятеро больше вчерашнего. Вилка выше это и закладывает; страховка — + проекционный гард кассы, а не оптимизм. + +⛔ **РЕКОМЕНДАЦИЯ СЕССИИ, обе части:** (1) **пятнадцать клеток по фризу Д45 (дизайн А) не покупать** +— они дадут число, которое нельзя приписать ручке; (2) если владелец хочет двигать вопрос дальше — +**дизайн Д**, пре-регистрация в Д47. Решение о покупке — его. + +### Д46.4 ЧТО ЭТИ ДЕНЬГИ КУПИЛИ БЫ, А ЧТО НЕТ + +Даже чистый замер ВЕЛИЧИНЫ не отвечает на вопрос, ради которого ручка нужна: +* **качество прозы при `low` не мерится счётным прибором** — вес ролевого промта лежит на прозе, не + на браке (Д36), а ранговый П3 стоит 16 агент-сессий при свободных **14 из 200**; +* **эхо-мина** на `low` у `pro` не мерена ни разу (квирк §3б, «Не бесплатно»); одна английская + клетка с кириллицей 1.000 — не замер; +* **переносимости на боевую пару нет**: на плотном ханьском входе размышление идёт ×7.8 (квирк п.7), + и английские величины на zh не переносятся. + +⇒ Вопрос уходит в пак, у которого есть и деньги на интерливинг, и сессии на ранг. Сюда записаны его +**цена ($0.585 за дизайн В плюс 16 сессий) и дизайн**, чтобы следующий не начинал с нуля. + +### Д46.5 БОЕВАЯ КОНФИГУРАЦИЯ НЕ ТРОНУТА — И ВОТ ПОЧЕМУ ЭТО НЕ ЛЕНЬ + +`THINK["deepseek-v4-pro"] = ("none", "")` в `eval/tenant_panel/roster.py` **оставлено как есть**: +ручка теперь доходит, но её цена в качестве и эхе не замерена, а менять боевую ступень редактора +под неизмеренный риск — обмен с неизвестным курсом. **Правится только комментарий рядом:** он +утверждал «ручка `low` признана НЕ УСТАНОВЛЕННОЙ ⇒ едем вендор-дефолтом», и первая половина этого +с 30.08 неверна. Причина ехать дефолтом осталась, но она другая, и в коде должна стоять верная. +Гейт чужого пака пере-снят после правки (`verify22.py`): расхождение то же единственное и то же +самое — граница двойной оплаты, считаемая по mtime, которые обнулил переезд (Д39.2 / R71). + +### Д46.6 АДВЕРСАРИАЛЬНЫЙ ПРОХОД ПО ЭТОЙ ЖЕ СЕКЦИИ — ЧТО ОН СЛОМАЛ + +Мандат самопроверки требует прохода по ГОТОВОЙ работе, а не самоотчёта. Один опровергатель +`claude-fable-5`, мандат — **опровергать, подтверждать запрещено**; репозиторий read-only, платных +вызовов ноль. Секция была ему отдана в первой редакции. Итог: **одно опровержение, три усиления, +одна отклонённая находка.** + +| что | вердикт | что сделано | +|---|---|---| +| «ни один неконфаундированный дизайн не влезает» (Д46.3) | ⛔ **ОПРОВЕРГНУТО**: пропущена дешёвая восьмёрка, где интерливинг стоит вчетверо меньше свободных денег и даёт n=8 | таблица пере-строена, вывод перевёрнут, добавлен дизайн Д и пре-рег Д47 | +| смета по плоской доле 0.4622 | ⚠ **ОСЛАБЛЕНО**: отношение перенесено с самой думающей главы на дешёвые вопреки собственному запрету строкой выше | сметы пере-считаны из пина прайса по-клеточно, с вилкой тёплый/холодный кэш | +| «дрейф ⇒ ответа не купить» (Д46.2) | ⚠ **ОСЛАБЛЕНО**: у дрейфа есть знак, и он работает против нуля; несущий конфаунд — не дрейф, а смена сервинга | Д46.2 переписана, конфаунды разведены и названы по силе | +| межэпохальная стабильность счётчика входа (Д46.1) | ⚠ **дыра в цепи**: контроль 05.08 снят ДО смены сервинга | закрыта бесплатной уликой, которую проход и нашёл: пробы `84 · 84 · 84 · 84`, четвёртая — 30.08 | +| «разброс остатков ±20–44» | ⚠ приукрашено | напечатан фактический разброс −29.5…+44.0 и оговорено, что регрессия — подпорка, а не несущая улика | +| Spearman(порядок вызовов, размышление) = −0.08 внутри блока `RN` как довод «дрейфа нет» | ⛔ **ОТКЛОНЕНО МНОЙ** | у всех 16 клеток `RN` **один mtime** (переезд, Д35.2), поля времени в клетке нет ⇒ порядка вызовов не существует, и корреляция построена на нём. Находка отклонена, причина напечатана — Д46.2 | + +⚠ **Секция исправлена НА МЕСТЕ, а не баннером поверх:** обе редакции написаны в одной сессии, ни +одна не была закоммичена и ни один документ на первую не ссылался. Что именно было неверно — стоит +в самой таблице выше и во врезке Д46.3, чтобы поправка не потерялась вместе с черновиком. + +⚠ **И встречная мораль, ради которой это записано:** опровергателя нельзя принимать на слово так же, +как нельзя принимать на слово себя. Из шести его пунктов пять улучшили секцию, а шестой был бы +принят как «доказано, что дрейфа нет», если бы я не пошёл смотреть mtime. + +--- + +## Д47 — ПРЕ-РЕГИСТРАЦИЯ ДИЗАЙНА Д: ИНТЕРЛИВИНГ В ОДНОМ БЛОКЕ. ⛔ НЕ КУПЛЕНО, ЖДЁТ СЛОВА ВЛАДЕЛЬЦА + +⚠ **Пишется ДО единого платного вызова и замораживается коммитом.** Санкция владельца от 30.08 +(«по поводу дипсика — бери») относилась к дизайну Д45; здесь дизайн ДРУГОЙ (второй арм, другая +выборка, другие деньги), и переносить санкцию на него я не вправе. **Покупка не начнётся, пока +владелец не скажет по этому дизайну отдельно.** + +### Д47.1 ВОПРОС, И ТОЛЬКО ОН + +**Режет ли `reasoning_effort:"low"` размышление у `deepseek-v4-pro` — при устранённых конфаундах +времени?** Не «на сколько процентов», не «стоит ли менять боевую ступень»: одна проверяемая вещь. + +### Д47.2 ДИЗАЙН + +* **Армы:** `RN2` (тот же `deepseek-v4-pro`, генерация 2, ручка НЕ шлётся = вендор-дефолт) против + `RNL` (та же модель, `reasoning_effort:"low"`). Промт у обоих — тот же ролевой однопроходный, + побайтно (`rol_msgs`, sha256 сверяется селфтестом перед покупкой). +* **Главы — восемь, названы ЗДЕСЬ и не пере-выбираются:** `b065a92dc0` · `5a8f48d24a` · + `100b088f71` · `49ca859c94` · `8e50448cea` · `c3517980c7` · `3bd6481182` · `26c3bff1d4`. + Это восемь глав с наименьшим размышлением у `RN` — **выбор объявлен ценой, а не результатом**: + дорогая восьмёрка стоит $0.565–0.620 при свободных $0.2472. +* **Порядок — ИНТЕРЛИВИНГ ПО ГЛАВЕ:** для каждой главы подряд `RN2`, затем `RNL`, и только потом + следующая глава. Оба конфаунда Д46.2 (смена сервинга · дрейф) не могут разойтись между армами, + потому что армы разделены минутами, а не днями. +* **Прибор — сам `usage`,** ранговых чтений и агент-сессий не требуется (их 14 из 200, и они + зарезервированы не сюда). + +### Д47.3 ПРАВИЛО РЕШЕНИЯ — НАПИСАНО ДО ЧИСЕЛ + +Первичный эндпойнт: **знаковый тест по восьми парам**, `reasoning_tokens(RNL) < reasoning_tokens(RN2)`, +порог **α = 0.05 двусторонний**. + +* **8 из 8** (p = 0.0078) ⇒ ⭐ **ручка режет; клейм «`low` действует на `pro`» установлен на английской + паре.** Печатается медиана отношения — как ОПИСАНИЕ, не как перенос; +* **7 из 8** (p = 0.070) ⇒ ⛔ **не значимо: «не установлено».** Это РЕЗУЛЬТАТ, а не повод докупать + девятую главу — добор до значимости после взгляда на числа запрещён (D28, и на этом же сгорело + звено (а) 05.08); +* **≤ 6 из 8** ⇒ ручка на этом материале не режет. + +⚠ **Слабость дизайна названа заранее, а не после:** при n=8 значимости достигает ТОЛЬКО единогласный +исход. Это цена того, что дизайн влезает в оставшиеся деньги; поднимать n — значит поднимать потолок. + +**Гейт годности каждой клетки** (падение = клетка не входит в счёт, и это печатается): +`finish=stop` · доля кириллицы ≥ 0.99 · латиница-эхо = 0 · **`prompt_tokens(RN2) − prompt_tokens(RNL)` +в диапазоне 60–100** — по-клеточная проверка того, что параметр вообще доехал (Д46.1: ожидается 79). + +### Д47.4 ДЕНЬГИ И СТОП + +Касса **ФД-N**, потолок **$3.30 не поднимается**, свободно **$0.2472**. Смета дизайна — +**$0.078 (кэш прогрет) … $0.133 (кэш холодный на каждой клетке)**, то есть запас ~2× даже по худшему +концу. + +**Как именно защищены деньги — по коду, а не по намерению.** Гард `money.Guarded.afford()` +(`eval/tenant_panel/money.py:149-159`) проверяется **перед КАЖДОЙ клеткой** и отказывает, когда +`потрачено + ожидание > потолок`; ожидание для `deepseek-v4-pro` — $0.0214. ⇒ покупка идёт, пока +фактический расход не дойдёт до ≈$0.226 сверх нынешнего, и **дизайн Д укладывается в это с запасом**. +⚠ Отдельно: сводка `--dry` печатает «НЕ ВЛЕЗАЕТ» для ВСЕГО остатка замера ($1.03 на все незакрытые +армы) — это планировщик, а не гард, и к дизайну Д он отношения не имеет. **Гард я не трогаю и не +делаю точнее ради собственной покупки** — это ровно тот класс правки, который запрещён. + +⛔ **Сверх гарда — своё стоп-правило:** отказ гарда на любой клетке = ОСТАНОВКА всего прогона и +вопрос владельцу (так уже написано в `rol.buy`), а результат печатается по факту купленных пар, +без добора до значимости. + +### Д47.5 ЧЕГО ЭТОТ ЗАМЕР НЕ ЗАКРОЕТ — СПИСОК ПОЛНЫЙ + +1. **Денег там, где деньги:** дешёвая восьмёрка — 10.2% цены панели; про дорогую моду он не скажет. +2. **Качество прозы:** счётный прибор видит брак, а вес промта лежит на прозе (Д36); ранг стоит 16 + агент-сессий при свободных 14. +3. **Эхо-мину:** проба на английской паре, а мина живёт на плотном CJK (квирк п.4). +4. **Перенос на боевую пару zh:** размышление там идёт ×7.8 (квирк п.7) — величины не переносятся. +5. **Среднюю ступень:** по живой таблице `medium`/`high`/`xhigh` схлопываются в `high`; меряются + крайние две из трёх. + +⇒ **Даже полный успех этого замера НЕ разрешает менять боевую ступень редактора.** Он двигает +ровно одну клетку знания: «ручка режет» перестаёт быть вендорским заявлением и становится замером. diff --git a/eval/dovodka/SESSION-30-08.md b/eval/dovodka/SESSION-30-08.md index 0de02795..37a4e208 100644 --- a/eval/dovodka/SESSION-30-08.md +++ b/eval/dovodka/SESSION-30-08.md @@ -57,6 +57,26 @@ workaround, который канон запрещает («ошибка тих но не на порядок, как ждал пре-рег. Эхо не пере-вооружилось (кириллица 1.000, латиницы 0). ⚠ Денег на пачку впритык: свободно $0.247, оценка $0.18–0.56 (проба была ХУДШЕЙ главой панели). +⛔⛔ **ПОСЛЕ КОМПАКТА 30.08 ДОБАВЛЕНЫ СЕКЦИИ Д46 и Д47, И ОНИ МЕНЯЮТ ДИСПОЗИЦИЮ.** +1. ⭐ **Бесплатная улика важнее купленной.** При побайтно одинаковых `messages` вызов без параметра + дал `prompt_tokens` **3270**, с `low` — **3191**: **−79**, серверная реакция. Два контроля + детерминизма: замер 05.08 (дефолт и `low` дали ОДИНАКОВЫЕ 2124) и пред-полётные пробы рига + (`84 · 84 · 84 · 84`, четвёртая — 30.08, через смену сервинга). ⇒ **параметр ДОХОДИТ до модели**, + и это стоило $0. Квирк-бюллетень: новая запись **3г**, статус закрыт в части «доходит ли». +2. ⛔ **Пре-рег Д45 конфаундирован — и НЕ дрейфом, как я написал сначала, а СМЕНОЙ ВЕНДОРСКОГО + СЕРВИНГА** между 21.08 и 30.08 (её же зафиксировала вахта Д44). Дрейф — второй и слабее: у него + есть знак, и он работает против нуля. Лечение у обоих одно: **оба арма в ОДНОМ блоке, вперемежку**. +3. ⭐ **Неконфаундированный замер КУПИТЬ МОЖНО, и он вчетверо дешевле замороженного** — дизайн Д: + интерливинг `RN2` против `RNL` на восьми дешёвых главах, **$0.078–0.133** при свободных $0.2472, + n=8, минимальный двусторонний p = 0.0078. Пре-регистрация — **Д47**, ⛔ **не куплено**. +⇒ **Вопрос владельцу: запускать ли Д47.** Рекомендация: (а) пятнадцать клеток по фризу Д45 — +**НЕ покупать** ни при каком ответе; (б) Д47 — по его слову. **Величина среза остаётся НЕ +УСТАНОВЛЕННОЙ, и так и записана.** +⚠ **Первая редакция Д46 утверждала «ни один неконфаундированный дизайн не влезает» — ЭТО БЫЛО +НЕВЕРНО** (пропущена дешёвая восьмёрка). Сломал адверсариальный проход, разбор — Д46.6. Там же — +единственная находка прохода, которую я ОТКЛОНИЛ (корреляция по порядку вызовов: у всех 16 клеток +`RN` один mtime, порядка не существует). + **Зачем замер (одной фразой):** развести конфаунд Д44.6 — весь разрыв «`luna` дешевле якоря в 8.1×» снят с якоря, которому ручку размышления **не слали вовсе** (= вендор-дефолт `high`), против испытуемого на явном `low`. По норме Д28 это разные армы. @@ -87,6 +107,10 @@ workaround, который канон запрещает («ошибка тих ## 3. ⛔ ОБЯЗАТЕЛЬСТВА И ВОПРОСЫ, ВИСЯЩИЕ НА ВЛАДЕЛЬЦЕ +0. **Ручка размышления: запускать ли Д47** — интерливинг на восьми дешёвых главах, $0.078–0.133, + влезает в свободные $0.2472 без поднятия потолка. ⛔ Пятнадцать клеток по фризу Д45 не покупать + ни при каком ответе. Если Д47 не запускается — фаза закрывается на «параметр доходит (замерено), + величина среза не установлена (и записана как неустановленная)». 1. **Диспозиция по декою (Д36.8а)** — считать Шаг 4 закрытым по цели или пере-собирать панель по букве. 2. **Кап агент-сессий**: 186/200, ранговый эндпойнт Д45 требует 16. 3. **Шаг 7 (~$2 + движковый прогон)** — единственный прибор под Вопрос 0; в резерв $1.26 не влезает. @@ -113,7 +137,10 @@ workaround, который канон запрещает («ошибка тих eval/.venv/bin/python eval/dovodka/rol.py --selftest # ОБЯЗАТЕЛЕН перед покупкой eval/.venv/bin/python eval/dovodka/rol.py --wire en --arm=RNL eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL --only=001e6ac4 # ← пробная клетка -eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL # ← пачка, ТОЛЬКО после пробы +eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL # ⛔ НЕ ЗАПУСКАТЬ НИКОГДА: дизайн А, конфаундирован +# Д47, ТОЛЬКО по слову владельца — интерливинг по главе, пара за парой, восемь глав из Д47.2: +# for u in b065a92dc0 5a8f48d24a 100b088f71 49ca859c94 8e50448cea c3517980c7 3bd6481182 26c3bff1d4; do +# rol.py --buy en RN2 --only=$u && rol.py --buy en RNL --only=$u ; done eval/.venv/bin/python eval/dovodka/schet.py --report RNL RN RL # П2, $0 eval/.venv/bin/python eval/dovodka/money_d.py --report | --selftest eval/.venv/bin/python eval/dovodka/runs.py --report