Record that the effort knob now reaches the anchor, retract my claim that no unconfounded design fits the money, and freeze the interleaved pre-registration
This commit is contained in:
parent
7fabdd0634
commit
2acaedc910
4 changed files with 296 additions and 2 deletions
|
|
@ -617,6 +617,8 @@
|
|||
* ⚠ **Незакрываемое панелями, названо прямо:** абсолютная база класса Б (Шаг 5.1). Читателя просят назвать худших ВНУТРИ панели — метка сравнительная, норма абсолютная. До отдельной абсолютной рубрики или человека норму «≤1 машинная глава на 25 глав Гу» печатать нельзя.
|
||||
|
||||
|
||||
* ⭐⛔ **30.08, ПОСЛЕ КОМПАКТА: КЛЮЧИ ПОЧИНЕНЫ ВЛАДЕЛЬЦЕМ, ПРОБНАЯ КЛЕТКА КУПЛЕНА ($0.038276) — И ГЛАВНОЕ ОНА ОТДАЛА БЕСПЛАТНО (Д45.5, Д46).** Несущая улика — не размер размышления, а **входные токены**: при побайтно одинаковых `messages` (sha256 сверен исполнением) вызов без параметра дал `prompt_tokens` **3270**, вызов с `reasoning_effort:"low"` — **3191**, то есть **−79**. **Два контроля детерминизма:** замер 05.08 (дефолт и `low` вернули ОДИНАКОВЫЕ 2124) и пред-полётные пробы самого рига (`84 · 84 · 84 · 84` на одном тривиальном запросе, четвёртая куплена 30.08 — то есть **дефолтный счёт входа не сдвинулся через смену вендорского сервинга**). ⇒ **параметр `low` на `deepseek-v4-pro` ТЕПЕРЬ ДОХОДИТ ДО МОДЕЛИ**, статус квирк-бюллетеня «НЕ УСТАНОВЛЕНО» закрыт в части «доходит ли» (новая запись **3г**). ⛔ **ВЕЛИЧИНА среза — НЕТ, и это находка против моего же пре-рега:** `RN` куплен 21.08, `RNL` — 30.08, а между блоками лежит **документированная смена вендорского сервинга** (её же зафиксировала вахта Д44) — сравнение приписывает ручке всё, что вендор поменял за девять дней; дрейф из §3б — второй конфаунд и слабее (у него есть знак, и он работает против нуля). Раздел Д45.3 «чего замер не закроет» не назвал НИ ОДНОГО — **дефект найден пере-чтением ПОСЛЕ фриза `87dd124`, печатаю против себя**. ⇒ ⭐ **Лечение одно: оба арма в ОДНОМ блоке вперемежку — и такой замер КУПИТЬ МОЖНО, вчетверо дешевле замороженного:** дизайн Д (интерливинг `RN2` против `RNL` на восьми дешёвых главах) стоит **$0.078–0.133** при свободных $0.2472, n=8 пар, минимальный двусторонний p = 0.0078; гард кассы его пропускает (проверено по коду, гард не тронут). **Пре-регистрация — Д47, заморожена коммитом, ⛔ НЕ КУПЛЕНО: санкция владельца была на ДРУГОЙ дизайн, переносить её я не вправе.** Рекомендация: пятнадцать клеток по фризу Д45 (дизайн А) **не покупать ни при каком ответе**; Д47 — по его слову. ⚠ **Первая редакция Д46 утверждала обратное — «ни один неконфаундированный дизайн не влезает» — и это было НЕВЕРНО** (пропущена дешёвая восьмёрка, при том что бимодальность нашла та же секция); сломал адверсариальный проход, разбор и цена ошибки — **Д46.6**, там же единственная находка прохода, которую я ОТКЛОНИЛ (корреляция по порядку вызовов: у всех 16 клеток `RN` один mtime, порядка не существует). Боевая ступень редактора **не тронута** (`eval/tenant_panel/roster.py` — правлен только комментарий, который до сегодня объяснял выбор снятой посылкой; гейт пака пере-снят, расхождение то же единственное mtime-шное).
|
||||
|
||||
**📌 ПИНГ ПОЛИГОНУ от оркестратора №19 (28.08, D39.164) — вендор-вердикт по Gemini для `docs/experiments/00-provider-quirks.md`.**
|
||||
Материал добыт бэкенд-сессией (curl по вендор-доке, не пересказ), но файл — ВАША зона, поэтому вписываете вы, а не я. Строка 157 сегодня
|
||||
несёт три утверждения сильнее, чем даёт источник:
|
||||
|
|
|
|||
|
|
@ -80,6 +80,8 @@
|
|||
⛔⛔ **ВАХТА D39.92 ПЕРЕ-СНЯТА 2026-08-30 (полигон; `curl`, HTTP 200, страница 108 336 байт, sha256 `f28c4324…`) — ТАБЛИЦА У ВЕНДОРА ИЗМЕНИЛАСЬ, И ЗАПИСЬ НИЖЕ БОЛЬШЕ НЕ ВЕРНА.** Вендор исполнил обещанное сноской обновление маппинга. Живая редакция, дословно: *«(2) The mapping between the effort set by the user and the model's actual reasoning effort is as follows (**identical for `deepseek-v4-flash` and `deepseek-v4-pro`**)»* — и таблица теперь ОДНА на обе модели: `low→low · medium→high · high→high · xhigh→high · max→max`. Плюс *«(1) Thinking mode is enabled by default, with the default effort being `high`»*, а тумблер `{"thinking":{"type":"enabled/disabled"}}` подан как общий для модели DeepSeek, без оговорки «только flash». ⇒ **(i) на `deepseek-v4-pro` ручка `low` ТЕПЕРЬ РАБОТАЕТ и даёт `low`; (ii) рычаг бюджета размышления существует У ОБЕИХ моделей; (iii) размышление у `pro` в принципе ВЫКЛЮЧАЕМО тумблером.** ⚠ Это ДОКА, а не поведенческая проба: по норме проекта («слаг ≠ модель, при аномалии — поведенческая проба, не листинг») клейм действителен как ВЕНДОРСКОЕ ЗАЯВЛЕНИЕ и требует живой пробы перед денежным решением (смета — единицы центов). ⚠ И цена рычага уже замерена с другой стороны: `effort:"low"` **пере-вооружает эхо-мину** (п.4 ниже), а «reasoning-off + плотный CJK-вход = зона эха». ⚠ ЕЩЁ ОДИН ЖИВОЙ ФАКТ С ТОЙ ЖЕ СТРАНИЦЫ, которого у нас не записано нигде: *«Thinking mode does not support the `temperature`, `top_p`, `presence_penalty`, or `frequency_penalty` parameters… setting these parameters will not trigger an error but will also have no effect»* ⇒ **наш `temperature: 0.3`, который ростер шлёт на `deepseek-v4-pro`, МОЛЧА ИГНОРИРУЕТСЯ** — параметр в проводе есть, эффекта нет.
|
||||
~~⇒ (i) **не слать `reasoning_effort` = ехать на `high`** — вот почему боевая форма упирается в стену (п.10); (ii) на `deepseek-v4-pro` ручка `low` НЕ РАБОТАЕТ (маппится в `high`); рычаг бюджета размышления существует ТОЛЬКО у flash~~ — **редакция до 30.08, оставлена под зачёркиванием: на ней стоят все денежные выводы фазы Д и вся её арифметика размышления. Дефолт `high` при не-присланной ручке — В СИЛЕ и в новой редакции** — **строка В СИЛЕ**: её отзыв от 05.08 сам ОТОЗВАН адверсариальным ревью того же дня (см. 3б), замер §3б признан недиагностичным; (iii) `none` в OpenAI-формате у DeepSeek не существует вовсе (колонка `reasoning.effort:"none"` — Anthropic-формат), запись 04.07 «`none` → 400» в силе.
|
||||
|
||||
**3г. ⭐ ПОВЕДЕНЧЕСКАЯ ПРОБА 2026-08-30 (полигон, фаза Д, $0.038276): ПАРАМЕТР `low` НА `pro` ТЕПЕРЬ ДОХОДИТ ДО МОДЕЛИ.** Дока 3а требовала живой пробы перед денежным решением — вот она. **Несущая улика — не размер размышления, а `prompt_tokens`:** при **побайтно одинаковых** `messages` (sha256 `51e7f427940cae15`, проверено исполнением) вызов без параметра дал **3270** входных токенов, вызов с `reasoning_effort:"low"` — **3191**, то есть **−79**. Тело вызова различалось РОВНО одним полем (`eval/dovodka/rol.py:668-679`), исходник главы приколот манифестом с гейтом остановки (`eval/role_topology/pair_en.py:132-157`), шаблон промта не менялся с 20.08, кэш смещения не даёт (две клетки с `cached_tokens=0` дали остатки −31.8 и +10.4 при разбросе ±20–44). **ДВА контроля детерминизма.** (1) Замер 05.08 ниже: при побайтно одинаковых `messages` дефолт и `low` вернули ОДИНАКОВЫЕ 2124 — провайдер повторяет `prompt_tokens` в точности, когда параметр не действует; ⚠ но он снят ДО смены сервинга и на другом промте. (2) **Межэпохальный контроль — пред-полётные пробы того же рига:** один и тот же тривиальный запрос БЕЗ ручки дал `prompt_tokens` = **84 · 84 · 84 · 84**, причём четвёртая куплена 30.08 за две минуты до испытуемого вызова ⇒ **дефолтный счёт входа не сдвинулся ни на токен через смену вендорского сервинга**, и −79 принадлежит параметру, а не эпохе. ⚠ **Регулярность без объяснения:** 2203 − 2124 = **79** (05.08, `xhigh` над дефолтом) и 3270 − 3191 = **79** (30.08, дефолт над `low`) на совершенно разных промтах — похоже на серверную вставку фиксированного размера, но это догадка. ⇒ **Статус `low` на `pro` закрыт В ЧАСТИ «доходит ли»: ДОХОДИТ.** ⛔ **ВЕЛИЧИНА среза размышления ПО-ПРЕЖНЕМУ НЕ УСТАНОВЛЕНА:** наблюдённые ×2.52 (19 559 → 7 748 токенов) сняты БЛОКАМИ, разнесёнными на 9 дней. ⛔ **Несущий конфаунд здесь — НЕ дрейф, а сама смена сервинга, зафиксированная выше в 3а:** вендор переписал маппинг между двумя блоками, и сравнение «арм 21.08 против арма 30.08» приписывает ручке всё, что он поменял. Дрейф (строка в 3б) — второй и более слабый: у него есть ЗНАК (все шесть розыгрышей монотонно РАСТУТ), и при его продолжении ×2.52 было бы нижней границей среза. Чтобы величина стала известной, нужен интерливинг обоих армов в ОДНОМ блоке; пре-регистрация и цены — `docs/experiments/23-editor-tier.md` §Д46.3 и §Д47 (дорогая восьмёрка $0.565–0.620, дешёвая — $0.078–0.133). ⚠ **Эхо на `low` у `pro`: одна английская клетка дала кириллицу 1.000 и ноль латиницы — это НЕ снимает предупреждение «Не бесплатно» ниже**, эхо-мина живёт на плотном CJK, а проба была на английской паре.
|
||||
|
||||
**3в. ВАХТА D39.92 ИСПОЛНЕНА ПОВТОРНО 2026-08-10 (полигон, фаза Д; $0, `curl` HTTP 200).**
|
||||
Таблица маппинга 3а на `guides/thinking_mode` **побайтно та же** (снята разбором ячеек `<td>`:
|
||||
`low`→low/high · `high`→high/high · `xhigh`→high/**max** · `max`→max/max), и сноска (3)
|
||||
|
|
|
|||
|
|
@ -10,6 +10,7 @@
|
|||
> | **ДЕНЬГИ: связка против всего остального, один прайс, одна единица** | **Д41** |
|
||||
> | **что корпус знал, а фаза Д не использовала** (⚠ правит Д38 и Д41) | **Д42** |
|
||||
> | ⛔ **реестр потерянного: что фаза запланировала и растеряла между планами** | **Д43** |
|
||||
> | ручка размышления у `deepseek-v4-pro`: доходит ли · ⛔ почему замер её величины не куплен | **Д46** |
|
||||
> | статус метавопроса «консистентность на всю книгу» и цена его закрытия | **Д38.3**, **Д38.6** |
|
||||
> | что закрыто и что осталось по плану 22.08 | **Д38.4** |
|
||||
> | вес всего ролевого промта в единицах прибора | **Д36** |
|
||||
|
|
@ -6183,7 +6184,7 @@ n = 16 английских единиц = 7.89 главы Гу · k = 5 арм
|
|||
* **Находка 1 (декой) — диспозиция за приёмкой**, не за сессией. От неё зависит, считать ли Шаг 4
|
||||
закрытым по букве или по цели.
|
||||
* **Находка 11** — пометы «контраст условный» на телах Д23/Д24 не поставлены.
|
||||
* `docs/PROGRESS.md:671`=`ЖИВОЙ ДЕФЕКТ ДВИЖКА` — шапка пинга №19 теперь ложна дважды (дефект
|
||||
* `docs/PROGRESS.md:673`=`ЖИВОЙ ДЕФЕКТ ДВИЖКА` — шапка пинга №19 теперь ложна дважды (дефект
|
||||
движка закрыт 28.08; терялся промт, а не глоссарий) и баннера не имеет. **Чужая зона, пинг дан.**
|
||||
|
||||
---
|
||||
|
|
@ -6817,3 +6818,265 @@ RL reasoning_tokens: 511 · 512 · 512 · 512 · 1005 · 1022 · 1023 · 1024
|
|||
остановит прогон сам, если не уложится. ⇒ **два решения, оба за владельцем: (1) брать ли пачку при
|
||||
результате «эффект есть, но вдвое, а не на порядок»; (2) если брать — что делать при срабатывании
|
||||
гарда на последних клетках.** Потолок сессией не поднимается.
|
||||
|
||||
⚠ **ПОПРАВКА Д46 (30.08, после пере-чтения пре-рега):** развилка переформулирована, и у неё
|
||||
появилась рекомендация — **пятнадцать клеток не покупать**, потому что дизайн Д45 конфаундирован
|
||||
дрейфом, а ни один неконфаундированный дизайн в оставшиеся деньги не влезает. Смета «$0.18–0.25»
|
||||
уточнена до **$0.169** (считана не по цене худшей главы, а по доле цены на пробной клетке). См. Д46.
|
||||
|
||||
---
|
||||
|
||||
## Д46 — ЧТО ОДНА КЛЕТКА ОТДАЛА БЕСПЛАТНО, И ПОЧЕМУ ПЯТНАДЦАТЬ ОСТАЛЬНЫХ ОТВЕТА НЕ ДАЛИ БЫ
|
||||
|
||||
### Д46.1 ⭐ УЛИКА ЗА $0: ПАРАМЕТР ДОХОДИТ ДО МОДЕЛИ, И ЭТО ВИДНО ВО ВХОДНЫХ ТОКЕНАХ
|
||||
|
||||
При **побайтно одинаковых** `messages` провайдер вернул **разные** `prompt_tokens`:
|
||||
|
||||
| арм | `reasoning_effort` | `prompt_tokens` | `cached_tokens` |
|
||||
|---|---|---|---|
|
||||
| `RN` | не слался | **3 270** | 2 688 |
|
||||
| `RNL` | `low` | **3 191** | 0 |
|
||||
|
||||
**−79 токенов на входе.** Ни один из них не наш: наши сообщения совпадают до байта.
|
||||
|
||||
**Цепь, каждое звено снято исполнением, а не памятью:**
|
||||
1. **промт побайтно один** — `rol.rol_msgs('en', src, 'RN')` и `…'RNL'` дают sha256 `51e7f427940cae15`
|
||||
у обоих армов (три сообщения 7525 · 310 · 1675 знаков);
|
||||
2. **тело вызова различается ровно одним полем** — `call_kwargs` (`eval/dovodka/rol.py:668-706`,
|
||||
дописывание уровня — строка 701)
|
||||
берёт общий ростер и добавляет только `reasoning_effort`; модель, `max_tokens=32000`,
|
||||
`temperature` — общие;
|
||||
3. **исходник главы тот же** — манифест единиц приколот, и чтение никогда не переотбирает:
|
||||
при смене текста uid меняется, приколотый исчезает из пересчитанных кандидатов и **покупка
|
||||
останавливается** (`eval/role_topology/pair_en.py:132-157`). Покупка 30.08 прошла ⇒ текст не менялся.
|
||||
⚠ Это не рассуждение, а гейт, который обязан был сработать и не сработал;
|
||||
4. **шаблон промта не менялся** — `onepass-core.md` последний раз тронут **20.08**, за день до
|
||||
покупки `RN`; пар-блоки и бриф с 20.08 не менялись вовсе (`git log --since=2026-08-20`, пусто);
|
||||
5. **кэш это не объясняет** — две клетки `RN` с `cached_tokens=0` не смещены вниз: остатки от линии
|
||||
`pt = 0.23332·знаки + 1041.7`, построенной по 14 кэшированным, у них **−31.8** и **+10.4** при
|
||||
фактическом разбросе остатков **от −29.5 до +44.0**. У `RNL` остаток **−69.6** — ниже любой
|
||||
клетки `RN`, но ⚠ всего на ~38 токенов ниже нижнего края, при хвосте +44 с другой стороны:
|
||||
регрессия — подпорка, а не несущая улика. Несущая — прямое сравнение на ОДНОЙ главе (−79).
|
||||
|
||||
**ДВА контроля детерминизма, и второй нашёлся бесплатно при адверсариальном проходе.**
|
||||
1. **Замер 05.08** — тот самый, у которого отозвано звено про величину: при побайтно одинаковых
|
||||
`messages` дефолт и `low` вернули **одинаковые 2124**, а `xhigh` — 2203 (квирк-бюллетень §3б,
|
||||
строка «серверная реакция»). Провайдер **повторяет `prompt_tokens` в точности, когда параметр не
|
||||
действует**. ⚠ Границу назвать честно: это ДРУГОЙ промт и ДРУГАЯ роль, и снят он ДО того, как
|
||||
вендор поменял сервинг, — значит он доказывает детерминизм счётчика внутри прежней эпохи.
|
||||
2. ⭐ **Пред-полётные пробы самого рига закрывают и межэпохальную дыру.** `dv-n-probe-deepseek-v4-pro-1…4`
|
||||
— один и тот же тривиальный запрос без ручки: `prompt_tokens` = **84 · 84 · 84 · 84**, причём
|
||||
четвёртая куплена **30.08 за две минуты до `RNL`** (её $0.000923 и составляют разницу между
|
||||
списанными $0.038276 и ценой клетки $0.037353). ⇒ **дефолтный счёт входа не сдвинулся ни на
|
||||
токен через смену сервинга** — значит −79 принадлежит параметру, а не эпохе.
|
||||
|
||||
⇒ 79 — реакция на параметр, а не разброс счётчика и не смена вендорского сервинга.
|
||||
|
||||
⚠ **Регулярность, которую я не берусь объяснять:** 2203 − 2124 = **79** (05.08, `xhigh` над
|
||||
дефолтом) и 3270 − 3191 = **79** (30.08, дефолт над `low`) — при совершенно разных промтах (2 124
|
||||
против 3 270 входных токенов) и разных ролях. Похоже на серверную вставку фиксированного размера,
|
||||
но это догадка; печатается как наблюдение, а не как клейм.
|
||||
|
||||
⇒ **Статус «`low` на `pro` — НЕ УСТАНОВЛЕНО» закрыт В ЧАСТИ «доходит ли»: ДОХОДИТ.** Вендор-дока
|
||||
(живая вахта 30.08) и поведение сошлись. **Величина среза размышления не установлена** — Д46.2.
|
||||
|
||||
### Д46.2 ⛔ ПРЕ-РЕГ Д45 КОНФАУНДИРОВАН — НО НЕ ТЕМ, ЧЕМ Я СНАЧАЛА НАПИСАЛ
|
||||
|
||||
Д45 сравнивает `RNL`, купленный **30.08**, с `RN`, купленным **21.08**: два блока, разнесённые на
|
||||
девять дней. Между ними лежит событие, которое в отчёте уже записано и которое я в первой редакции
|
||||
этой секции конфаундером НЕ НАЗВАЛ:
|
||||
|
||||
⛔ **НЕСУЩИЙ КОНФАУНД — ДОКУМЕНТИРОВАННАЯ СМЕНА ВЕНДОРСКОГО СЕРВИНГА.** Живая вахта 30.08 (Д44)
|
||||
показала, что DeepSeek переписал таблицу маппинга эффорта, и сделал это между двумя блоками. Кроме
|
||||
маппинга, вендор мог тронуть что угодно ещё — доказательства, что дефолтный путь остался тем же, у
|
||||
нас нет ни на единицу размышления. **Сравнение «арм 21.08 против арма 30.08» приписывает ручке всё,
|
||||
что вендор поменял за девять дней.** Это и есть та причина, по которой ответ нельзя получить
|
||||
дозакупкой одного арма.
|
||||
|
||||
⚠ **Дрейф — второй конфаунд, и он СЛАБЕЕ, чем я написал сначала.** §3б бюллетеня даёт шесть
|
||||
дефолтных розыгрышей одного запроса, монотонно РАСТУЩИХ (1952 → 9104 → 10818 → 11157 → 13421 →
|
||||
15720). Три уточнения, каждое против моей же первой формулировки:
|
||||
* **у дрейфа есть ЗНАК, и он работает против нуля, а не за него**: если бы тренд продолжился, дефолт
|
||||
30.08 думал бы БОЛЬШЕ 19 559, и наблюдённые ×2.52 были бы НИЖНЕЙ границей среза, а не артефактом;
|
||||
* **эпизодичность:** пред-полётные пробы того же рига на одном запросе дали 58 · 202 · 130 (до 22.08)
|
||||
и **196** (30.08) — значение 30.08 внутри старого диапазона. Улика слабая (вход тривиальный,
|
||||
n=4), но она есть, и она против «модель за девять дней стала думать иначе»;
|
||||
* ⛔ **а вот проверить дрейф ВНУТРИ блока `RN` нельзя вовсе, и это надо сказать прямо:** у всех 16
|
||||
клеток `RN` **один и тот же mtime** (переезд машины, Д35.2), поля времени в клетках нет ⇒ порядка
|
||||
вызовов не существует. Любая корреляция «номер вызова ↔ размышление» на этих данных построена на
|
||||
порядке, которого нет. ⚠ Ровно такую корреляцию (Spearman −0.08) принёс адверсариальный проход —
|
||||
**отклонена по этой причине**, см. Д46.6.
|
||||
|
||||
⛔ **Раздел Д45.3 «чего замер не закроет» не назвал НИ ОДНОГО из двух.** Там четыре границы (одна
|
||||
пара · средняя ступень · эхо · нужен П3). **Это дефект моей же пре-регистрации**, найденный
|
||||
пере-чтением уже после фриза `87dd124`. Печатаю против себя: фриз ценен тем, что делает такую
|
||||
находку видимой, а не тем, что делает дизайн правильным.
|
||||
|
||||
⇒ **Лечение у обоих конфаундов одно и то же: оба арма покупаются В ОДНОМ БЛОКЕ, вперемежку.**
|
||||
Тогда ни смена сервинга, ни дрейф не могут разойтись между армами. Цена такого дизайна — Д46.3.
|
||||
|
||||
### Д46.3 АРИФМЕТИКА: ОДИН НЕКОНФАУНДИРОВАННЫЙ ДИЗАЙН В ОСТАВШИЕСЯ ДЕНЬГИ ВСЁ-ТАКИ ВЛЕЗАЕТ
|
||||
|
||||
⚠⚠ **ЭТА ТАБЛИЦА — ВТОРАЯ РЕДАКЦИЯ. Первая утверждала «ни один неконфаундированный дизайн не
|
||||
влезает», и это было НЕВЕРНО:** я перебрал только полный набор, дорогую восьмёрку и четыре главы,
|
||||
пропустив дешёвую восьмёрку — при том, что бимодальность нашёл сам двумя абзацами выше. Поймано
|
||||
адверсариальным проходом (Д46.6). Заодно сметы пере-считаны честно: плоская доля «RNL = 0.4622 от
|
||||
RN» переносила отношение с САМОЙ ДУМАЮЩЕЙ главы на дешёвые, где цену задаёт вход, — ровно та
|
||||
операция, которую соседняя строка запрещает делать с ×2.52.
|
||||
|
||||
Свободно в ФД-N: **$0.2472** (потрачено 3.052781 при потолке 3.30). Основание сметы — не отношение,
|
||||
а **пин прайса** ($1.320 вход · $0.044 кэш · $3.96 выход за 1M) и по-клеточное сырьё: вход берётся
|
||||
фактический, выход = `completion − reasoning` плюс размышление, ужатое в 2.5245. **Вилка** — от
|
||||
«кэш прогрет» (2 688 токенов системного промта по кэш-цене) до «кэш холодный на каждой клетке».
|
||||
|
||||
Факты панели: 16 клеток `RN` стоили **$0.445438** (медиана ≈$0.01668, разброс $0.0032–$0.0808),
|
||||
размышление бимодально — восемь глав 466–931 токенов и восемь 5 804–19 559, и **89.8% денег панели
|
||||
лежит в дорогой восьмёрке**.
|
||||
|
||||
| дизайн | что покупает | цена (тёплый … холодный) | вердикт |
|
||||
|---|---|---|---|
|
||||
| **А — фриз Д45** | 15 `RNL`, сравнение с `RN` от 21.08 | $0.170 … **$0.221** | влезает, но **конфаундирован** (Д46.2). ⚠ Прежняя смета $0.169 была ниже обоих концов честной вилки |
|
||||
| **Б — интерливинг, все 16 глав** | 16 `RN'` + 16 `RNL` одним блоком | $0.643 … $0.753 | ⛔ не влезает |
|
||||
| **В — интерливинг, дорогая восьмёрка** | 8 + 8 | $0.565 … $0.620 | ⛔ не влезает |
|
||||
| **Г — интерливинг, гибрид 8 дешёвых + 3 дорогих** | 11 + 11 | $0.205 … **$0.280** | ⚠ холодный конец ВЫШЕ потолка ⇒ гард остановит на последних клетках |
|
||||
| ⭐ **Д — интерливинг, дешёвая восьмёрка** | 8 `RN'` + 8 `RNL` | **$0.078 … $0.133** | ✅ влезает с запасом ~2× даже по холодному концу; n=8 пар ⇒ минимальный двусторонний p знакового теста **0.0078** — значимость достижима по построению |
|
||||
|
||||
⇒ **Вывод меняется: неконфаундированный замер купить МОЖНО, и он вчетверо дешевле того, что было
|
||||
заморожено.** Но он покупает не всё:
|
||||
* ⭐ дизайн Д отвечает на вопрос **«режет ли ручка размышление»** чисто — оба арма в одном блоке;
|
||||
* ⛔ **он НЕ отвечает, сколько денег это экономит там, где деньги**: дешёвая восьмёрка — 10.2% цены
|
||||
панели. Дизайн В отвечал бы, но стоит вдвое больше свободных денег;
|
||||
* ⚠ **и «дешёвая глава» — не свойство главы, а исход одного розыгрыша.** Разброс размышления на
|
||||
побайтно одном входе у DeepSeek измерялся десятками раз (квирк п.2), так что `RN'` на «дешёвой»
|
||||
главе может сегодня думать вдесятеро больше вчерашнего. Вилка выше это и закладывает; страховка —
|
||||
проекционный гард кассы, а не оптимизм.
|
||||
|
||||
⛔ **РЕКОМЕНДАЦИЯ СЕССИИ, обе части:** (1) **пятнадцать клеток по фризу Д45 (дизайн А) не покупать**
|
||||
— они дадут число, которое нельзя приписать ручке; (2) если владелец хочет двигать вопрос дальше —
|
||||
**дизайн Д**, пре-регистрация в Д47. Решение о покупке — его.
|
||||
|
||||
### Д46.4 ЧТО ЭТИ ДЕНЬГИ КУПИЛИ БЫ, А ЧТО НЕТ
|
||||
|
||||
Даже чистый замер ВЕЛИЧИНЫ не отвечает на вопрос, ради которого ручка нужна:
|
||||
* **качество прозы при `low` не мерится счётным прибором** — вес ролевого промта лежит на прозе, не
|
||||
на браке (Д36), а ранговый П3 стоит 16 агент-сессий при свободных **14 из 200**;
|
||||
* **эхо-мина** на `low` у `pro` не мерена ни разу (квирк §3б, «Не бесплатно»); одна английская
|
||||
клетка с кириллицей 1.000 — не замер;
|
||||
* **переносимости на боевую пару нет**: на плотном ханьском входе размышление идёт ×7.8 (квирк п.7),
|
||||
и английские величины на zh не переносятся.
|
||||
|
||||
⇒ Вопрос уходит в пак, у которого есть и деньги на интерливинг, и сессии на ранг. Сюда записаны его
|
||||
**цена ($0.585 за дизайн В плюс 16 сессий) и дизайн**, чтобы следующий не начинал с нуля.
|
||||
|
||||
### Д46.5 БОЕВАЯ КОНФИГУРАЦИЯ НЕ ТРОНУТА — И ВОТ ПОЧЕМУ ЭТО НЕ ЛЕНЬ
|
||||
|
||||
`THINK["deepseek-v4-pro"] = ("none", "")` в `eval/tenant_panel/roster.py` **оставлено как есть**:
|
||||
ручка теперь доходит, но её цена в качестве и эхе не замерена, а менять боевую ступень редактора
|
||||
под неизмеренный риск — обмен с неизвестным курсом. **Правится только комментарий рядом:** он
|
||||
утверждал «ручка `low` признана НЕ УСТАНОВЛЕННОЙ ⇒ едем вендор-дефолтом», и первая половина этого
|
||||
с 30.08 неверна. Причина ехать дефолтом осталась, но она другая, и в коде должна стоять верная.
|
||||
Гейт чужого пака пере-снят после правки (`verify22.py`): расхождение то же единственное и то же
|
||||
самое — граница двойной оплаты, считаемая по mtime, которые обнулил переезд (Д39.2 / R71).
|
||||
|
||||
### Д46.6 АДВЕРСАРИАЛЬНЫЙ ПРОХОД ПО ЭТОЙ ЖЕ СЕКЦИИ — ЧТО ОН СЛОМАЛ
|
||||
|
||||
Мандат самопроверки требует прохода по ГОТОВОЙ работе, а не самоотчёта. Один опровергатель
|
||||
`claude-fable-5`, мандат — **опровергать, подтверждать запрещено**; репозиторий read-only, платных
|
||||
вызовов ноль. Секция была ему отдана в первой редакции. Итог: **одно опровержение, три усиления,
|
||||
одна отклонённая находка.**
|
||||
|
||||
| что | вердикт | что сделано |
|
||||
|---|---|---|
|
||||
| «ни один неконфаундированный дизайн не влезает» (Д46.3) | ⛔ **ОПРОВЕРГНУТО**: пропущена дешёвая восьмёрка, где интерливинг стоит вчетверо меньше свободных денег и даёт n=8 | таблица пере-строена, вывод перевёрнут, добавлен дизайн Д и пре-рег Д47 |
|
||||
| смета по плоской доле 0.4622 | ⚠ **ОСЛАБЛЕНО**: отношение перенесено с самой думающей главы на дешёвые вопреки собственному запрету строкой выше | сметы пере-считаны из пина прайса по-клеточно, с вилкой тёплый/холодный кэш |
|
||||
| «дрейф ⇒ ответа не купить» (Д46.2) | ⚠ **ОСЛАБЛЕНО**: у дрейфа есть знак, и он работает против нуля; несущий конфаунд — не дрейф, а смена сервинга | Д46.2 переписана, конфаунды разведены и названы по силе |
|
||||
| межэпохальная стабильность счётчика входа (Д46.1) | ⚠ **дыра в цепи**: контроль 05.08 снят ДО смены сервинга | закрыта бесплатной уликой, которую проход и нашёл: пробы `84 · 84 · 84 · 84`, четвёртая — 30.08 |
|
||||
| «разброс остатков ±20–44» | ⚠ приукрашено | напечатан фактический разброс −29.5…+44.0 и оговорено, что регрессия — подпорка, а не несущая улика |
|
||||
| Spearman(порядок вызовов, размышление) = −0.08 внутри блока `RN` как довод «дрейфа нет» | ⛔ **ОТКЛОНЕНО МНОЙ** | у всех 16 клеток `RN` **один mtime** (переезд, Д35.2), поля времени в клетке нет ⇒ порядка вызовов не существует, и корреляция построена на нём. Находка отклонена, причина напечатана — Д46.2 |
|
||||
|
||||
⚠ **Секция исправлена НА МЕСТЕ, а не баннером поверх:** обе редакции написаны в одной сессии, ни
|
||||
одна не была закоммичена и ни один документ на первую не ссылался. Что именно было неверно — стоит
|
||||
в самой таблице выше и во врезке Д46.3, чтобы поправка не потерялась вместе с черновиком.
|
||||
|
||||
⚠ **И встречная мораль, ради которой это записано:** опровергателя нельзя принимать на слово так же,
|
||||
как нельзя принимать на слово себя. Из шести его пунктов пять улучшили секцию, а шестой был бы
|
||||
принят как «доказано, что дрейфа нет», если бы я не пошёл смотреть mtime.
|
||||
|
||||
---
|
||||
|
||||
## Д47 — ПРЕ-РЕГИСТРАЦИЯ ДИЗАЙНА Д: ИНТЕРЛИВИНГ В ОДНОМ БЛОКЕ. ⛔ НЕ КУПЛЕНО, ЖДЁТ СЛОВА ВЛАДЕЛЬЦА
|
||||
|
||||
⚠ **Пишется ДО единого платного вызова и замораживается коммитом.** Санкция владельца от 30.08
|
||||
(«по поводу дипсика — бери») относилась к дизайну Д45; здесь дизайн ДРУГОЙ (второй арм, другая
|
||||
выборка, другие деньги), и переносить санкцию на него я не вправе. **Покупка не начнётся, пока
|
||||
владелец не скажет по этому дизайну отдельно.**
|
||||
|
||||
### Д47.1 ВОПРОС, И ТОЛЬКО ОН
|
||||
|
||||
**Режет ли `reasoning_effort:"low"` размышление у `deepseek-v4-pro` — при устранённых конфаундах
|
||||
времени?** Не «на сколько процентов», не «стоит ли менять боевую ступень»: одна проверяемая вещь.
|
||||
|
||||
### Д47.2 ДИЗАЙН
|
||||
|
||||
* **Армы:** `RN2` (тот же `deepseek-v4-pro`, генерация 2, ручка НЕ шлётся = вендор-дефолт) против
|
||||
`RNL` (та же модель, `reasoning_effort:"low"`). Промт у обоих — тот же ролевой однопроходный,
|
||||
побайтно (`rol_msgs`, sha256 сверяется селфтестом перед покупкой).
|
||||
* **Главы — восемь, названы ЗДЕСЬ и не пере-выбираются:** `b065a92dc0` · `5a8f48d24a` ·
|
||||
`100b088f71` · `49ca859c94` · `8e50448cea` · `c3517980c7` · `3bd6481182` · `26c3bff1d4`.
|
||||
Это восемь глав с наименьшим размышлением у `RN` — **выбор объявлен ценой, а не результатом**:
|
||||
дорогая восьмёрка стоит $0.565–0.620 при свободных $0.2472.
|
||||
* **Порядок — ИНТЕРЛИВИНГ ПО ГЛАВЕ:** для каждой главы подряд `RN2`, затем `RNL`, и только потом
|
||||
следующая глава. Оба конфаунда Д46.2 (смена сервинга · дрейф) не могут разойтись между армами,
|
||||
потому что армы разделены минутами, а не днями.
|
||||
* **Прибор — сам `usage`,** ранговых чтений и агент-сессий не требуется (их 14 из 200, и они
|
||||
зарезервированы не сюда).
|
||||
|
||||
### Д47.3 ПРАВИЛО РЕШЕНИЯ — НАПИСАНО ДО ЧИСЕЛ
|
||||
|
||||
Первичный эндпойнт: **знаковый тест по восьми парам**, `reasoning_tokens(RNL) < reasoning_tokens(RN2)`,
|
||||
порог **α = 0.05 двусторонний**.
|
||||
|
||||
* **8 из 8** (p = 0.0078) ⇒ ⭐ **ручка режет; клейм «`low` действует на `pro`» установлен на английской
|
||||
паре.** Печатается медиана отношения — как ОПИСАНИЕ, не как перенос;
|
||||
* **7 из 8** (p = 0.070) ⇒ ⛔ **не значимо: «не установлено».** Это РЕЗУЛЬТАТ, а не повод докупать
|
||||
девятую главу — добор до значимости после взгляда на числа запрещён (D28, и на этом же сгорело
|
||||
звено (а) 05.08);
|
||||
* **≤ 6 из 8** ⇒ ручка на этом материале не режет.
|
||||
|
||||
⚠ **Слабость дизайна названа заранее, а не после:** при n=8 значимости достигает ТОЛЬКО единогласный
|
||||
исход. Это цена того, что дизайн влезает в оставшиеся деньги; поднимать n — значит поднимать потолок.
|
||||
|
||||
**Гейт годности каждой клетки** (падение = клетка не входит в счёт, и это печатается):
|
||||
`finish=stop` · доля кириллицы ≥ 0.99 · латиница-эхо = 0 · **`prompt_tokens(RN2) − prompt_tokens(RNL)`
|
||||
в диапазоне 60–100** — по-клеточная проверка того, что параметр вообще доехал (Д46.1: ожидается 79).
|
||||
|
||||
### Д47.4 ДЕНЬГИ И СТОП
|
||||
|
||||
Касса **ФД-N**, потолок **$3.30 не поднимается**, свободно **$0.2472**. Смета дизайна —
|
||||
**$0.078 (кэш прогрет) … $0.133 (кэш холодный на каждой клетке)**, то есть запас ~2× даже по худшему
|
||||
концу.
|
||||
|
||||
**Как именно защищены деньги — по коду, а не по намерению.** Гард `money.Guarded.afford()`
|
||||
(`eval/tenant_panel/money.py:149-159`) проверяется **перед КАЖДОЙ клеткой** и отказывает, когда
|
||||
`потрачено + ожидание > потолок`; ожидание для `deepseek-v4-pro` — $0.0214. ⇒ покупка идёт, пока
|
||||
фактический расход не дойдёт до ≈$0.226 сверх нынешнего, и **дизайн Д укладывается в это с запасом**.
|
||||
⚠ Отдельно: сводка `--dry` печатает «НЕ ВЛЕЗАЕТ» для ВСЕГО остатка замера ($1.03 на все незакрытые
|
||||
армы) — это планировщик, а не гард, и к дизайну Д он отношения не имеет. **Гард я не трогаю и не
|
||||
делаю точнее ради собственной покупки** — это ровно тот класс правки, который запрещён.
|
||||
|
||||
⛔ **Сверх гарда — своё стоп-правило:** отказ гарда на любой клетке = ОСТАНОВКА всего прогона и
|
||||
вопрос владельцу (так уже написано в `rol.buy`), а результат печатается по факту купленных пар,
|
||||
без добора до значимости.
|
||||
|
||||
### Д47.5 ЧЕГО ЭТОТ ЗАМЕР НЕ ЗАКРОЕТ — СПИСОК ПОЛНЫЙ
|
||||
|
||||
1. **Денег там, где деньги:** дешёвая восьмёрка — 10.2% цены панели; про дорогую моду он не скажет.
|
||||
2. **Качество прозы:** счётный прибор видит брак, а вес промта лежит на прозе (Д36); ранг стоит 16
|
||||
агент-сессий при свободных 14.
|
||||
3. **Эхо-мину:** проба на английской паре, а мина живёт на плотном CJK (квирк п.4).
|
||||
4. **Перенос на боевую пару zh:** размышление там идёт ×7.8 (квирк п.7) — величины не переносятся.
|
||||
5. **Среднюю ступень:** по живой таблице `medium`/`high`/`xhigh` схлопываются в `high`; меряются
|
||||
крайние две из трёх.
|
||||
|
||||
⇒ **Даже полный успех этого замера НЕ разрешает менять боевую ступень редактора.** Он двигает
|
||||
ровно одну клетку знания: «ручка режет» перестаёт быть вендорским заявлением и становится замером.
|
||||
|
|
|
|||
|
|
@ -57,6 +57,26 @@ workaround, который канон запрещает («ошибка тих
|
|||
но не на порядок, как ждал пре-рег. Эхо не пере-вооружилось (кириллица 1.000, латиницы 0).
|
||||
⚠ Денег на пачку впритык: свободно $0.247, оценка $0.18–0.56 (проба была ХУДШЕЙ главой панели).
|
||||
|
||||
⛔⛔ **ПОСЛЕ КОМПАКТА 30.08 ДОБАВЛЕНЫ СЕКЦИИ Д46 и Д47, И ОНИ МЕНЯЮТ ДИСПОЗИЦИЮ.**
|
||||
1. ⭐ **Бесплатная улика важнее купленной.** При побайтно одинаковых `messages` вызов без параметра
|
||||
дал `prompt_tokens` **3270**, с `low` — **3191**: **−79**, серверная реакция. Два контроля
|
||||
детерминизма: замер 05.08 (дефолт и `low` дали ОДИНАКОВЫЕ 2124) и пред-полётные пробы рига
|
||||
(`84 · 84 · 84 · 84`, четвёртая — 30.08, через смену сервинга). ⇒ **параметр ДОХОДИТ до модели**,
|
||||
и это стоило $0. Квирк-бюллетень: новая запись **3г**, статус закрыт в части «доходит ли».
|
||||
2. ⛔ **Пре-рег Д45 конфаундирован — и НЕ дрейфом, как я написал сначала, а СМЕНОЙ ВЕНДОРСКОГО
|
||||
СЕРВИНГА** между 21.08 и 30.08 (её же зафиксировала вахта Д44). Дрейф — второй и слабее: у него
|
||||
есть знак, и он работает против нуля. Лечение у обоих одно: **оба арма в ОДНОМ блоке, вперемежку**.
|
||||
3. ⭐ **Неконфаундированный замер КУПИТЬ МОЖНО, и он вчетверо дешевле замороженного** — дизайн Д:
|
||||
интерливинг `RN2` против `RNL` на восьми дешёвых главах, **$0.078–0.133** при свободных $0.2472,
|
||||
n=8, минимальный двусторонний p = 0.0078. Пре-регистрация — **Д47**, ⛔ **не куплено**.
|
||||
⇒ **Вопрос владельцу: запускать ли Д47.** Рекомендация: (а) пятнадцать клеток по фризу Д45 —
|
||||
**НЕ покупать** ни при каком ответе; (б) Д47 — по его слову. **Величина среза остаётся НЕ
|
||||
УСТАНОВЛЕННОЙ, и так и записана.**
|
||||
⚠ **Первая редакция Д46 утверждала «ни один неконфаундированный дизайн не влезает» — ЭТО БЫЛО
|
||||
НЕВЕРНО** (пропущена дешёвая восьмёрка). Сломал адверсариальный проход, разбор — Д46.6. Там же —
|
||||
единственная находка прохода, которую я ОТКЛОНИЛ (корреляция по порядку вызовов: у всех 16 клеток
|
||||
`RN` один mtime, порядка не существует).
|
||||
|
||||
**Зачем замер (одной фразой):** развести конфаунд Д44.6 — весь разрыв «`luna` дешевле якоря в 8.1×»
|
||||
снят с якоря, которому ручку размышления **не слали вовсе** (= вендор-дефолт `high`), против
|
||||
испытуемого на явном `low`. По норме Д28 это разные армы.
|
||||
|
|
@ -87,6 +107,10 @@ workaround, который канон запрещает («ошибка тих
|
|||
|
||||
## 3. ⛔ ОБЯЗАТЕЛЬСТВА И ВОПРОСЫ, ВИСЯЩИЕ НА ВЛАДЕЛЬЦЕ
|
||||
|
||||
0. **Ручка размышления: запускать ли Д47** — интерливинг на восьми дешёвых главах, $0.078–0.133,
|
||||
влезает в свободные $0.2472 без поднятия потолка. ⛔ Пятнадцать клеток по фризу Д45 не покупать
|
||||
ни при каком ответе. Если Д47 не запускается — фаза закрывается на «параметр доходит (замерено),
|
||||
величина среза не установлена (и записана как неустановленная)».
|
||||
1. **Диспозиция по декою (Д36.8а)** — считать Шаг 4 закрытым по цели или пере-собирать панель по букве.
|
||||
2. **Кап агент-сессий**: 186/200, ранговый эндпойнт Д45 требует 16.
|
||||
3. **Шаг 7 (~$2 + движковый прогон)** — единственный прибор под Вопрос 0; в резерв $1.26 не влезает.
|
||||
|
|
@ -113,7 +137,10 @@ workaround, который канон запрещает («ошибка тих
|
|||
eval/.venv/bin/python eval/dovodka/rol.py --selftest # ОБЯЗАТЕЛЕН перед покупкой
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --wire en --arm=RNL
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL --only=001e6ac4 # ← пробная клетка
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL # ← пачка, ТОЛЬКО после пробы
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --buy en RNL # ⛔ НЕ ЗАПУСКАТЬ НИКОГДА: дизайн А, конфаундирован
|
||||
# Д47, ТОЛЬКО по слову владельца — интерливинг по главе, пара за парой, восемь глав из Д47.2:
|
||||
# for u in b065a92dc0 5a8f48d24a 100b088f71 49ca859c94 8e50448cea c3517980c7 3bd6481182 26c3bff1d4; do
|
||||
# rol.py --buy en RN2 --only=$u && rol.py --buy en RNL --only=$u ; done
|
||||
eval/.venv/bin/python eval/dovodka/schet.py --report RNL RN RL # П2, $0
|
||||
eval/.venv/bin/python eval/dovodka/money_d.py --report | --selftest
|
||||
eval/.venv/bin/python eval/dovodka/runs.py --report
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue