diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index ecbbe1ec..f718ef66 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -6707,3 +6707,78 @@ RL reasoning_tokens: 511 · 512 · 512 · 512 · 1005 · 1022 · 1023 · 1024 восьмикратная экономия на дорогой роли). ⚠ Перед покупкой — эхо-проба: `low` на DeepSeek пере-вооружает эхо-мину, и на китайской паре это уже наблюдалось. + +--- + +## Д45 — ⭐ ЯКОРЬ НА НИЖНЕЙ СТУПЕНИ: РАЗВЕДЕНИЕ КОНФАУНДА «ВЕНДОР ПРОТИВ СТУПЕНИ». ПРЕ-РЕГ, ЗАПИСАН ДО ПОКУПКИ + +**Санкция владельца 30.08, дословно: «Да, по поводу дипсика — бери».** Заказ — замер, названный в +Д44.6: единственное, что разводит восьмикратный разрыв «`luna` против якоря» на долю ВЕНДОРА и долю +СТУПЕНИ размышления. + +**Почему он стал возможен ровно сейчас.** До 30.08 такого арма построить было НЕЛЬЗЯ: вендор-таблица +маппила `low` → `high` у `deepseek-v4-pro`, то есть нижней ступени у якоря не существовало. Живая +вахта D39.92, пере-снятая 30.08 (`curl` HTTP 200, sha256 `f28c4324…`), показала новую редакцию — +*«identical for `deepseek-v4-flash` and `deepseek-v4-pro`»*, `low → low` (Д44.5). +⛔ **Это ДОКА, а не поведение. Настоящая поведенческая проба — сам этот арм**, и он же первый её +потребитель. + +### Д45.0 СОСТАВ И ЧТО ИМЕННО МЕНЯЕТСЯ + +**Арм `RNL`** = `deepseek-v4-pro` · **промт побайтно тот же, что у `RN`** (в реестре `CUT` арма нет, +значит ядро не режется ни на строку) · **`reasoning_effort: "low"` ЯВНО** · те же **16 английских +глав**, те же, что у `RN` и `RL`. Тег `dv-n-rnl-*`, касса **ФД-N**. + +``` +единственный варьируемый фактор: RN → ручка НЕ шлётся вовсе (= вендор-дефолт high) + RNL → reasoning_effort: "low" +``` + +### Д45.1 ⛔ ПОРЯДОК ПОКУПКИ: ОДНА КЛЕТКА, ПОТОМ РЕШЕНИЕ, ПОТОМ ПАЧКА + +1. `rol.py --wire en --arm=RNL` — что уходит по проводу, печатается и читается вслух. +2. **Покупается ОДНА клетка — глава `001e6ac4eb`.** Выбрана не случайно: у `RN` на ней + **19 559 токенов размышления, самая дорогая клетка панели**. Если ручка работает, здесь это + видно сильнее всего; если не работает — тоже. +3. **ПРАВИЛО РЕШЕНИЯ, ОБЪЯВЛЕНО ДО ЧИСЕЛ:** + * `reasoning_tokens` **< 5 000** (вчетверо ниже 19 559) ⇒ **ручка РАБОТАЕТ**, покупаю остальные 15; + * `reasoning_tokens` **≥ 10 000** ⇒ **ручка НЕ работает**, СТОП, пятнадцать клеток не покупаются, + и **вендор-дока объявляется расходящейся с поведением** — пинг в квирк-бюллетень; + * **5 000–10 000** ⇒ тоже **СТОП и вопрос владельцу**: эффект есть, но не тот, что обещан + вендором, и решать, платить ли за него, не сессии. +4. Гейт годности клетки прежний: `finish=stop` · непустой `content` · доля кириллицы · + длина против медианы панели. + +### Д45.2 ЭНДПОЙНТЫ, ОБЪЯВЛЕННЫЕ ДО ЧИСЕЛ + +* **П1 — НЕСУЩИЙ, детерминированный, $0 после покупки.** Попарно по 16 главам: `reasoning_tokens` и + цена `RNL` против `RN`, знаковый тест. **Это и есть ответ на вопрос «сколько из 8.1× принадлежит + ступени».** Разложение печатается тремя числами: `RN` (высокая ступень) · `RNL` (низкая) · + `RL` (луна на низкой) — и разрыв «луна против якоря» пере-считывается ПРИ УРАВНЕННЫХ СТУПЕНЯХ. +* **П2 — качество по классу А, детерминированный, $0.** `schet.py` на четырёх замороженных классах + (род · язык · приём · банк), `RNL` против `RN` и `RL`. Эталон для этих 16 глав уже снят вслепую + по исходнику и заморожен `bedc39a` — прибор достаётся даром. +* **П3 — ранговый (слепое чтение).** ⛔ **ОБЪЯВЛЯЮ ЗАРАНЕЕ: в этой сессии НЕ СНИМАЕТСЯ.** Он стоит + 16 агент-сессий, а свободно **14 из 200** (израсходовано 186). Кап — слово владельца от 20.08, + и поднимать его решением сессии запрещено. ⇒ панель будет собрана и передана, либо владелец + поднимет кап. **Это названо ДО покупки, а не после, чтобы «купили и не прочли» не повторилось.** + +### Д45.3 ЧЕГО ЗАМЕР НЕ ЗАКРОЕТ + +* **Одна пара (en) и одна модель.** Разгон размышления у DeepSeek привязан к плотному ханьскому + входу (квирк-бюллетень п.7: zh требует ×7.8 против en) ⇒ **на китайской паре величины будут + другими, и переносить их нельзя.** +* **Средняя ступень не мерится:** по живой таблице `medium`, `high` и `xhigh` все маппятся в `high`, + то есть реально различимых ступеней три — `low`, `high`, `max`. Мы меряем крайние две из трёх. +* ⚠ **`low` у DeepSeek ПЕРЕ-ВООРУЖАЕТ ЭХО-МИНУ** (квирк-бюллетень п.4: 1 чистый китайский выход из + 16 базовых вызовов; «reasoning-off + плотный CJK-вход = зона эха»). На английской паре эхо у + `RN` было 0/16, но **эхо-гейт по выходу обязан быть снят и напечатан**, а не подразумеваться. +* **Вердикт о качестве при уравненных ступенях будет неполон без П3** — счётный прибор видит брак, + не прозу, а весь вес промта, как показал Шаг 4, лежит именно на прозе. + +### Д45.4 ДЕНЬГИ + +Касса **ФД-N**: потрачено $3.014505 при потолке $3.30, **свободно $0.285**. Смета при работающей +ручке — **~$0.16 на 16 клеток** (вход 3 250 ток. × $1.32/1M + выход ~1 500 ток. × $3.96/1M). +⛔ **Потолок сессией НЕ поднимается.** Если ручка не сработает и клетка поедет на `high`, проекционный +гард кассы остановит покупку сам — именно для этого порядок «одна клетка, потом пачка» и выбран. diff --git a/eval/dovodka/rol.py b/eval/dovodka/rol.py index e611f198..be9845bd 100644 --- a/eval/dovodka/rol.py +++ b/eval/dovodka/rol.py @@ -149,7 +149,16 @@ ARMS = {"RN": ("deepseek-v4-pro", 1), "RN2": ("deepseek-v4-pro", 2), "REL": ("gemini-3.1-flash-lite", 1), # ступень `low` — сопоставима с grok-дефолтом "RA": ("deepseek-v4-pro", 1), # тот же промт, ВОССТАНОВЛЕННЫЕ абзацы исходника "RC": ("deepseek-v4-pro", 1), # промт МИНУС рамка оценки, см. CUT - "RB": ("deepseek-v4-pro", 1)} # рамка оценки ПЕРЕВЁРНУТА: брак = чужой язык + "RB": ("deepseek-v4-pro", 1), # рамка оценки ПЕРЕВЁРНУТА: брак = чужой язык + # ⚠ АРМ ЗАВЕДЁН 30.08 ПО САНКЦИИ ВЛАДЕЛЬЦА («по поводу дипсика — бери»). Это `RN` побайтно + # тем же промтом, но с ЯВНОЙ нижней ступенью размышления. Смысл — развести конфаунд Д44.6: + # весь замеренный разрыв «луна против якоря» (8.1× по медиане) снят с якоря, которому ручку + # НЕ СЛАЛИ ВОВСЕ (= вендор-дефолт `high`), против испытуемого на явном `low`. По норме Д28 + # это разные армы, и часть разрыва принадлежит СТУПЕНИ, а не вендору. + # ⛔ До 30.08 такой арм был НЕВОЗМОЖЕН: вендор-таблица маппила `low`→`high` у `pro`. Живая + # вахта 30.08 (`curl`, sha256 f28c4324…) показала новую редакцию — «identical for flash and + # pro», `low`→`low`. Это ДОКА; арм и есть её поведенческая проба. + "RNL": ("deepseek-v4-pro", 1)} # тот же промт, ступень размышления `low` ЯВНО RESTORE_ARMS = ("RA",) # ⚠ РЕЗАНЫЕ ВАРИАНТЫ ПРОМТА. Замер `RN` дал ТРИ независимых показания одного сдвига: размышление @@ -612,6 +621,7 @@ def arm_text(p: str, arm: str, uid: str) -> str: # норма Д28.3 расширена ревью — уровень называется ЗНАЧЕНИЕМ, а не наличием. THINK_LEVEL: dict = { "RN": None, "RN2": None, "RC": None, "RB": None, "RA": None, # dspro: вендор-дефолт high + "RNL": "low", # ⚠ тот же dspro с ЯВНЫМ `low` — контраст ступени против `RN` (Д45) "RG": "off", # glm-5 с НАШИМ подавлением — оставлен намеренно, он и есть контраст "RGT": "vendor", # тот же glm-5 без нашего подавления "RK": "low", # grok на вендор-дефолте — ровно так и куплен, теперь это НАПИСАНО