From d96e502e80499a0144e0c6e7ab5b42b063ec26b1 Mon Sep 17 00:00:00 2001 From: heaven Date: Sun, 30 Aug 2026 12:10:12 +0300 Subject: [PATCH] Correct how the luna price gap was quoted: an empty cell sat in the denominator and the ratio is bimodal, so decompose it into price and thinking volume --- docs/PROGRESS.md | 2 +- docs/experiments/23-editor-tier.md | 53 ++++++++++++++++++++++++++++-- 2 files changed, 51 insertions(+), 4 deletions(-) diff --git a/docs/PROGRESS.md b/docs/PROGRESS.md index c55326ce..96fa80a7 100644 --- a/docs/PROGRESS.md +++ b/docs/PROGRESS.md @@ -621,7 +621,7 @@ * ⭐⭐ **30.08, Д47 ЗАПУЩЕН ПО САНКЦИИ ВЛАДЕЛЬЦА И ОСТАНОВЛЕН ГАРДОМ ПОСЛЕ ПЕРВОЙ ПАРЫ — А КУПЛЕННОЕ ОКАЗАЛОСЬ ЦЕННЕЕ ЭНДПОЙНТА (Д47.6).** Списано **$0.134804**, ФД-N 3.187585 из 3.30, потолок НЕ поднимался. **Побайтно один промт, одна глава `b065a92dc0`, `reasoning_effort` не слался НИ РАЗУ: 21.08 модель думала 466 токенов, 30.08 — 17 757. ×38.** ⚠⚠ **ПОПРАВЛЕНО В ТОТ ЖЕ ДЕНЬ ПО ВОПРОСУ ВЛАДЕЛЬЦА (Д47.7): подавать ×38 как ЗАМЕРЕННЫЙ СДВИГ ВО ВРЕМЕНИ было нельзя** — это разность двух ОДИНОЧНЫХ розыгрышей у модели с большим разбросом. По лучшей имеющейся оценке (sd логарифма 0.82 ⇒ одно sd = ×2.3, шесть групп «тот же тег, разные розыгрыши», 18 вызовов, судейская роль) ×38 — это ≈3.1 sd: **редко, но возможно ⇒ причина НЕ УСТАНОВЛЕНА**, обе гипотезы живы, а чистых повторов одного промта на роли `onepass` в корпусе НЕТ ни одного. ⛔ **И первый заход к этой оценке был бы десятой ошибкой дня:** я сгруппировал вызовы по «модель·глава·роль», получил 100 групп и «разброс ×11» — а группы смешивают армы `RN`/`RC`/`RB` с РАЗНЫМИ промтами (на `27cb3a7e69`: 7 061 · 498 · 18 043), то есть мерили разницу инструкций, а не розыгрыша. ⇒ **Устояло то, что важнее причины: сравнивать одиночные розыгрыши нельзя ни при какой гипотезе — это осуждает и дизайн А, и МОЙ дизайн Д.** ⭐ Побочно Клейм 1 подтверждён на БОЕВОМ промте: `prompt_tokens` = **3256 и 21.08, и 30.08** (через девять дней и смену сервинга), а `low` двигает их ровно на **−79**; гейт провенанса пройден (Δpt=79, кириллица 1.000, латиница 0). **Эндпойнт по правилу: внутри блока ручка дала ×1.40** (меньше ×2.52, полученных через девять дней — конфаунд эффект РАЗДУВАЛ), годных пар 1 из 8, знаковый тест p=1.0 ⇒ ⛔ **«НЕ УСТАНОВЛЕНО»**, добор глав после чисел запрещён. Носитель — `eval/dovodka/stupen.py`, написан ДО прихода клеток, селфтест стережёт, что порог достижим только единогласием. ⛔ **Смета ошиблась на порядок, и это моя восьмая ошибка того же класса:** $0.078–0.133 объявлялись ценой ВОСЬМИ пар, одна пара стоила $0.1348 — **я оценил опыт по той самой базе, нестабильность которой опыт и должен был показать**. ⭐ **Цена ответов теперь СЧИТАЕТСЯ, а не угадывается (Д47.8):** при sd логарифма 0.82 парный дизайн ловит эффект ×2.5 за 13 пар (≈$1.1), ×2.0 за 22 (≈$1.8), ×1.4 за 93 (≈$7.6); отдельный дешёвый вопрос «модель сдвинулась или это кости» — четыре повтора без ручки на той же главе, **≈$0.31**. ⛔ **Но приоритет не здесь:** ручка даёт ×1.4–2.5, а рядом стоит рычаг ×7–11 — смена модели на `gpt-5.6-luna` (поглавно медиана ×7.1, по сумме ×11.4) — и он упирается НЕ в деньги, а в кап агент-сессий (нужно 16, свободно 14). Тратить доллары на ручку прежде, чем порядковый рычаг прочитан по КАЧЕСТВУ, — плохая экономика. ⚠ Операционное для чужих циклов: отказ гарда возвращает код 1, но в ФОНОВОМ shell `set -e` цикл не остановил — семь итераций вхолостую, $0. -* ⭐⭐ **30.08, ПАНЕЛЬ `luna1` ПРОЧИТАНА ВСЛЕПУЮ ПО САНКЦИИ ВЛАДЕЛЬЦА («Да, давай подниму кап»), $0 (Д48).** Кап 200 → 215, израсходовано 201. Читались ЧЕТЫРЕ арма на 15 главах (16-я выпала: клетка `RN` не прошла гейт годности, пропуск напечатан): однопроходка на `deepseek-v4-pro` · **та же однопроходка на `gpt-5.6-luna`** · боевая связка · **её вторая генерация как собственный шум прибора**. ⛔ **Сначала поправка к моему же предложению:** развилка владельца от 17.08 — про ЧЕРНОВУЮ роль, а её приз пере-считан в Д42.1 как **6%, а не разы** (редактор съедает 85% связки) ⇒ читать «луну как черновик» значило бы потратить кап на шестипроцентный рычаг; читался порядковый (×7–11). **Результат: средние места `Z0` 2.33 · `ZF` 2.33 · `RN` 2.53 · `RL` 2.80; близнецы расходятся на +0.00 при пороге 1.06 (прибор без смещения), якорь↔`RN` +0.20 при пороге 1.30 (p=0.79), якорь↔`RL` +0.47 при пороге 1.26 (p=0.58), очно `RL` против `Z0` — 6:9.** ⇒ ⭐ **дешёвая луна НЕ ОТЛИЧИМА по качеству ни от дорогого дипсика, ни от связки.** ⚠ Но: разрешение прибора грубое — два прогона ОДНОГО конвейера расходятся на **1.33 места из 4**, то есть разрыв луны это треть собственного шума; направление, хоть и незначимое, **против** луны; панель не трогает банк/консистентность на всю книгу, цензур-ось жанра и перенос на zh. ⛔ **Это ПЕРВЫЙ круг, вердикта ещё нет — правило конъюнкции требует повтора.** Дисциплина: ключ закоммичен ДО ответов, обёртка — замороженный `15cfac60`, модель читателей сверена ИСПОЛНЕНИЕМ (во всех 15 транскриптах `claude-fable-5`). ⛔ **Второй круг упирался в ОДНУ сессию — моя арифметическая ошибка при подъёме капа** (осталось 14, нужно 15); резать панель до 14 глав решением сессии запрещено. ⭐⭐ **ВТОРОЙ КРУГ ПРОЙДЕН (кап 215 → 220 по слову владельца, Д48.5): вывод ПОВТОРИЛСЯ, конъюнкция закрыта.** Средние места круг 1 → круг 2: `Z0` 2.33 → 2.20 · `ZF` 2.33 → 2.53 · `RN` 2.53 → 2.60 · `RL` **2.80 → 2.67**; якорь↔`RL` +0.47 (порог 1.26, p=0.58) → **+0.30** (порог 1.11, p=0.77), то есть отставание луны во втором круге даже СОКРАТИЛОСЬ. Круги разведены по норме рига (ответы первого унесены в `krug1/`, второй писал по ТЕМ ЖЕ пакетам; свод первого из подкаталога воспроизвёл прежние числа до сотой); модель всех 30 читателей сверена по транскриптам. ⚠ Регистратор отработал как сторож: пере-заявить те же главы отказался, пока сессии первого круга не закрыты (`ГОНКА СЕССИЙ`). ⇒ **однопроходка на `gpt-5.6-luna` неотличима по качеству от однопроходки на `deepseek-v4-pro` и от боевой связки на 30 слепых чтениях**, при цене ниже в 7.1× по медиане и 11.4× по сумме. ⛔ Переключение — решение владельца, и перед ним стоит незакрытый гейт, названный им самим 16.08: у однопроходки нет черновика, из которого терминолог добывает свидетельства для банка (Д42.3). +* ⭐⭐ **30.08, ПАНЕЛЬ `luna1` ПРОЧИТАНА ВСЛЕПУЮ ПО САНКЦИИ ВЛАДЕЛЬЦА («Да, давай подниму кап»), $0 (Д48).** Кап 200 → 215, израсходовано 201. Читались ЧЕТЫРЕ арма на 15 главах (16-я выпала: клетка `RN` не прошла гейт годности, пропуск напечатан): однопроходка на `deepseek-v4-pro` · **та же однопроходка на `gpt-5.6-luna`** · боевая связка · **её вторая генерация как собственный шум прибора**. ⛔ **Сначала поправка к моему же предложению:** развилка владельца от 17.08 — про ЧЕРНОВУЮ роль, а её приз пере-считан в Д42.1 как **6%, а не разы** (редактор съедает 85% связки) ⇒ читать «луну как черновик» значило бы потратить кап на шестипроцентный рычаг; читался порядковый (×7–11). **Результат: средние места `Z0` 2.33 · `ZF` 2.33 · `RN` 2.53 · `RL` 2.80; близнецы расходятся на +0.00 при пороге 1.06 (прибор без смещения), якорь↔`RN` +0.20 при пороге 1.30 (p=0.79), якорь↔`RL` +0.47 при пороге 1.26 (p=0.58), очно `RL` против `Z0` — 6:9.** ⇒ ⭐ **дешёвая луна НЕ ОТЛИЧИМА по качеству ни от дорогого дипсика, ни от связки.** ⚠ Но: разрешение прибора грубое — два прогона ОДНОГО конвейера расходятся на **1.33 места из 4**, то есть разрыв луны это треть собственного шума; направление, хоть и незначимое, **против** луны; панель не трогает банк/консистентность на всю книгу, цензур-ось жанра и перенос на zh. ⛔ **Это ПЕРВЫЙ круг, вердикта ещё нет — правило конъюнкции требует повтора.** Дисциплина: ключ закоммичен ДО ответов, обёртка — замороженный `15cfac60`, модель читателей сверена ИСПОЛНЕНИЕМ (во всех 15 транскриптах `claude-fable-5`). ⛔ **Второй круг упирался в ОДНУ сессию — моя арифметическая ошибка при подъёме капа** (осталось 14, нужно 15); резать панель до 14 глав решением сессии запрещено. ⭐⭐ **ВТОРОЙ КРУГ ПРОЙДЕН (кап 215 → 220 по слову владельца, Д48.5): вывод ПОВТОРИЛСЯ, конъюнкция закрыта.** Средние места круг 1 → круг 2: `Z0` 2.33 → 2.20 · `ZF` 2.33 → 2.53 · `RN` 2.53 → 2.60 · `RL` **2.80 → 2.67**; якорь↔`RL` +0.47 (порог 1.26, p=0.58) → **+0.30** (порог 1.11, p=0.77), то есть отставание луны во втором круге даже СОКРАТИЛОСЬ. Круги разведены по норме рига (ответы первого унесены в `krug1/`, второй писал по ТЕМ ЖЕ пакетам; свод первого из подкаталога воспроизвёл прежние числа до сотой); модель всех 30 читателей сверена по транскриптам. ⚠ Регистратор отработал как сторож: пере-заявить те же главы отказался, пока сессии первого круга не закрыты (`ГОНКА СЕССИЙ`). ⇒ **однопроходка на `gpt-5.6-luna` неотличима по качеству от однопроходки на `deepseek-v4-pro` и от боевой связки на 30 слепых чтениях**, при цене ниже — ⚠ **но число «7.1× по медиане» я подавал НЕВЕРНО, поправка в Д48.6 по вопросу владельца.** (1) В знаменатель попала ПУСТАЯ клетка дипсика (`100b088f71`, ноль знаков, та самая, что не прошла гейт годности): на 15 годных пар медиана **10.5×**, по сумме **12.0×**; побочно — непригодную клетку выдал дипсик, 1 из 16, у луны 0 из 16. (2) Тяжелее: **медиану тут вообще нельзя приводить — распределение ДВУГОРБОЕ** (восемь глав ≈2×, восемь ≈20×, посередине пусто), и она скачет 7.1 → 10.5 от выброса одной клетки. Честно: **от 1.3× до 34×, и величина следует за тем, сколько дипсик надумал**. (3) **Разложение:** 87% цены дипсика — размышление (разброс по главам ×42: 466–19 559), у луны 49% и ×3 (511–1 535); **контрфакт «дипсик думает как луна» даёт всего ×2.9** — это чистый прайс и накладные, остальное объём размышления. (4) ⚠ Конфаунд в силе: дипсик ехал без ручки (дефолт `high`), луна на явном `low`; ручка стоит ×1.40 (Д47.6) — сузит, но не закроет. (5) ⚠ Воспроизводимость самой луны **не мерена ни разу** (0 групп повторов на 749 вызовов), а её `reasoning_tokens` подозрительно кратны 512 — возможен блочный учёт, проверить до смет. ⛔ Переключение — решение владельца, и перед ним стоит незакрытый гейт, названный им самим 16.08: у однопроходки нет черновика, из которого терминолог добывает свидетельства для банка (Д42.3). **📌 ПИНГ ПОЛИГОНУ от оркестратора №19 (28.08, D39.164) — вендор-вердикт по Gemini для `docs/experiments/00-provider-quirks.md`.** Материал добыт бэкенд-сессией (curl по вендор-доке, не пересказ), но файл — ВАША зона, поэтому вписываете вы, а не я. Строка 157 сегодня diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index 903931bf..5cd93ad1 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -7289,8 +7289,55 @@ ln 38 = 3.64, то есть **примерно 3.1 sd — событие ред консистентность на всю книгу · цензур-ось жанра · перенос на zh · отсутствие грубого декоя) вторым кругом НЕ сняты — он проверял воспроизводимость, а не расширял охват. -⇒ **Что это значит для денег.** По поглавным ценам панели `luna` дешевле `deepseek` в **7.1× по -медиане и 11.4× по сумме**, а боевая связка дороже однопроходки ещё кратно (редактор — 85% её -цены, Д42.1). ⛔ **Решение о переключении — владельца**, и перед ним стоит один незакрытый гейт, +⇒ **Что это значит для денег — с разбором в Д48.6, потому что одним числом это подавать нельзя.** +Боевая связка дороже однопроходки ещё кратно (редактор — 85% её цены, Д42.1). ⛔ **Решение о переключении — владельца**, и перед ним стоит один незакрытый гейт, названный им же 16.08: у однопроходки нет черновика, из которого терминолог добывает свидетельства для банка (Д42.3). Замер качества этот гейт не отменяет и не трогает. + +### Д48.6 ⛔ «ЛУНА ДЕШЕВЛЕ В 7–11 РАЗ» — ЧИСЛО, КОТОРОЕ Я ПОДАВАЛ НЕВЕРНО. РАЗБОР + +Вопрос владельца — «дешевле по сравнению с ЧЕМ, и не из-за скачков ли токенов» — вскрыл в моей +подаче две ошибки сразу. + +**С чем сравнивалось.** `RL` (однопроходка `gpt-5.6-luna`, ручка `low`) против `RN` (та же +однопроходка **побайтно тем же промтом** на `deepseek-v4-pro`, **ручка не слалась** = вендор-дефолт +`high`), 16 глав, по одному вызову на клетку, куплены 21.08. + +⛔ **Ошибка первая: в знаменатель попала пустая клетка.** На главе `100b088f71` у `RN` **ноль знаков +выхода** — это та самая клетка, что не прошла гейт годности и выброшена из панели чтения. В цене +она осталась и тянула отношение вниз. **На 15 годных пар: медиана 10.5×, по сумме 12.0×** (было +«7.1× и 11.4×»). ⚠ Побочно это факт о надёжности: непригодную клетку выдал `deepseek` — 1 из 16; +у `luna` — 0 из 16. + +⛔ **Ошибка вторая, тяжелее: медиану тут вообще нельзя приводить — распределение ДВУГОРБОЕ.** +Поглавные отношения: 1.3 · 1.7 · 1.8 · 1.8 · 2.0 · 2.6 · 2.8 · 3.7 · **10.5 · 12.4 · 15.6 · 20.6 · +26.7 · 27.8 · 32.1 · 34.0**. Восемь глав дают «около двух», восемь — «около двадцати», и посередине +пусто. Медиана падает ровно в пустоту и потому скачет от 7.1 к 10.5 при выбросе ОДНОЙ клетки. +**Честная формулировка: от 1.3× до 34×, и величина целиком следует за тем, сколько дипсик надумал +на этой главе.** + +**Владелец угадал причину — да, это скачки размышления.** Разложение по прайсу +(`deepseek` вход $1.320 / выход $3.96 · `luna` вход $0.200 / выход $1.20 за 1M): + +| | `deepseek-v4-pro` | `gpt-5.6-luna` | +|---|---|---| +| доля цены, ушедшая в РАЗМЫШЛЕНИЕ | **87%** | 49% | +| размышление, медиана | **5 804** | 1 024 | +| размышление, разброс по главам | **466 – 19 559 (×42)** | **511 – 1 535 (×3)** | + +⇒ **Контрфакт: если бы дипсик думал СТОЛЬКО ЖЕ, сколько луна на той же главе, он был бы дороже +всего в ×2.9 (разброс 2.8–4.7)** — и это чистая разница прайса и накладных, она никуда не денется. +**Всё остальное, то есть от ×2.9 до наблюдённых ×10–34, — это объём размышления**, который у +дипсика гуляет ×42, а у луны стоит на месте. + +⚠ **И тут же конфаунд, который я обязан повторить: армы ехали на РАЗНЫХ ступенях.** Дипсик — без +ручки (вендор-дефолт `high`), луна — на явном `low`. Часть «дипсик думает больше» принадлежит +настройке, а не вендору. Замеренный внутри одного блока эффект ручки — ×1.40 (Д47.6), то есть +честная драка сузила бы разрыв, но не закрыла: ×2.9 прайсовых остаются при любой ступени. + +⚠ **Чего мы про луну не знаем:** её собственная воспроизводимость **не мерена ни разу** — в корпусе +749 её вызовов и **ноль** групп повторов одного и того же входа. Устойчивость 511–1535 снята +ПОПЕРЁК глав, а не по повторам одной; строго говоря, «луна стабильна» — пока гипотеза. +⚠ Настораживает и то, что её `reasoning_tokens` ложатся почти в кратные 512 (511 · 512 · 1005 · +1022 · 1023 · 1024 · 1535) — похоже на блочный учёт у провайдера, и это стоит проверить прежде, +чем строить на этих числах смету.