diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index 31d995f9..680e5e55 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -4430,11 +4430,18 @@ $17.04 с реальным счётом DeepSeek может только он. меряет вендоров. `E6 ↔ Z0` даёт РОВНО НОЛЬ разницы средних мест. ⚠⚠ **И это надо сказать прямо: ранговый эндпойнт был объявлен ОПИСАТЕЛЬНЫМ ЗАРАНЕЕ (Д32.4), а -разрешился.** Априорная оценка «MDE≈2 места» экстраполирована с панели в 10–11 армов; здесь армов -ЧЕТЫРЕ, шкала короче, наблюдённый порог вышел 0.89–1.21 вместо 2.26–4.20. Ошибка в безопасную -сторону: заранее объявить прибор слепым и получить зрячий — это не подгонка. **Но ярлык остаётся -таким, каким объявлен**, и вывод печатается с оговоркой: панель мерила ЧЕТЫРЕ арма, и на панели из -одиннадцати тот же контраст мог бы не разрешиться. +разрешился.** Ошибка в безопасную сторону: заранее объявить прибор слепым и получить зрячий — это +не подгонка. **Но ярлык остаётся таким, каким объявлен**, и вывод печатается с оговоркой: панель +мерила ЧЕТЫРЕ арма, и на панели из одиннадцати тот же контраст мог бы не разрешиться. + +⛔⛔ **ЭРРАТА 23.08: ОБЪЯСНЕНИЕ, ПОЧЕМУ ПОРОГ ВЫШЕЛ НИЖЕ, БЫЛО НЕВЕРНЫМ.** Первая редакция писала: +«априорная оценка MDE≈2 экстраполирована с панели в 10–11 армов; здесь армов ЧЕТЫРЕ, шкала короче, +порог вышел 0.89–1.21 вместо 2.26–4.20». **Сравнивать эти пороги было НЕЛЬЗЯ: панели 2.26–4.20 +читал `claude-fable-5`, а панель-0 — `claude-opus-5`** (Д33.6). Число армов и семейство читателя +поменялись ОДНОВРЕМЕННО, и развести их нечем. Правильная формулировка: **порог панели-0 составил +0.89–1.21 места из четырёх, и с порогами прежних панелей он несопоставим ни по шкале, ни по +прибору.** Всё остальное в Д32.12 стоит на внутренних контрастах самой панели-0 и от этой эрраты +не зависит: `Z0`, `ZF`, `E6` и `RG` читал ОДИН и тот же прибор. ⚠ **Родство трёх армов из четырёх — конфаундер, названный в паспорте.** `Z0`, `ZF` и `E6` растут из ОДНОГО черновика и идут по побайтно одному промту; `RG` — единственный, кто черновика не видел. @@ -4688,3 +4695,197 @@ n = 16 английских единиц = 7.89 главы Гу · k = 4 арм **Вторые чтения Д33 идут именно этой обёрткой**, sha256: `15cfac60e1d62d3ffbfb30fc9ff3c33587fe9f4c56caf1b154eea347e2ec760e` + +### Д33.5 ⭐⭐ РЕЗУЛЬТАТ ВТОРОГО ЧТЕНИЯ `vendor2` (Шаг 2 закрыт) + +12 глав подвыборки, 12 новых читателей (сессии #115–#126, заняты `runs.py --claim` ДО запуска, +закрыты после), обёртка `reader-wrapper.md` sha256 `15cfac60…`, пакеты не тронуты. Ответы первого +круга лежат в `r1/` (15 файлов, хеши сверены после переноса — все 15 OK), второго — в `r2/` (12). +**Аудит слепоты круга 2: 154 191 знак ответов, упоминаний вендоров, моделей и слова «однопроходка» — +НОЛЬ.** + +**(i) СОГЛАСИЕ ПОРЯДКОВ — прибор воспроизводит себя хорошо.** + +Спирмен между кругами по главе (10 армов): медиана **+0.84**, среднее +0.78, разброс от **+0.38** +до **+0.95**. Худшие главы — `eefdade2` (+0.38) и `b065a92d` (+0.55); лучшие — `f2274720` (+0.95) +и `d3237e1d` (+0.94). + +**(iii) ⭐ РАЗЛОЖЕНИЕ ПОРОГА — И ЭТО ГЛАВНОЕ ЧИСЛО ШАГА.** + +По 45 парам армов, разложение `Var(D1) = σ²_текста + σ²_читателя`, `σ²_читателя = Var(D1−D2)/2`: + +``` +МЕДИАННАЯ ДОЛЯ ЧИТАТЕЛЯ В ПОРОГЕ = 0.27 (среднее 0.33; пар с долей ≥1.0: 0 из 45) +``` + +⇒ **Примерно четверть нашего порога — шум чтения, три четверти — текст.** Это ЛУЧШЕ, чем можно было +опасаться: «неразличимо» на этой панели означает «армы близки», а не «прибор слеп». Худшие пары — +`RGT−ZF` (0.38), `RL−ZF` (0.33), `RGT−Z0` (0.30); лучшие — `RET−RGT` (0.10) и `RK−RN` (0.11). + +⚠ **Чего это число НЕ говорит.** Оно про ШУМ одного читательского семейства, и молчит про ВКУС: +ось ВЕРНОСТИ у владельца разошлась с прибором радикально (Д30, Шаг 8). Согласие двух чтений +`fable-5` — это согласие прибора с самим собой. + +**(ii) ПЕРЕ-СЧЁТ КОНТРАСТОВ И ПЕРЕВЁРНУТЫЕ ВЕРДИКТЫ. Якорь `RN`, конъюнкция (порог И p<0.05).** + +| арм | круг 1, 15 глав (опубликовано) | круг 1, те же 12 глав | круг 2, те же 12 глав | +|---|---|---|---| +| `Z0` | +0.40 · 3.17 · p=0.607 | +1.33 · 3.33 · p=0.146 | +1.42 · 3.58 · p=0.388 | +| `ZF` | +0.67 · 3.23 · p=1.000 | +1.25 · 3.00 · p=1.000 | +1.17 · 3.20 · p=0.774 | +| `REL` | +0.80 · 2.26 · p=0.302 | +0.67 · 2.34 · p=0.388 | +0.83 · 2.57 · p=0.774 | +| `RET` | +1.07 · 2.74 · p=0.302 | +1.00 · 2.90 · p=0.388 | +0.17 · 2.89 · p=1.000 | +| `RGT` | +1.40 · 2.98 · p=0.607 | +1.83 · 3.23 · p=0.774 | +0.92 · 3.45 · p=0.774 | +| `RE` | +1.93 · 2.76 · **p=0.035** | +2.58 · 2.69 · **p=0.039** | +2.58 · **2.32** · p=0.146 | +| `RL` | +2.00 · 2.76 · p=0.119 | +1.83 · 3.16 · p=0.146 | +1.67 · 2.17 · **p=0.039** | +| `RK` | +3.40 · **3.30** · p=0.119 | +3.75 · 3.78 · p=0.146 | **+4.08 · 2.63 · p=0.039 → РАЗЛИЧИМ** | +| `RKT` | **+5.33 · 2.36 · p=0.001** | **+5.75 · 2.09 · p=0.0005** | **+5.50 · 2.02 · p=0.0005** | + +**ПЕРЕВЁРНУТЫХ ВЕРДИКТОВ: 1 из 9.** + +* ⛔ **`RK` (grok на `low`) — вердикт ЧИТАТЕЛЬСКИЙ, а не текстовый.** В круге 1 «в пределах», в + круге 2 «РАЗЛИЧИМ». По правилу, объявленному ДО чтения (Д33.2), такой вердикт **снимается из + живых**: он воспроизводится не текстом, а тем, кто читал. Публиковать «grok-low различимо хуже» + нельзя ни по одному кругу. +* ⭐ **(iv) `RKT` (grok на `high`) держится в ОБОИХ кругах** и с запасом: разрыв +5.75 и +5.50 при + порогах 2.09 и 2.02, знаковый p=0.0005 оба раза. Это единственный вендор-вердикт фазы, устоявший + под вторым чтением. +* ⚠ **`RE` и `RL` — «в пределах» в обоих кругах, но по РАЗНЫМ причинам, и это не устойчивость.** + У `RE` в круге 1 конъюнкцию рушит порог (2.58 против 2.69), в круге 2 — знаковый тест (p=0.146); + у `RL` ровно наоборот. Такие армы надо читать как «прибор не решил», а не как «не хуже». + +⚠ **И отдельная оговорка про ВЫБОРКУ, а не про читателя.** Пере-счёт круга 1 с 15 глав на 12 +двигает разрывы до **+0.93 места** (`Z0`: +0.40 → +1.33). То есть смена трёх глав из пятнадцати +стоит столько же, сколько смена читателя. Сравнение кругов от этого не страдает — оба идут на ОДНИХ +12 главах, — но всякий, кто сравнивает опубликованные числа с этими, обязан помнить, что часть +разницы куплена подвыборкой. + +⚠ **Провенанс-дыра круга 1 (Д33.4) в силе:** его обёртку запуска не хранит ни один артефакт, значит +в разницу кругов входит не только читатель. Оценить этот вклад нечем; направление неизвестно. + +--- + +## Д31 — ⭐⭐ ВЕРДИКТ ПО ВЕНДОРАМ. ПО КОНЪЮНКЦИИ И ПОСЛЕ ВТОРОГО ЧТЕНИЯ + +> ⚠ **Секция несёт номер Д31 по брони плана 22.08, но физически стоит после Д32–Д33** — печатать её +> до метрики (ii) второго чтения было запрещено тем же планом. Бронь исполнена, порядок нарушен +> намеренно и назван. + +**Правило вердикта, объявленное пре-регом Д17.4 и не менявшееся:** **конъюнкция** — разрыв больше +собственного порога панели **И** знаковый `p<0.05`. Якорь — `RN`, тот же промт-роль на +`deepseek-v4-pro`: иначе замер сравнивал бы вендоров с ДРУГОЙ архитектурой, а не промт с самим собой. +**Дополнительное условие, введённое планом:** вердикт, не воспроизведённый вторым чтением, +объявляется читательским и в живые не идёт. + +| вендор · конфигурация | разрыв с якорем | круг 1 | круг 2 | **ИТОГ** | +|---|---|---|---|---| +| `grok-4.3` · эффорт **high** (`RKT`) | +5.33 … +5.75 | РАЗЛИЧИМ p=0.001 | РАЗЛИЧИМ p=0.0005 | ⛔ **РАЗЛИЧИМО ХУЖЕ. Закрыт.** | +| `grok-4.3` · эффорт **low** (`RK`) | +3.40 … +4.08 | в пределах | РАЗЛИЧИМ p=0.039 | ⚠ **НЕ УСТАНОВЛЕНО** (вердикт перевернулся) | +| `gpt-5.6-luna` (`RL`) | +1.67 … +2.00 | в пределах | в пределах | в пределах порога | +| `gemini-3.1-flash-lite` · вендор-дефолт (`RE`) | +1.93 … +2.58 | в пределах | в пределах | в пределах, но **маргинален** | +| `gemini` · **low** (`REL`) | +0.67 … +0.83 | в пределах | в пределах | в пределах порога | +| `gemini` · **high** (`RET`) | +0.17 … +1.07 | в пределах | в пределах | в пределах порога | +| `glm-5` · размышление ВКЛ (`RGT`) | +0.92 … +1.83 | в пределах | в пределах | в пределах порога | +| `glm-5` · размышление ВЫКЛ (`RG`) | — | Д28.4: +2.61 к `RGT`, оба прибора согласны | панель-0 подтвердила на счётчике | ⛔ **различимо хуже** | + +### Д31.1 ⛔ ЧТО ЭТА СЕКЦИЯ ОТМЕНЯЕТ В УЖЕ СКАЗАННОМ + +**1. «grok на верхней ступени хуже, чем на нижней» — СНИМАЕТСЯ.** Это был пункт 3 сводки +консилиума («платим не за вендора, а за размышление — не закон»). Пере-счёт: + +| контраст `RKT−RK` | разрыв | порог | p | вердикт | +|---|---|---|---|---| +| круг 1, 15 глав (опубликовано) | +1.93 | **1.93** | 0.035 | РАЗЛИЧИМ — **на самой грани** | +| круг 1, те же 12 глав | +2.00 | 2.19 | 0.039 | в пределах | +| круг 2, те же 12 глав | +1.42 | 2.39 | 0.388 | в пределах | + +Вывод держался ровно на полной выборке и ровно на грани (ревью В3 предупреждало: «на шестой +значащей цифре»). Ни подвыборка, ни второй читатель его не воспроизводят. **Печатать «grok high +хуже grok low» больше нельзя.** + +**2. «gemini low не хуже high» — устояло как НОЛЬ, но у нуля неустойчив даже знак:** `RET−REL` +даёт +0.27 (15 глав), +0.33 (12 глав, круг 1) и **−0.67** (круг 2). Читать это как «ступень +неважна» нельзя; читать надо как «панель ступень не разрешает вовсе». + +⇒ **Честная общая формулировка вместо обеих:** ни один контраст СТУПЕНИ размышления в этой панели +не воспроизводится вторым чтением. Устойчиво различается только связка «вендор × конфигурация» +целиком против якоря, и то у одного арма из восьми. + +**3. Норма «вендор-дефолт как продуктовая конфигурация ЗАПРЕЩЁН» — в силе и укрепляется.** `RE` +(вендор-дефолт gemini) — единственный арм, который рушит конъюнкцию по РАЗНЫМ ногам в разных +кругах: в круге 1 не проходит порог, в круге 2 — знаковый тест. Конфигурация, про которую вендор +не пишет, чем она является, ведёт себя как случайная величина и в прод не идёт. + +### Д31.2 ЧТО ЭТО ЗНАЧИТ ДЛЯ РОСТЕРА + +* **Дефолт письма — `deepseek-v4-pro`** (якорь; ни один испытанный вендор его не обошёл). +* **`grok-4.3` в роли письма закрыт на `high`**; на `low` — НЕ УСТАНОВЛЕНО, направление устойчиво и + велико (+3.4…+4.1 места), но конъюнкция достигается в одном круге из двух. Брать его в прод + оснований нет; объявлять «не хуже» — тоже. +* **`glm-5` — запасной, и ТОЛЬКО с размышлением.** Без него различимо хуже двумя приборами. + ⚠ Цена: по замеренным токенам он **втрое-вчетверо дороже якоря** (Д30.8), полосой, а не точкой. +* **Дешёвая линия (`gemini` на явном `low`, `luna`) — по-прежнему КАНДИДАТЫ, не прод.** Из трёх + условий консилиума второе чтение теперь снято; **остаются два: цензур-ось не мерена и китайских + клеток нет ни одной.** До них «gemini за $9 на книгу» продуктово пусто. + +### Д31.3 ПАСПОРТ РАЗРЕШЕНИЯ ВЕНДОР-ВЕРДИКТА + +``` +ПАСПОРТ: прибор=ранговый · слепое чтение fable-5 · ДВА чтения · семейств 1 +n=15 ед (7.4 главы Гу) круг 1 · n=12 ед (5.9 главы Гу) оба круга · k=10 армов · якорь RN +пороги наблюдённые 2.0–3.8 места из 10 · правило: |Δ|>порог И знаковый p<0.05 И повтор во 2-м круге +ДОЛЯ ЧИТАТЕЛЯ В ПОРОГЕ = 0.27 (медиана по 45 парам; 0 пар с долей ≥1.0) +пол |Z0−ZF| = 2.67 места из 10 · парный разрыв −0.27 при пороге 2.59 — пол годен +грубого декоя в панели НЕТ — разрешение держится только на близнецах +СЛЕП К: ступеням размышления · цензуре · китайской паре · вкусу владельца (ось ВЕРНОСТИ, Д30) + · эффектам ниже ~2 мест из 10 +НЕ УРАВНЕНО: `temperature: 0.3` у Z.ai и xAI НЕ проверена вендором · обёртка круга 1 не сохранена +``` + +⚠ **И последнее, что обязано стоять рядом с любым вендор-фактом:** слаг ≠ модель. DeepSeek 31.07 +сменил веса под тем же слагом (D39.61). Любое число этой секции имеет срок годности, и при +аномалии сверяется поведенческой пробой, а не листингом. + +### Д33.6 ⛔⛔ ЧИТАТЕЛЬ ВТОРОГО КРУГА — ДРУГАЯ МОДЕЛЬ. НАЙДЕНО ВОПРОСОМ ВЛАДЕЛЬЦА 23.08 + +**Владелец спросил: «а у тебя опус агенты читают? до этого все главы вычитывали фабл-5». +Он прав, и это моя ошибка, а не подозрение.** + +**Что доказано, и чем.** Поле `model` в транскриптах суб-агентов этой сессии +(`.../subagents/workflows/*/agent-*.jsonl`): все 40 моих читателей — **`claude-opus-5`** +(панель-0: 16 агентов · второе чтение `vendor2`: 12 · второе чтение `arch2`: 12; иных значений в +файлах нет). Суб-агент наследует модель сессии, а я **не передал переопределения и не проверил, что +уехало.** + +**Чем читал круг 1.** `READERS-vendor.json`, `READERS-vendor2.json`, `READERS-zhpanel.json` несут +`"_модель": "fable-5, по одному агенту на главу"`; `READERS-arch2.json` несёт то же во вложенном +ключе `читатель.модель = "claude-fable-5"` вместе с основанием — решение владельца 20.08 «забьём на +Sol, отдадим всё судейство фаблу». Это САМО-ОБЪЯВЛЕНИЕ прошлой сессии: транскриптов её читателей на +диске не осталось, и независимо подтвердить его нечем. Оно согласовано по четырём панелям и +совпадает с записанным решением владельца, поэтому принимаю его как верное — и помечаю как +непроверяемое. + +⇒ **ВТОРОЕ ЧТЕНИЕ ЕСТЬ КРОСС-СЕМЕЙНОЕ, А НЕ ПОВТОР ОДНИМ ПРИБОРОМ.** + +### Д33.7 ЧТО ЭТО ЛОМАЕТ, А ЧТО — НАОБОРОТ, УСИЛИВАЕТ + +| утверждение | статус после находки | +|---|---| +| «доля ЧИТАТЕЛЯ в пороге = 0.27» (Д33.5, метрика iii) | ⛔ **ПЕРЕ-ИМЕНОВАНА.** Это доля **ПОЛНОЙ СМЕНЫ СЕМЕЙСТВА** `fable-5→opus-5`, а не шума одного прибора | +| «сколько в пороге от прибора» — заявленная цель Шага 2 | ⛔ **НЕ ДОСТИГНУТА.** Внутрисемейный разброс НЕ ЗАМЕРЕН; паспорт разрешения остаётся без своего числа | +| медиана Спирмена +0.84 между кругами | ⭐ **УСИЛИВАЕТСЯ.** Это согласие ДВУХ РАЗНЫХ семейств, требование более строгое, чем повтор одним | +| `RKT` различим в обоих кругах (p=0.001 и 0.0005) | ⭐ **УСИЛИВАЕТСЯ.** Вердикт переживает не только другого читателя, но и другую модель | +| `RK` перевернулся между кругами | ⭐ **УСИЛИВАЕТСЯ КАК СНЯТИЕ.** Вердикт, не переживший смену семейства, тем более не факт о тексте | +| «grok high хуже low» снято (Д31.1) | без изменений: оно не воспроизвелось уже на ПОДВЫБОРКЕ круга 1, то есть внутри одного семейства | +| ранги панели-0 (`E6↔RG` +1.12, p=0.0042) | ⚠ **устоит как замер `opus-5`**: все четыре арма панели-0 читал ОДИН прибор. Но с числами прежних панелей несопоставимо | +| сравнение порогов «0.89–1.21 против 2.26–4.20» в Д32.12 | ⛔ **ОТОЗВАНО** — семейство и число армов сменились одновременно | + +⛔ **И главный организационный вывод: норма «идентичность читателя в файл ДО запуска» у меня была +исполнена наполовину.** `runs.py --claim` записал имена судей и главы, но **не модель**, а +`READERS-*.json` для своих прогонов я вообще не завёл. Долг закрыт задним числом: `READERS-p0.json`, +`READERS-vendor2-r2.json`, `READERS-arch2-r2.json` записаны 23.08 и несут поле +**`модель_ДОКАЗАННАЯ`** — снятое из транскриптов, — рядом с честной пометкой «записано ПОСЛЕ +прогона». Заявление о намерении моделью не является: ровно этим болел круг 1, у которого проверить +уже нечего. + +⇒ **Требование к любому следующему чтению:** модель читателя задаётся ЯВНО при запуске и +подтверждается транскриптом ПОСЛЕ, а не объявляется словом. diff --git a/eval/dovodka/vtoroe.py b/eval/dovodka/vtoroe.py index ab65f351..d68d63c9 100644 --- a/eval/dovodka/vtoroe.py +++ b/eval/dovodka/vtoroe.py @@ -16,9 +16,22 @@ Доля близка к 1 — порог фазы есть почти чистый шум чтения, и «неразличимо» означает «прибор слеп». Доля близка к 0 — порог несёт текст, и «неразличимо» кое-что значит. -⛔ ЧЕГО ЭТОТ ПРИБОР НЕ МЕРИТ, И ЭТО ГЛАВНАЯ ОГОВОРКА: оба круга — ОДНО читательское семейство -(`fable-5`). Согласие двух его чтений говорит про ШУМ и молчит про ВКУС. Ось ВЕРНОСТИ у владельца -разошлась с прибором радикально (Д30), и второе чтение этого не трогает вовсе. +⛔⛔ ЧТО ИМЕННО РАЗДЕЛЯЕТ ЭТОТ ПРИБОР — ИСПРАВЛЕНО 23.08 ПО ВОПРОСУ ВЛАДЕЛЬЦА. Первая редакция этой +шапки утверждала «оба круга — ОДНО читательское семейство (`fable-5`)». **ЭТО БЫЛО НЕВЕРНО, и я +написал это НЕ ПРОВЕРИВ.** Круг 1 всех панелей записан как `claude-fable-5` (`READERS-*.json`, +решение владельца 20.08 «отдадим всё судейство фаблу»), а мои читатели ушли на **`claude-opus-5`**: +суб-агент наследует модель сессии, а я не передал переопределения. Доказано транскриптами +суб-агентов (`agent-*.jsonl`, поле `model`), а не записью о намерении. + +⇒ `E_r` в разложении ниже есть НЕ читательский шум ОДНОГО семейства, а **цена ПОЛНОЙ СМЕНЫ +семейства** `fable-5 → opus-5`. Это не мусор и по-своему сильнее: два РАЗНЫХ семейства, сошедшихся +на медиане Спирмена +0.84, — более требовательная проверка, чем повтор одним и тем же. Но +объявленной метрики «сколько в пороге ОТ ПРИБОРА» это НЕ даёт: внутрисемейный разброс остаётся +НЕ ЗАМЕРЕННЫМ, и паспорт разрешения по-прежнему без своего числа. + +⚠ И прежняя оговорка в силе, только сильнее: согласие двух МАШИННЫХ семейств всё равно молчит про +ВКУС. Ось ВЕРНОСТИ у владельца разошлась с прибором радикально (Д30) — второе чтение этого не +трогает вовсе. ⚠ И вторая: обёртку запуска ПЕРВОГО круга не хранит ни один артефакт (Д33.4). Значит в разницу кругов входит не только читатель, но и неизвестная разница обёрток. Направление вклада неизвестно.