diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index 9899c336..52cbd7c0 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -5409,3 +5409,156 @@ p≈0.077, при 13 — p≈0.021, то есть **для вывода нужн 4. `runs.py --claim p4 en ` ДО запуска каждого читателя; модель — параметром запуска. 5. Аудит транскриптов ПОСЛЕ: поле `model` у всех 16 агентов обязано быть `claude-fable-5`. 6. `READERS-p4.json` пишется **ДО** прогона (долг Д33.6 закрывается по норме, а не задним числом). + +### Д36.8 ⭐⭐ РЕЗУЛЬТАТ ШАГА 4. ПРИБОР РАЗРЕШАЕТ ПРОМТ — И ЭТО ЕГО ПЕРВАЯ ШКАЛА + +16 глав, 16 новых сессий #155–#170, **модель читателя задана ЯВНО и сверена ПОСЛЕ прогона по +транскриптам: 16 транскриптов, 136 записей поля `model`, ВСЕ `claude-fable-5`, иных значений нет.** +Аудит слепоты по вызовам инструментов: читатели открывали ТОЛЬКО свой пакет и свой файл ответа; +обращений к ключам, сырью, чужим каталогам и суффиксу карантина — **ноль**; каждый пакет упомянут +ровно в ОДНОМ транскрипте (перекрёстного чтения нет). Сборка: 80 текстов побайтно против клеток, +16 разных раскладок, побайтно совпадающих армов нет. + +| арм | ср. место (из 5) | места по главам | +|---|---|---| +| `ZF` | **2.00** | 3 1 2 5 1 1 2 1 1 1 2 1 1 3 2 5 | +| `Z0` | **2.25** | 1 4 3 2 2 2 4 5 2 2 1 2 2 2 1 1 | +| `RE` | **2.81** | 2 3 1 1 4 3 1 2 5 4 4 3 4 1 3 4 | +| `ZD` (декой) | **3.62** | 4 5 4 4 3 4 3 4 3 3 3 4 3 4 5 2 | +| `RQ` | **4.31** | 5 2 5 3 5 5 5 3 4 5 5 5 5 5 4 3 | + +**КОНТРОЛИ ЧИТАЮТСЯ ПЕРВЫМИ.** +* **Пол** — близнецы `Z0`/`ZF` расходятся на **+0.25 места при пороге 1.43**, p=0.4545: НЕразличимы, + как и обязаны. +* **Декой** — `ZD` (голый черновик) в нижней половине **15 глав из 16** и различимо хуже ОБЕИХ + половин боевой связки (`Z0↔ZD` +1.38 при пороге 0.85, p=0.0042; `ZF↔ZD` −1.62 при 1.16, p=0.0042). + ⇒ **панель разрешает**, и это сказано ДО того, как читать испытуемого. + +**Полная матрица контрастов** (парный знаковый, порог = 2.8·sd/√n по собственному полу панели): + +| контраст | разрыв | порог | p | вердикт | +|---|---|---|---|---| +| `Z0 ↔ ZF` (пол) | +0.25 | 1.43 | 0.4545 | пол годен | +| `Z0 ↔ RE` | +0.56 | 1.42 | 0.4545 | в пределах | +| `ZF ↔ RE` | −0.81 | 1.51 | 0.4545 | в пределах | +| `ZD ↔ RE` | −0.81 | 1.24 | 0.4545 | в пределах | +| `ZD ↔ RQ` | +0.69 | 0.98 | 0.0768 | в пределах (на грани) | +| `Z0 ↔ ZD` | +1.38 | 0.85 | **0.0042** | **РАЗЛИЧИМ** (декой) | +| `ZF ↔ ZD` | −1.62 | 1.16 | **0.0042** | **РАЗЛИЧИМ** (декой) | +| **`RE ↔ RQ`** | **+1.50** | **1.13** | **0.0213** | ⭐ **РАЗЛИЧИМ — первичный эндпойнт** | +| `Z0 ↔ RQ` | +2.06 | 1.22 | **0.0042** | РАЗЛИЧИМ | +| `ZF ↔ RQ` | +2.31 | 1.30 | **0.0042** | РАЗЛИЧИМ | + +⭐ **ПЕРВИЧНЫЙ ЭНДПОЙНТ ИСПОЛНЕН РОВНО ТАК, КАК ОБЪЯВЛЕН.** Пре-рег Д36.4 требовал «не менее +13 глав из 16 в одну сторону»: получено **13 из 16** (`RQ` хуже `RE` в 13 главах, лучше в 3, связок +нет), знаковый p=0.0213, и разрыв 1.50 больше собственного порога 1.13 — **конъюнкция пройдена**. + +⇒ По правилу, объявленному ДО чисел: **у рангового прибора ЕСТЬ разрешение на промт-инженерном +материале.** Худший исход («знака нет») не наступил — и хорошо, потому что он снёс бы подписи под +всей дугой Д21–Д25. + +### Д36.9 ⭐⭐ ШКАЛА, РАДИ КОТОРОЙ ШАГ И ДЕЛАЛСЯ + +Разрывы этой панели переведены в **доли собственного порога** — только так они сопоставимы с +панелями другой длины (у `p4` шкала из 5 мест, у `arch2` из 11): + +``` +удалить ВЕСЬ ролевой промт (RE↔RQ) 1.50 / 1.13 = 1.33 порога +удалить дорогую стадию (Z0↔ZD) 1.38 / 0.85 = 1.62 порога +то же на панели arch2 (Z0↔ZD) 4.12 / 2.39 = 1.72 порога (круг 1) + 4.92 / 2.10 = 2.34 порога (круг 2) +вся середина архитектур (arch2) < 1.00 порога В ОБОИХ КРУГАХ И ОБОИХ СЕМЕЙСТВАХ +``` + +⇒ **Прибор фазы разводит эффекты величиной 1.3–2.3 собственных порога и не разводит ничего ниже +одного.** А значит каждое «неразличимо» этой фазы теперь имеет размер, а не только знак: + +> **всё, что фаза назвала неразличимым, меньше, чем разница между текстом с полным ролевым промтом +> и текстом вообще без него.** + +Это и есть ответ Шага 4 в той форме, в какой его заказывал план: **вес всего промта в единицах +прибора**. И он оказался соизмерим с весом целой дорогой стадии — удаление промта стоит 1.33 +порога, удаление дорогой модели 1.62–2.34. + +### Д36.10 ⭐⭐ И ГЛАВНОЕ: ПРОМТ ПОКУПАЕТ ПРОЗУ, А НЕ БРАК. ДВА ПРИБОРА РАСХОДЯТСЯ ОСМЫСЛЕННО + +Счётный прибор (детекторы и эталон заморожены с 22.08, не тронуты) на той же панели: + +| класс | `RQ` | `RE` | `Z0` | `ZF` | `ZD` | +|---|---|---|---|---|---| +| род | 1/16 | 0/16 | 0/16 | 0/16 | 0/16 | +| язык | 1/16 | 0/16 | 0/16 | 0/16 | 2/16 | +| приём | 0/16 | 0/16 | 1/16 | 0/16 | 1/16 | +| **банк** | **4/16** | 8/16 | 7/16 | 6/16 | **12/16** | +| **глав с ≥1 фаталом** | **6/16** | 8/16 | 8/16 | 6/16 | **13/16** | + +* **Первичное правило счётчика: `RQ − RE` = −2 главы, 6 глав с разницей, 4 из них в пользу `RQ`, + p=0.6875 — НЕ РАЗЛИЧИМО.** То есть по классу А (брак) снятие ролевого промта не ухудшает ничего. +* **Декой счётчик тоже ловит** (`RQ↔ZD` p=0.0156 по первичному, `ZF↔ZD` p=0.0156; по числу фаталов + все четыре контраста против `ZD` p≤0.0063) ⇒ **счётчик на этой панели не слеп**, и «RQ ≈ RE» + не есть его слепота. + +⇒ **Ролевой промт весом 2 436 токенов покупает ПРОЗУ и не покупает БРАК.** Ранговый прибор, +который читает прозу, разводит его различимо; счётный, который считает фаталы, — нет. + +⭐ **И это смыкается с минимаксом владельца, добавляя к нему третий член.** Консилиум записал: +«по браку несут ГЕЙТЫ, по прозе — РОСТЕР». Замер добавляет: **по прозе несёт ещё и ПРОМТ, и его +вес того же порядка, что вес дорогой стадии.** + +**КЛАСС Б — «читается откровенно машинным», разобрано ГЛАЗАМИ по строкам, а не грепом** +(греп дал 39 строк-кандидатов, из них ложных — из-за перекрёстных ссылок читателей между +вариантами — оказалось больше трети; каждая строка разобрана вручную, приписка сделана по метке, +НАЗВАННОЙ В САМОМ ПРЕДЛОЖЕНИИ, а не по секции, в которой оно стоит): + +``` +RQ 9/16 глав RE 0/16 ZF 0/16 Z0 1/16 ZD 2–3/16 +парно RQ против RE: 9 глав различия, ВСЕ в одну сторону, знаковый p=0.0039 +``` + +⇒ **Текст без ролевого промта читатель называет машинным в каждой ВТОРОЙ главе; тот же текст с +промтом — НИ РАЗУ.** Это третий прибор, и он согласен с ранговым. +⚠ Метка сравнительная (читателя просят назвать худших ВНУТРИ панели), поэтому абсолютную норму +класса Б она по-прежнему не грунтует — см. Д32.12 и долг Шага 5.1. + +### Д36.11 ⛔ ПРЕДСКАЗАНИЕ Д36.6 СБЫЛОСЬ НАПОЛОВИНУ, И ВТОРАЯ ПОЛОВИНА ПРОВАЛИЛАСЬ + +Пре-рег предсказал три вещи. Печатаю все три, включая провал. + +| предсказано ДО чисел | факт | вердикт | +|---|---|---| +| по классу «банк» `RQ` и `RE` **близки** (глоссарий доехал до обоих) | `RQ` 4 попадания против 10 у `RE`; 5 глав различия, ВСЕ в пользу `RQ`, p=0.0625 | ⚠ **формально держится** (p>0.05), но направление ЕДИНОГЛАСНО и противоположно наивному ожиданию | +| класс «язык» **разойдётся** (мандат «выведи ТОЛЬКО перевод», правила французского слоя — в промте) | `RQ` 1, `RE` 0, `ZD` 2 — класс не разводит никого | ⛔ **НЕ СБЫЛОСЬ** | +| класс «приём» — **ноль различия** (о типографике промт молчит) | `RQ` 0, `RE` 0 | ✔ сбылось (тривиально: класс применим к одной главе) | + +**Что делать с единогласным «банком» — и чего НЕ делать.** Он НЕ опровергает Д35.3, а подтверждает +её с другой стороны: `RQ` держит банк **лучше всех пяти армов**, а без доехавшего глоссария он +выглядел бы как `ZD` (12/16 глав с потерей канона). Механизм, который единственный мог дать ему +такой результат, — тот самый глоссарий, оставшийся последним системным сообщением. +⇒ **Гипотеза, НЕ вердикт (p=0.0625): 2 436 токенов ролевого промта РАЗБАВЛЯЮТ 130 токенов +глоссария.** Проверяется дёшево — тем же вызовом с глоссарием в начале и в конце склейки; в этой +фазе не проверялась и вердиктом не объявляется. + +⛔ **Провал предсказания по классу «язык» назван прямо:** правила промта о выходе и о французском +слое НЕ дали измеримой разницы. Модель без всякой инструкции выдала русский текст без английских +кусков. ⇒ **«язык» как класс держится не промтом, а самой моделью** — и норма класса А по этой оси +не должна опираться на текст инструкции. + +### Д36.12 ПАСПОРТ РАЗРЕШЕНИЯ ПАНЕЛИ `p4` + +``` +ПАСПОРТ: приборов ТРИ · ранговый (слепое чтение claude-fable-5, 1 чтение/глава, семейств 1, + модель ДОКАЗАНА транскриптами) + счётный (детерминированный, эталон по исходнику, + заморожен 22.08) + класс Б (сравнительная метка «машинный», разобрана глазами) +n = 16 английских единиц = 7.89 главы Гу · k = 5 армов · тег p4 · клетки ФД-N, ФД-B, ФД-J +пол |Z0−ZF| = 1.75 места из 5 · парный разрыв +0.25 при пороге 1.43 — пол годен +ГРУБЫЙ ДЕКОЙ ЕСТЬ (ZD): различим против обеих половин связки, p=0.0042 — панель разрешает +правило: |Δ| > собственного порога И знаковый p<0.05 +СЛЕП К: эффектам ниже ~1 порога · кросс-главной консистентности · оси ВЕРНОСТИ владельца + · абсолютному уровню класса Б +НЕ УРАВНЕНО: RQ/RE — один вендор, Z0/ZF/ZD — другой · потолки вывода · уровень размышления + gemini НЕ УСТАНОВЛЕН вендором · объём инструкции у RQ в 5.7 раза меньше (играет ЗА него) +ОДИН КРУГ: внутрисемейного повтора у панели нет — как и у всех панелей фазы +``` + +⇒ **Шаг 4 плана 22.08 ЗАКРЫТ.** Известен вес всего ролевого промта в единицах прибора, и известно, +на какой оси он лежит.