1222 lines
120 KiB
Markdown
1222 lines
120 KiB
Markdown
# 21. Топология ролей перевода: чем платим за второй проход и есть ли ему замена
|
||
|
||
**Полигон-сессия, вторая редакция 07.08.2026.** Исполнение `docs/POLYGON_ROLE_TOPOLOGY_SESSION_PROMPT.md`
|
||
(оркестратор №15, санкция владельца 06.08 D39.108; расширение и санкция на траты 07.08).
|
||
Зона: `eval/role_topology/` + этот файл + пинг в PROGRESS «Полигон».
|
||
|
||
> **СТАТУС: замер закончен, вторая редакция.** Первая редакция (06.08) снята целиком: её риг
|
||
> измерял ПОЗИЦИЮ варианта в промпте, а не качество арма (§3). Ниже — только текущее состояние.
|
||
> Пре-рег второй редакции зафризен коммитом `d472599` **до первой платной покупки**.
|
||
> Потрачено второй редакцией **$1.725652** (пак целиком, обе редакции — **$4.306626**);
|
||
> потолки второй редакции соблюдены, потолки ФАЗ из промта — нет (§2.7).
|
||
> Числа сверяются `eval/role_topology/verify_report.py` (в т.ч. блок `§ИТОГ`), несущие числа
|
||
> пере-считываются `eval/role_topology/itog.py`; ненулевой код возврата = отчёт не сдаётся.
|
||
|
||
---
|
||
|
||
> ### ⛔ ИНЦИДЕНТ 08.08, D39.113 — ЧТО ЗДЕСЬ ЗАМЕР, А ЧТО РЕКОНСТРУКЦИЯ
|
||
> 08.08 00:13 агент проверочной панели оркестратора выполнил `git checkout -- .` в реальном
|
||
> дереве, и разделы §11–§16 этого отчёта, написанные поверх последнего коммита, были утрачены.
|
||
> Они переписаны заново и расширены до §11–§18 (прибор · свод · инструменты · дрейф · роутинг ·
|
||
> деконфаунды · Ф2б · пост-хок аудиты).
|
||
> **Сырьё прогонов цело полностью** — 2039 файлов, git туда не заглядывает. Поэтому:
|
||
> * **ВСЕ ЧИСЛА НИЖЕ ПЕРЕ-СНЯТЫ ИЗ СЫРЬЯ ЗАНОВО** кодом из дерева и являются ЗАМЕРОМ, а не
|
||
> восстановлением по памяти. Они воспроизвелись до цифры.
|
||
> * **ТЕКСТ разделов §11–§18 переписан** и намеренно КОРОЧЕ утраченного: прежняя версия разрослась
|
||
> до 2039 строк, половина которых была хроникой ошибок, что нарушает норму владельца 04.08
|
||
> «итог и решения, механику — в журнал». Хроника кругов приёмки в восстановленную версию не
|
||
> переносится; её содержание — в `docs/PROGRESS.md`.
|
||
> * Утраченного, что нельзя пере-снять из сырья, **почти** нет: всё, что было в §11–§16, —
|
||
> производные от персистированных голосов и артефактов. Единственное исключение найдено
|
||
> аудитом 08.08 и помечено на месте: числа отборщиков §15 прежней редакции («43/91», «r=+0.06»)
|
||
> не воспроизводятся ни одним вариантом счёта — там напечатано то, что даёт `itog.py`.
|
||
|
||
## ИТОГ — вход для решения владельца
|
||
|
||
⚠ **Все zh-числа ПРЕДВАРИТЕЛЬНЫЕ до неконтаминированного среза.** Собственная проба пака оценивает
|
||
книгу как узнанную моделью 4/5 — наравне с положительным контролем. Внутреннюю валидность
|
||
сравнения армов между собой это не рушит (все армы видят один материал), перенос величин — рушит.
|
||
|
||
**1. Работает ТОПОЛОГИЯ, а не жилец.** Нога 2×2, посчитанная пост-хок аудитом из того же сырья:
|
||
|
||
```
|
||
A (дешёвый черновик + дорогой редактор) против черновика: +2.50 p=0.0001
|
||
B (то же, другой редактор) против черновика: +2.44 p<0.0001
|
||
D_ (дорогая модель, ОДИН проход) против черновика: +0.50 p=0.478
|
||
D (дорогая модель, один проход+мандат) против черновика: −0.81 p=0.255
|
||
```
|
||
|
||
Дорогая модель в один проход **неотличима от дешёвого черновика**; она же в позиции редактора
|
||
покупает +2.50. Это снимает объяснение «просто pro лучше flash». Оба несущих контраста переживают
|
||
Холма, удаление любых ДВУХ единиц (0/120), обе судейские популяции и кластеризацию по главе
|
||
источника.
|
||
|
||
**2. Прод-конфиг редактора — с закон-блоком.** Покрытие канона (228 упоминаний, 16 единиц):
|
||
|
||
```
|
||
F3 черновик 0.917 · A 0.566 · A_law 0.820 · B 0.899 · D 0.776 · D_ 0.851
|
||
```
|
||
|
||
`A` — единственный арм, ломающий терминологию черновика, который он правит. Качество при этом
|
||
неотличимо (−0.75, p=0.19), цена +5%. **Закон-блок в редакторский промт — условие, не опция.**
|
||
|
||
**3. Черновая модель важна не меньше топологии.** Тот же редактор над ДРУГИМ черновиком той же
|
||
длины: 7.66 ошибки против 5.91, хуже на 14 единицах из 16, p=0.0063 — это **70% заголовка +2.50**.
|
||
Экономить на черновой роли нельзя, и +2.50 непереносимо на другую черновую модель без пере-замера.
|
||
|
||
**4. Однопроходка с мандатом перевёрстки проигрывает связке:** `D/A` −3.31 [−4.47, −2.16],
|
||
Holm=0.0014. Вклад делится по осям (пул): ЯЗЫК −1.34, ФОРМА −1.09.
|
||
|
||
**5. Роутинг «платить только там, где нужно» строить НЕ НАДО.** Арм G берёт 25% выигрыша за 55%
|
||
цены — хуже случайного роутинга того же бюджета. Три независимых отборщика дали монетку:
|
||
механический (персентиль 46–51 из 1820 комбинаций, 91 связка), QE как судья (знак совпал 50/105),
|
||
а на самом крупном контрасте пака `A/F3` QE даёт r=**−0.32** — это АНТИкорреляция, а не слепота:
|
||
чем сильнее QE «за» редактуру, тем меньше её выигрыш по судье (§15). ⚠ Основание ЭКОНОМИЧЕСКОЕ; формулировка
|
||
«доказанный потолок» снята — потолок лечится числом единиц (n≈73–81), просто этого среза не хватает.
|
||
|
||
**6. Guarded APE со стражем на ДРУГОЙ величине вреден:** страж вырезал правки с выигрышем +4.25
|
||
при среднем +2.50, то есть лучшие (⚠ n=2 — вывод стоит на двух правках, §15). Если строить — страж обязан смотреть на ту же величину,
|
||
которую оптимизирует редактор.
|
||
|
||
**НЕ УСТАНОВЛЕНО.** Однопроходка БЕЗ мандата против связки: −2.00, Holm=0.063 — направление
|
||
воспроизвелось в обоих проходах, порог не пройден. Выбор движка: `A_law/B` −0.69, различимый
|
||
эффект оснастки ≈2 ошибки. Эффект закон-блока по судье: рубрика определяет ось ТЕРМИН как
|
||
ВНУТРИтекстовую согласованность и канона судье не даёт — прибор его не меряет (детерминированный
|
||
контур меряет, см. п.2).
|
||
|
||
**ШУМ.** Пере-прогон одного арма на одном входе даёт sd 2.67–2.96 по единице — больше разницы
|
||
между армами. На ОДНОЙ главе выбор арма не читается; упорядочено только среднее.
|
||
⚠ Разложение шума на судейскую и генерационную компоненты **НЕ УСТАНОВЛЕНО**: три способа счёта
|
||
из тех же данных дают «генерация больше» (1.48/1.34), «поровну» (1.43/1.40) и «судья больше»
|
||
(r=0.30 ⇒ 0.65), ни один не отличим от остальных при n=16.
|
||
|
||
**ДЕНЬГИ.** Пак **$5.15932**, включая армы Ф2б $0.10916 (§17); **$0.18831 оплачено за пустой
|
||
выход** (18 вызовов). Вне всех касс **$2.73199** — теги первой редакции, скрина и старых проб.
|
||
Цена черновой роли, пере-снятая на этих единицах: **$0.00107**/единицу. Экономика: связка
|
||
дороже однопроходки на +0.00096/единицу (11/16), но собственный точный тест даёт p=0.061 —
|
||
как УСТАНОВЛЕННЫЙ факт не держится. По токенам +114%, однако 68% разрыва — дешёвый и кэшированный
|
||
ВХОД; дорогой выход отличается на 55%.
|
||
|
||
**⚠ УЧЁТ НАРУШЕНИЙ ПРОЦЕДУРЫ.** $2.62283 (52% пака) сожжено на нарушении заказанного контроля
|
||
(раскладка судей 2:1 вместо зеркальной, первая редакция снята целиком). Потолки фаз пробиты без
|
||
слова владельца ДО фазы: Ф1 $1.07473/$1.00, Ф2а $3.78694/$2.50. Главный zh-замер сделан на
|
||
контаминированной книге вместо заказанного свежего среза, без пинга. Дисциплина фризов нарушена
|
||
дважды. Ф2б: армы C/E куплены на **$0.10916** (§17), расход ФАЗЫ с учётом старых проб `rp-*` — **$0.11819** из $3.00; ⚠ до этого фаза стояла на $0.00904, и гейт это ложное число СЕРТИФИЦИРОВАЛ — его глоб не покрывал тег покупок, третий случай того же класса.
|
||
|
||
**7. ТОЧЕЧНЫЙ РЕМОНТ ПО ФЛАГУ НЕ ЗАМЕНЯЕТ ПЕРЕПИСЫВАНИЕ (§17, вторая половина заказа).**
|
||
Армы C и E построены на текущей панели, отсужены тем же ригом и проиграли:
|
||
|
||
```
|
||
C2 vs A_law −3.75 [−4.81, −2.56] Holm 0.0006 ✔ ремонт значимо хуже переписывания
|
||
C2 vs F3 −0.94 [−2.19, +0.38] p=0.219 и не лучше черновика, который чинит
|
||
E2 vs D_ −1.38 [−2.06, −0.69] Holm 0.0139 ✔ обратная связка хуже своей базы
|
||
E2 vs A_law −2.06 [−3.50, −0.62] Holm 0.0443 ✔ и хуже ПРЯМОЙ связки — установлено
|
||
A_law vs F3 +2.81 [+1.44, +4.31] Holm 0.0098 ✔ КОНТРОЛЬ эффекта редактора
|
||
```
|
||
|
||
Контроль эффекта редактора воспроизвёлся во всех четырёх проходах, но величины принадлежат
|
||
РАЗНЫМ армам и панелям и в один ряд не ставятся: `A_law/F3` = +1.75 (пул abs+abs2) · +2.75 (abs3)
|
||
· +2.81 (abs4); +2.50 — это другой арм, `A/F3` без закон-блока. Прежняя формулировка «воспроизведён
|
||
трижды (+2.50/+2.75/+2.81)» сшивала несопоставимое и снята (§18).
|
||
|
||
⚠ **Гипотеза, которой закончился эксп-20 — «локальные ошибки чинятся точечно по флагу за
|
||
$0.0002» — при РЕАЛЬНОЙ детекции не подтвердилась.** Там она мерилась при идеальных флагах на
|
||
посаженных дефектах.
|
||
|
||
⚠ **Первый прогон был испорчен моей ошибкой и пере-снят.** Фиксер шёл БЕЗ банка терминов и
|
||
переписывал канон вслепую («истинную ци» → «первобытную энергию», «Гу» → «гу»), покрытие канона
|
||
падало 0.917 → 0.895. Это тот же дефект, что у редактора `A`, объявленный условием прод-конфига.
|
||
С банком: покрытие 0.925 — ремонт терминологию УЛУЧШАЕТ, — но контраст с переписыванием остался
|
||
(−4.12 → −3.75). Вывод не артефакт ошибки.
|
||
|
||
✔ **Чем точечный ремонт полезен:** он лучший МЕХАНИЧЕСКИЙ ГЕЙТ. Брак (иероглифы, разметка,
|
||
латиница, преамбула) — 5 клеток против 10 у переписывания и 23 у черновика, при половинной цене
|
||
($0.00298 против $0.00602). **Ставить его перед редактором, а не вместо него.**
|
||
|
||
**8. ДРЕЙФ НА СВЯЗНОМ ОТРЕЗКЕ — отзыв был СЛИШКОМ ШИРОКИМ, восстановлено.** Я отозвал §14
|
||
целиком, но негодной была только часть метрик (заказанный ШОВ в коде не считался, «рост словаря»
|
||
не мог сработать по построению). Валидная часть воспроизводится за $0 и несёт ДВА результата,
|
||
которых больше нигде в паке нет:
|
||
|
||
* **У связки есть отказной режим, которого у однопроходки нет по построению.** На десяти подряд
|
||
идущих главах черновик и обе редакторские связки покрыли **9 глав из 10**, однопроходка — 10:
|
||
без годного черновика редакторская нога не запускается вовсе, и ре-ген этого не лечит, потому
|
||
что эхо-мина воспроизводима на материале (глава 11 дала китайский исходник во всех трёх
|
||
попытках). Это **единственный довод ПРОТИВ связки во всём паке**.
|
||
* **Второе, независимое подтверждение того, что закон-блок обязателен:** на связном отрезке,
|
||
другом материале и другой единице анализа покрытие канона у редактора БЕЗ банка **0.53**
|
||
против **0.92** с банком. Пункт 2 ИТОГа стоял на одном оконном замере — теперь на двух.
|
||
|
||
⚠ Оговорка кода: армы состояния между главами не несут, банк подаётся каждой главе заново.
|
||
Значит измерен дрейф БЕЗ памяти — нижняя граница.
|
||
|
||
**ЧТО НЕ ИЗМЕРЕНО:** · ШОВ между чанками и рост банка на связном отрезке — эти две метрики
|
||
дрейфа негодны и отозваны (покрытие отрезка и канона восстановлены, см. п.8 и §14) · слепое
|
||
чтение владельца — единственный контур вне семейства сессии, $0, заказан промтом, ждёт владельца ·
|
||
пара en под абсолютным ригом · **неконтаминированный zh-срез** (Ф0.2): без него величины, но не
|
||
направления, непереносимы.
|
||
|
||
**⚠ CONFIRM/DENY ВЛАДЕЛЬЦУ — три пункта известны только со слов сессии, D-номера не имеют и до
|
||
подтверждения не ратифицируются:** санкция на траты 07.08 · амендмент «судья пака не покупается
|
||
за токены» (на нём стоят ВСЕ числа §11–§18) · правка требований к ригам (зеркальная раскладка
|
||
писалась под платного судью и на агента не переносится).
|
||
|
||
## §0 Пре-рег второй редакции (зафризен `d472599` до трат)
|
||
|
||
**Вопрос.** Какая топология целевая и кто жильцы ролей. Армы равноправны, «правильного ответа»
|
||
не существует, работа — замер.
|
||
|
||
**Материал.** Две пары, книги из `~/books` (в git не попадают; в отчёт печатаются только метрики).
|
||
|
||
| Пара | Книга | Контаминация (собственная проба) | Единиц |
|
||
|---|---|---|---|
|
||
| zh→ru | 蛊真人 (gu-zhenren) | узнавание **4/5**, клоуз 1/5 — книга модели ИЗВЕСТНА | 16 |
|
||
| en→ru | Kristoff, «Empire of the Dawn» | узнавание **1/5**, клоуз 0/5 — чисто | 12 |
|
||
|
||
Порог пробы объявлен там же: «узнавание ≥3/5 = книга известна»; контроль пробы — 金瓶梅
|
||
(4/5 и 3/5). Основной материал порог **превышает** — объявленное ограничение, а не умолчание;
|
||
пара en заведена именно чтобы вывод не стоял на одной узнанной книге.
|
||
|
||
Отбор единиц детерминирован: середина распределения длин, дедуп по нормализованной подписи
|
||
(снимаются заголовок главы и пробелы), ключ артефакта — хеш источника, не позиционный индекс.
|
||
Максимальная попарная близость 16 отобранных zh-единиц — 0.060. Пара en стратифицирована:
|
||
6 единиц с французским слоем (≥4 токена с диакритикой, ≥2 разных) и 6 без него.
|
||
|
||
**Армы.**
|
||
|
||
| Арм | Что | Закон-блок | Мышление |
|
||
|---|---|---|---|
|
||
| F | do-nothing пол: черновик `deepseek-v4-flash` как есть | — | — |
|
||
| A | байт-боевой бейзлайн: черновик → `deepseek-v4-pro` | нет (промт стр.29) | вендор-дефолт |
|
||
| A_law | то же С законом — деконфаунд закон-блока | да | вендор-дефолт |
|
||
| B | черновик → `glm-5` | да | **OFF** (промт стр.62) |
|
||
| D | однопроходка `deepseek-v4-pro` С мандатом перевёрстки | да | вендор-дефолт |
|
||
| D_ | она же БЕЗ мандата — деконфаунд «модель против мандата» | да | вендор-дефолт |
|
||
|
||
Контрасты: `A/F` · `B/F` · `D/A` · `D/D_` · `A_law/A`. Каждый изолирует ровно один фактор —
|
||
проверено сборкой сообщений: у A и A_law совпадают system[0] и user, различие только в наличии
|
||
закон-блока; у D и D_ совпадают закон-блок и user, различается только мандат. Текст закона
|
||
пинится промтом: `HEADER_LAW_PLAIN`, **без оговорки области**.
|
||
|
||
Пара en идёт **без закон-блока у всех армов** — объявленная девиация: подписанного глоссария для
|
||
книги нет, а выдумывать канон полигон не вправе. Следствие: контрасты пары мерят чистую
|
||
топологию, фактор банка мерится на zh контрастом `A_law/A`.
|
||
|
||
**Критерии.** Вердикт единицы засчитывается, если знак перевеса сохранился в **обоих порядках**
|
||
у **обоих судей**. Основная статистика — непрерывный перевес по единицам с bootstrap-ДИ
|
||
(5000 ресемплов, сид 20260807); порог — «интервал не накрывает ноль».
|
||
|
||
**Потолки, объявленные до трат:** армы zh ≤$0.70 · судейство zh ≤$1.70 · армы en ≤$0.55 ·
|
||
судейство en ≤$1.45 · проба судьи-замены ≤$0.10. Соблюдены все (§2.7).
|
||
|
||
---
|
||
|
||
## §1 Метрология: три независимых инструмента
|
||
|
||
Первая редакция мерила одним инструментом, и когда у него нашёлся отказ, проверить его оказалось
|
||
нечем. Здесь три контура, устроенные так, чтобы не делить общий слепой участок.
|
||
|
||
**(1) Судьи по ключам.** `gpt-5.6-luna` + `gemini-3.1-flash-lite`, оба вне семейств, населяющих
|
||
армы (deepseek, glm). Протокол — счёт типизированных ошибок по осям ВЕРНОСТЬ/ТЕРМИН/ЯЗЫК/ФОРМА,
|
||
слепые метки, персист каждого голоса отдельным файлом.
|
||
|
||
*Раскладка.* Порядок — внешний цикл: на каждую клетку (контраст × единица × судья) ровно по
|
||
одному голосу каждого порядка. Перевес единицы = среднее двух зеркальных голосов, позиция
|
||
вычитается тождественно. Проверка исправности — равенство числа голосов по порядкам (фактически 156/156 zh и
|
||
98/98 en; 160/160 — это плановая сетка, а не факт), а НЕ малость позиционной форы: зеркало убирает позицию из перевеса арма, но не из
|
||
среднего по всем голосам.
|
||
|
||
*Позиционная фора измерена и велика:* **zh +3.60**, **en +1.45** ошибки в пользу первого варианта.
|
||
Это масштаб, с которым сравнивается перевес арма: на zh перевес +1.88 МЕНЬШЕ форы — потому
|
||
небалансированная раскладка первой редакции и давала ложные вердикты.
|
||
|
||
*Замена второго судьи — внешний блокер, объявляю.* `grok-4.3` выпал на HTTP 403 «used all
|
||
available credits or reached its monthly spending limit» (250 голосов). Замена выбрана по трём
|
||
условиям промта (не из семейства армов, не из семейства первого судьи, влезает в объявленный
|
||
потолок) и проведена через **положительный контроль до трат** (D39.46б): на контрольном декое
|
||
пака поймала посаженную деградацию **6/6 в обоих порядках** со зеркальными счетами
|
||
(В1=0/В2=3 и В1=3/В2=0). Оговорка: это лёгкая модель, её согласие с luna не эквивалентно прежней
|
||
паре luna+grok.
|
||
|
||
*Отказы фильтра.* 10 клеток zh пришли **без объекта сообщения**, `finish_reason` =
|
||
`content_filter: PROHIBITED_CONTENT` — составная строка, описанная в quirks 00 (D22.6, D22.8а).
|
||
Все 10 — на одной единице. **Уточнение к quirks:** оговорка «на violence/SFW Gemini-судья жив»
|
||
на вебновелле держится не целиком — отказ приходит выборочно и молча, поэтому Google непригоден
|
||
как ЕДИНСТВЕННЫЙ второй контур на этом материале.
|
||
|
||
*Шум судьи — посылка промта стр.15, проверена.* Пере-замер на клетках разброса: абсолютный счёт
|
||
точно повторился в **1 клетке из 6**, разброс 2.5 при уровне 7.7 (≈32% относительного шума).
|
||
Посылка подтверждена. ⚠ Клейм первой редакции «судьи не выдумывают перевес на идентичных текстах,
|
||
0 из 18» **снят как тавтология**: когда в обе позиции подан побайтно один текст, совпадение счёта
|
||
гарантировано построением, а не свойством судьи.
|
||
|
||
**(2) Детерминированная батарея.** 9 проверок, судья не нужен, шума нет. Две во второй редакции
|
||
переписаны, потому что печатали числа из одних ложных срабатываний:
|
||
|
||
* `check_numbers` — китайская сторона теперь собирает составное числительное целиком, как русская
|
||
(прежде 两千三百 давало {2000, 300} против «две тысячи триста» = {2300}, то есть на безупречном
|
||
переводе печатались две потери и одна выдумка); добраны собирательные («десятки тысяч», «более
|
||
сотни»); заведён закрытый список неколичественных оборотов (`百分之一` — доля, не «сто»).
|
||
Проверка синтетикой с известным ответом: **16/16**.
|
||
* `check_gender` — кандидатом считается только форма имени, у которой есть именительный разбор:
|
||
косвенная форма по определению не подлежащее, и соседний глагол согласован с другим словом
|
||
(«Воля Фан Юаня **была** тверда»). Все 6 «рассогласований» прошлого прогона были этим классом.
|
||
|
||
**(3) Слепое чтение.** Метки армов сняты, порядок вариантов перемешан детерминированным ключом от
|
||
uid единицы, карта раскладки хранится отдельно и читателям не выдаётся. Читатели — другого
|
||
семейства, чем судьи по ключам, и задача другая: не «посчитай ошибки по осям», а «прочитай как
|
||
редактор издательства и назови места цитатой».
|
||
|
||
⚠ **Дефект инструкции, объявляю:** буквы вариантов перемешиваются на каждой единице, а читателям
|
||
это сказано не было, и они построили сквозные «профили А–Е». Профили выброшены как артефакт;
|
||
поединичные ранги расшифрованы по карте и использованы. В инструкцию читателя это надо вписать.
|
||
|
||
---
|
||
|
||
## §2 Результаты
|
||
|
||
### 2.1 zh→ru, судьи (16 единиц, 320 голосов)
|
||
|
||
```
|
||
контраст единиц за перв. за втор. ничья перевес 95% ДИ
|
||
A против F 15 3 0 12 +1.88 [+0.72, +3.02] ← не накрывает ноль
|
||
B против F 15 5 0 10 +2.33 [+0.85, +3.95] ← не накрывает ноль
|
||
D против A 15 0 1 14 −1.72 [−2.95, −0.50] ← не накрывает ноль
|
||
D против D_ 15 0 1 14 −1.05 [−2.18, −0.07] ← не накрывает ноль
|
||
A_law против A 15 0 0 15 +0.33 [−0.57, +1.18]
|
||
```
|
||
|
||
Одна единица выпала из вердиктов: на ней 10 отказов фильтра у второго судьи. Счёт побед почти
|
||
весь в ничьих, потому что правило «знак совпал в обоих порядках у обоих судей» очень строгое;
|
||
непрерывный перевес с интервалом информативнее и заказан промтом (стр.32).
|
||
|
||
|
||
### 2.1а Разбор таблицы: по судьям, по осям, с поправкой на множественность
|
||
|
||
⚠ **Эффект, который несёт один судья, есть свойство судьи.** Раздельно:
|
||
|
||
```
|
||
контраст gpt-5.6-luna gemini-3.1-flash-lite
|
||
A против F +0.84 [−0.72, +2.31] +3.03 [+2.17, +3.90] *
|
||
B против F +1.44 [−0.34, +3.41] +3.33 [+1.97, +4.73] *
|
||
D против A −1.94 [−3.62, −0.16] * −1.20 [−2.17, −0.37] * ← оба
|
||
D против D_ −0.38 [−2.16, +1.25] −1.60 [−2.73, −0.70] *
|
||
A_law против A +0.91 [−0.41, +2.25] −0.20 [−0.87, +0.47]
|
||
```
|
||
|
||
Устойчив к смене судьи ровно один контраст — `D против A`.
|
||
|
||
⚠ **Поправка на множественность.** Точный знаковый перестановочный тест по единицам + Holm по
|
||
семейству из пяти контрастов:
|
||
|
||
```
|
||
A против F p=0.0111 Holm=0.0555
|
||
B против F p=0.0117 Holm=0.0555
|
||
D против A p=0.0209 Holm=0.0626
|
||
D против D_ p=0.0933 Holm=0.1865
|
||
A_law против A p=0.5001 Holm=0.5001
|
||
```
|
||
|
||
**Ни один контраст не проходит 0.05 после поправки.** ДИ в §2.1 не скорректированы и читаются как
|
||
описание величины, а не как тест. Формально значимых результатов пак не даёт; даёт согласованные
|
||
направления при n=15.
|
||
|
||
**Разложение по осям** — суммарный перевес гасит разнонаправленные эффекты, поэтому он менее
|
||
информативен, чем покомпонентный:
|
||
|
||
```
|
||
контраст ВЕРНОСТЬ ТЕРМИН ЯЗЫК ФОРМА
|
||
A против F +0.23 [−0.22,+0.72] +0.45 [+0.13,+0.77]* +1.11 [+0.52,+1.80]* +0.10 [−0.13,+0.33]
|
||
B против F +0.85 [+0.18,+1.50]* +0.52 [+0.17,+0.85]* +1.08 [+0.47,+1.83]* −0.12 [−0.77,+0.30]
|
||
D против A −0.48 [−1.02,+0.07] −0.33 [−0.73,+0.05] −0.57 [−1.02,−0.15]* −0.33 [−0.52,−0.15]*
|
||
D против D_ +0.03 [−0.60,+0.60] −0.28 [−0.58,+0.03] −0.33 [−0.88,+0.18] −0.47 [−0.82,−0.13]*
|
||
A_law против A +0.63 [+0.33,+0.97]* +0.02 [−0.32,+0.32] −0.18 [−0.53,+0.15] −0.13 [−0.40,+0.08]
|
||
```
|
||
|
||
Каждый фактор попадает в свою ось: второй проход покупает **ЯЗЫК** и **ТЕРМИН**, а не верность;
|
||
мандат перевёрстки бьёт по **ФОРМЕ** и только по ней; закон-блок покупает **ВЕРНОСТЬ** (+0.63).
|
||
|
||
⚠ **Разложение по осям читается как гипотеза, а не как замер.** Аудит судейских голосов по текстам
|
||
(07.08) нашёл систематическую утечку между осями: дефект вёрстки, видимый грепом (сырой markdown,
|
||
непереведённый заголовок, реплики в кавычках при сквозном тире), получал ФОРМА 0, а его вес уходил
|
||
в ВЕРНОСТЬ — в 7 голосах из 12 проверенных. Приписывание фактора к оси на этих показаниях
|
||
недостоверно; направление и величина СУММАРНОГО перевеса от этого не страдают, потому что сумма
|
||
осей от их перепутывания не меняется.
|
||
|
||
### 2.2 en→ru, судьи (12 единиц, 192 голоса) — переносится ли вывод на другую пару
|
||
|
||
```
|
||
контраст ед. за перв. за втор. ничья перевес 95% ДИ фр-страта plain
|
||
A против F 12 8 2 2 +0.65 [−0.25, +1.35] +0.33 +0.96
|
||
B против F 12 9 3 0 +0.92 [+0.10, +1.69] +1.75 +0.08
|
||
D против A 12 4 8 0 −1.42 [−3.17, +0.19] +0.21 −3.04
|
||
D против D_ 12 7 4 1 +0.69 [−0.42, +1.71] +1.04 +0.33
|
||
```
|
||
|
||
**Направление переносится, величина — нет.** Второй проход покупает качество на обеих парах.
|
||
Преимущество связки над однопроходкой на en вдвое меньше и ноль не покидает: на паре, где
|
||
исходник уже гипотактичен, разница между топологиями сжимается. Мандат перевёрстки на zh вредит
|
||
значимо (−1.05), на en ноль не покидает — это и есть содержание вывода «мандат = пар-данные».
|
||
|
||
### 2.3 Слепое чтение (третий контур, независимо от судей)
|
||
|
||
**zh, 16 единиц, два читателя:**
|
||
|
||
| арм | ср. ранг | первых мест | последних | против черновика F |
|
||
|---|---|---|---|---|
|
||
| A | 2.56 | 3 | 1 | 12 побед / 4 |
|
||
| A_law | 2.62 | 5 | 0 | 13 / 3 |
|
||
| B | 3.31 | 3 | 2 | 11 / 5 |
|
||
| D_ | 3.31 | 5 | 4 | 8 / 8 |
|
||
| F | 4.06 | 0 | 4 | — |
|
||
| D | 5.12 | 0 | 5 | 5 / 11 |
|
||
|
||
**en, 12 единиц:** D_ 2.50 · B 2.58 · D 3.00 · A 3.08 · F 3.83. Черновик последний, первых мест 0.
|
||
|
||
**Чтение согласуется с судьями по всем четырём значимым контрастам:** черновик хуже связок;
|
||
однопроходка с мандатом на zh хуже всех и хуже самого черновика; закон-блок неразличим
|
||
(2.56 против 2.62); на en порядок армов другой и мандат перестаёт быть решающим.
|
||
|
||
Наблюдение обоих читателей, независимо: **низ рейтинга почти всегда решает механический слой, а
|
||
не перевод** — диалоговая типографика (прямая речь в кавычках вместо тире, авторский текст под
|
||
тире, две реплики в одном абзаце), слипшиеся абзацы, непереведённые остатки (`cultivation`,
|
||
`特产ом`, китайские заголовки), протёкшая markdown-разметка. Класс ловится детерминированно.
|
||
|
||
### 2.4 Детерминированная батарея, zh (16 единиц)
|
||
|
||
```
|
||
арм ед. типогр. ханьцзы потеря вел. ты/вы микс род свер. род ошиб.
|
||
F 16 1 24 6 5 111 1
|
||
A 16 2 0 5 6 99 1
|
||
B 16 0 2 6 5 112 1
|
||
D 16 2 0 5 5 86 0
|
||
D_ 16 2 2 6 4 94 0
|
||
A_law 16 2 11 7 6 103 1
|
||
```
|
||
|
||
Единственная ось, где армы расходятся уверенно, — **утечка ханьцзы**: черновик несёт 24 знака,
|
||
редакторский проход вычищает до 0–2. Это независимое от судьи подтверждение, что второй проход
|
||
что-то делает. Оставшиеся 11 у A_law вскрыты поединично: непереведённый заголовок главы
|
||
`第二十五节:春光正明媚` и буква разряда `丙`; тот же заголовок стоит в черновике, арм без закон-блока
|
||
его вычистил, арм с закон-блоком — нет. Поединичный промах, не системная протечка: проверено, что
|
||
закон-блок даёт в промпт всего 5 иероглифов. По остальным осям армы неразличимы — печатается как
|
||
есть, не интерпретируется.
|
||
|
||
### 2.5 Французский слой (en, 6 единиц страты `fr`, судья не нужен)
|
||
|
||
```
|
||
арм фр-токенов латиница передано расщеплено
|
||
F 18 0 7 0
|
||
A 18 0 6 0
|
||
B 18 0 7 1
|
||
D 18 0 5 0
|
||
D_ 18 0 6 0
|
||
```
|
||
|
||
Латиничных утечек нет ни у одного арма, расщепление формы имени внутри окна — один случай.
|
||
Класс **имён и топонимов армы не разделяет**: `François` → Франсуа, `Rive Cœur` → Рив-Кёр,
|
||
`Fabién` → Фабьен одинаково у всех.
|
||
|
||
Разделяет другое, и видно это только чтением: **офранцуженное нарицательное**. `château` в трёх
|
||
разных фрагментах раскалывает армы одинаково — «замок» против «шато». Зеркальный случай: арм,
|
||
лучше всех прочитавший французское ИМЯ дворца, хуже всех прочитал английское НАРИЦАТЕЛЬНОЕ
|
||
`silversaint`, превратив титул в фамилию «Сильверсейнт». Ошибка включается на словах, которые
|
||
*выглядят* именем. Третий класс — вставные французские реплики (`oui`, `gens d'armes`, `Vampyr!`)
|
||
— разводит армы по стратегии, а не по качеству: сохранить латиницей · перевести · транскрибировать
|
||
кириллицей; третий путь порождает несуществующие русские слова («капитэны», «уи»).
|
||
|
||
### 2.6 Экономика
|
||
|
||
⚠ **Нога черновика не восстановима, и это ограничивает раздел.** Армы A/A_law/B правят
|
||
ЗАМОРОЖЕННЫЙ черновик из корпуса пакета-6 (`~/books/gu-zhenren/labels/raw/corpus.jsonl`). В записи
|
||
корпуса нет поля модели, usage не сохранён, цена того вызова утрачена. Черновики, купленные этим
|
||
паком (`bo2-DRAFT-*`, $0.00104 медиана), — это ПЕРЕ-ЗАМЕР цены роли на тех же исходниках, а не
|
||
нога данной связки: побайтно они с корпусными не совпадают ни на одной из 16 единиц (максимальная
|
||
близость 0.195). Складывать их в одну цифру нельзя — найдено адверсариальным ревью 07.08.
|
||
|
||
| Арм | $/единицу (собственный вызов) |
|
||
|---|---|
|
||
| F | — (цена утрачена, см. выше) |
|
||
| A | 0.00388 |
|
||
| A_law | 0.00410 |
|
||
| D | 0.00487 |
|
||
| D_ | 0.00533 |
|
||
| B | 0.00892 |
|
||
|
||
Сравнение «связка против однопроходки по цене» из этого замера **не выводится**: у связки две
|
||
ноги, и вторая не измерена. Что выводится: редакторский проход `deepseek-v4-pro` стоит $0.00388,
|
||
то есть дешевле одного прохода однопроходки ($0.00487) — при том что редактор читает И исходник,
|
||
И черновик, а однопроходка только исходник; `glm-5` в той же роли вдвое дороже ($0.00892) при
|
||
неотличимом качестве.
|
||
|
||
**Пере-замер цены черновой роли (самостоятельное число).** На 16 единицах zh — медиана $0.00104
|
||
с учётом ре-генов; **ре-ген потребовался на 6 единицах из 16 = 38%** (одна — дважды) против
|
||
документированных в quirks 15%; ожидаемая цена черновика с учётом ре-генов $0.00121, а не $0.00104. На 12 единицах en — 0 ре-генов. Эхо-мина подтверждённо привязана
|
||
к плотному CJK, а её частота — измеримое свойство материала, а не константа.
|
||
|
||
### 2.7 Деньги
|
||
|
||
**Пак целиком (обе редакции): $4.306626.** Вторая редакция — $1.683796; снятая первая — $2.622830
|
||
(её артефакты сохранены как сырьё снятого замера и в выводы не входят, но деньги потрачены).
|
||
|
||
| Блок второй редакции | Потрачено | Потолок |
|
||
|---|---|---|
|
||
| армы zh | $0.469816 | $1.60 |
|
||
| судейство zh | $0.739291 | $1.70 |
|
||
| армы en | $0.188682 | $0.55 |
|
||
| судейство en | $0.324233 | $1.45 |
|
||
| проба судьи-замены | $0.003630 | $0.10 |
|
||
| **итого вторая редакция** | **$1.725652** | — |
|
||
|
||
Потолки второй редакции соблюдены. ⚠ **Потолки ФАЗ из промта — нет.** Ф2а как стадия (обе
|
||
редакции) = $2.5862 при потолке $2.50; Ф1 = $1.0747 при потолке $1.00, причём 99% этого потрачено
|
||
ДО подъёма потолка. Обе строки относятся к первой редакции и объявлены здесь потому, что деньги
|
||
пака считаются по паку, а не по редакции.
|
||
|
||
Касса общая (`buy.Ledger`): леджер читается **с диска** по префиксам фазы, гард **проекционный**
|
||
(`потрачено + ожидание` против потолка; ожидание = p95 уже купленных вызовов той же роли). Каждая
|
||
запись несёт `usage` и `total_tokens`, поэтому цена пере-считывается из токенов;
|
||
`verify_report.independent_price` считает её вторым путём, с правилом биллинга, выписанным заново
|
||
по quirks 00 — иначе ошибка ПРАВИЛА проходит обе стороны сверки незамеченной.
|
||
|
||
Класс биллинга Gemini (`additive_total`, D22.3) реализован. ⚠ Величину недоучёта первой редакции
|
||
восстановить **нельзя**: `total_tokens` тогда не персистился.
|
||
|
||
---
|
||
|
||
## §3 Девиации текущей редакции
|
||
|
||
Читается вместе с §2: каждая девиация ограничивает то, как читать соответствующее число.
|
||
|
||
| Девиация | Причина | Что ограничивает |
|
||
|---|---|---|
|
||
| Пара en идёт **без закон-блока** у всех армов | подписанного глоссария для книги не существует, выдумывать канон полигон не вправе | контрасты en мерят чистую топологию; фактор банка мерится только на zh (`A_law/A`) |
|
||
| Пара en потребовала **своего пар-пакета промптов** (`prompts/en-ru/`) | боевой промт редактора лежит в `backend/prompts/zh-ru/` и несёт китаеспецифику в 4 местах | сравнение пар корректно лишь настолько, насколько пар-пакеты эквивалентны вне этих 4 мест (§5.2) |
|
||
| Второй судья — `gemini-3.1-flash-lite` вместо `grok-4.3` | кредиты xAI исчерпаны (HTTP 403 на 250 голосах) | лёгкая модель; согласие с luna не эквивалентно прежней паре luna+grok |
|
||
| `REPS_PER_ORDER = 1` | мощность добрана единицами (8→16), а не повторами | разброс повтора внутри клетки не оценивается; оценивается разброс по единицам (bootstrap) |
|
||
| Одна единица zh выпала из вердиктов | 10 отказов фильтра у второго судьи на ней | таблица §2.1 идёт на n=15, а не 16 |
|
||
| Три единицы en судились после смены набора | отбор был недетерминирован и починен по ходу | голоса «осиротевших» единиц лежат на диске и в свод не входят; контроль баланса считает только живые |
|
||
|
||
**Найдено адверсариальным ревью ВТОРОЙ редакции (07.08), объявляю:**
|
||
|
||
| Дефект | Следствие | Статус |
|
||
|---|---|---|
|
||
| Арм F берёт ТЕКСТ из корпуса пакета-6, а ЦЕНУ — из докупленных черновиков; тексты не совпадают ни на одной единице (близость ≤0.195), поля модели в записи корпуса нет | сложение «черновик + редактор» в одну цену снято, §2.6 переписан | исправлено в отчёте, замер не переделывался |
|
||
| Ответы слепых читателей не персистировались: модуль умел только выпускать пакеты | §2.3 была невоспроизводима | ранги сохранены в `blind/READINGS.json`, приёмник и `--score` заведены; полные разборы утрачены, требуют ре-рана |
|
||
| ДИ не скорректированы на пять сравнений | ни один контраст не проходит Holm 0.05 | добавлен §2.1а с перестановочным тестом и Holm |
|
||
| Суммарный перевес гасит разнонаправленные оси | эффект закон-блока на ВЕРНОСТИ (+0.63) терялся в суммарном +0.33 | добавлено разложение по осям |
|
||
| Значимость трёх контрастов несёт один судья — аварийная лёгкая замена | «второй проход покупает качество» опирается на один инструмент из двух | добавлен разбор по судьям; вывод переведён в «направление» |
|
||
| Контраст `D/D_` изолирует мандат НЕ чисто: у D_ своя вёрсточная строка, у D — блок из 4 правил включая не-вёрсточное про чэнъюй, системный промт ×1.92 | −0.47 по ФОРМЕ может нести любой из трёх факторов | объявлено; чистый контраст требует ре-рана с уравненными промптами |
|
||
| Термин «банкнота» употреблялся для закон-блока; по глоссарию банкнота — канал выноса кандидатов из ответа переводчика, маркера `⟦TM-BANK-v1⟧` нет ни в одном арме | требование промта стр.29 о банкноте НЕ исполнено | переименовано в «закон-блок»; сама банкнота остаётся незамеренной (§4) |
|
||
| Разброс судьи-замены на повторе не измерен (у неё измерен только декой) | шум второго инструмента неизвестен | открыто (§4) |
|
||
|
||
**Первая редакция (06.08) снята целиком.** Причина одна и структурная: её раскладка судей была
|
||
2:1 вместо зеркальной, а позиционная фора судьи (+4.65 ошибки) превышала измеряемые эффекты —
|
||
то есть таблица вердиктов отражала позицию варианта в промпте. Дополнительно четыре арма
|
||
отклонялись от промта необъявленно, и все четыре в одну сторону. Числа первой редакции не
|
||
подлежат сравнению с числами второй; её артефакты (`bo-*`, `jv-*`) сохранены как сырьё снятого
|
||
замера.
|
||
|
||
## §4 Что осталось незакрытым
|
||
|
||
> ⚠ **Пункты 1 и 2 УСТАРЕЛИ и закрыты.** Дрейф на связном отрезке измерен (§14), армы C, E и G
|
||
> построены и отсужены (§15, §17). Список ниже — состояние на вторую редакцию; актуальный перечень
|
||
> незакрытого — строка «ЧТО НЕ ИЗМЕРЕНО» блока ИТОГ.
|
||
|
||
1. ~~**Дрейф на связном отрезке 8–10 глав**~~ — ИЗМЕРЕН, см. §14. Прежняя формулировка:
|
||
**Дрейф на связном отрезке 8–10 глав** — швы между чанками, стабильность ты/вы, рост банка.
|
||
Промт заказывал; мерится всё на рассеянных единицах. Требует другого масштаба покупки.
|
||
2. ~~**Армы C, E, G — не гнались**~~ — ПОСТРОЕНЫ и отсужены, см. §15 и §17. Прежняя формулировка:
|
||
**Армы C (точечный ремонт), E (обратная связка), G (guarded+routed)** — не гнались. Клеймы
|
||
первой редакции сняты: там C засчитывал «фиксер вернул не ту же строку», а G вообще не гнался
|
||
как арм — была только арифметическая проекция цены.
|
||
3. **Слепое чтение владельца на финалистах** (промт стр.72) — не исполнено, требует владельца.
|
||
4. **Ф1 как отбор жильцов** — скрин из 12 моделей убил 2; состав Ф2 фактически назначен ссылкой
|
||
на эксп-20. Клейм «Ф1 отобрала жильцов» снят.
|
||
5. **Оси Ф1, объявленные и не замеренные:** детерминизм повтора при T=0, p95 латентности,
|
||
batch API, отключаемость размышления как ось скрина.
|
||
6. **MQM-lite со спанами и severity, нормировка на 1000 слов, Bradley–Terry** — не реализованы;
|
||
реализован счёт ошибок по осям плюс bootstrap-ДИ по единицам.
|
||
7. **Терминолог-прогон банка среза** (Ф0.3) — карточки персонажей читаются из подписанного сида
|
||
(51 ключ), но банк терминов прогоном не строился.
|
||
8. **Величина недоучёта биллинга Gemini в первой редакции** — невосстановима.
|
||
9. **Контаминация по моделям, населяющим армы** (`deepseek-v4-pro`, `glm-5`) не мерена: проба
|
||
сделана одной моделью.
|
||
10. **Банкнота как канал** (`⟦TM-BANK-v1⟧`, вынос кандидатов из ответа переводчика) не подавалась
|
||
ни одному арму — требование промта стр.29 не исполнено, эффект канала не измерен.
|
||
11. **Разброс судьи-замены на повторе** не измерен; у неё проверен только декой.
|
||
12. **Чистый контраст мандата** — требует ре-рана с уравненными по объёму и составу промптами.
|
||
13. **Цена черновика, который реально правят армы**, утрачена: усилие «мерить на тех же единицах»
|
||
было доведено до покупки, но не до подачи купленного в армы.
|
||
|
||
---
|
||
|
||
## §5 Гипотезы, родившиеся по ходу
|
||
|
||
**5.1 Мандат перевёрстки бьёт по ФОРМЕ, и только по ней.** Разложение по осям: zh `D/D_`
|
||
ФОРМА −0.47 [−0.82, −0.13], ВЕРНОСТЬ/ТЕРМИН/ЯЗЫК ноль не покидают. Фактор попадает в ту ось, на
|
||
которую нацелен, — это косвенное свидетельство исправности судейского протокола.
|
||
|
||
⚠ **Гипотеза «мандат есть пар-данные» НЕ подтверждена и снята до гипотезы.** Я выводил её из того,
|
||
что на zh эффект значим, а на en нет; это классическая ошибка — разница между значимым и
|
||
незначимым сама не значима. Прямой тест интеракции: разница эффектов пар −1.53, ДИ [−3.28, +0.22],
|
||
p≈0.09 — ноль не покидает. Плюс на en отсутствует доза: слияние абзацев мандатом на zh −11.4
|
||
абзаца, на en −1.07, то есть в ~7 раз меньше при вдвое более узкой шкале эффектов. Данные
|
||
совместимы с ОДНИМ общим эффектом на обеих парах. Проверка требует отдельного замера с
|
||
достаточной дозой на второй паре.
|
||
|
||
**5.2 Пар-специфика ПРОМПТА редактора измерима и мала; про движок вывода НЕТ.** Диффом
|
||
`backend/prompts/zh-ru/editor.md` против заведённого `prompts/en-ru/editor.md` — 7 ханков, из них
|
||
пар-специфичных 4 (меры `时辰`/`成`, рамка «китайский паратаксис», оговорка про построчную разбивку,
|
||
пример с чэнъюй); знаменатель 42 строки включает блок FEWSHOT, который в прод не уходит.
|
||
|
||
⚠ **Клейм «новая пара стоит ~4 клауз, Go править не надо» СНЯТ.** Замер этого не показывает:
|
||
движок в паке не запускался ни разу, перенесены 3 ролевых промпта из 7 (нет classifier,
|
||
editor-mono, judge-selector, terminologist, translator-banknote), а `langpack.go` требует для пары
|
||
набор файлов данных с fail-loud и прямо оговаривает, что новое семейство исходного языка требует
|
||
новых полей пакета, парсинга и каналов майнера. Проверено только то, что **промпт редактора**
|
||
переносится правкой четырёх клауз. Полная цена новой пары этим паком не измерена.
|
||
|
||
**5.3 Частота эха — измеримое свойство модели на материале, а не константа.** Ре-ген потребовался
|
||
на 6 единицах из 16 (38%) против документированных 15%; 0 на 12 единицах en. ⇒ Ожидаемая цена черновика
|
||
обязана включать частоту ре-гена, и она пар-зависима.
|
||
|
||
**5.4 Позиционная фора судьи пар-зависима.** zh +3.60, en +1.45 при одной и той же паре судей.
|
||
Возможная причина — длина и плотность варианта. Если так, парный протокол на длинных единицах
|
||
систематически шумнее. Не проверено.
|
||
|
||
**5.5 Механический слой решает низ рейтинга, а не перевод.** Оба слепых читателя независимо
|
||
назвали главным источником непечатного текста диалоговую типографику, слипшиеся абзацы,
|
||
непереведённые остатки и протёкшую markdown-разметку. ⇒ Дешёвый детерминированный пост-процессор
|
||
снимает большую часть разрыва между армами, чем выбор редактора.
|
||
|
||
---
|
||
|
||
## §6 Диспозиции строк бэклога
|
||
|
||
* **55** (эмпирика на претрейн-классике предварительна) — **частично закрыта**: замер повторён на
|
||
контаминационно чистом материале (en, узнавание 1/5), направление вывода то же.
|
||
* **82** (прототип проверки рода) — **закрыт прототипом**: `battery.check_gender` + карточки из
|
||
подписанного сида, фильтр по именительному падежу; 86–112 сверок на арм на 16 единицах.
|
||
* **12** (HARD-детектор величин 成/万) — **закрыт прототипом**: `battery.check_numbers`,
|
||
симметричный разбор обеих сторон, синтетика 16/16.
|
||
* **46** (Hunspell в движок не строить) — **не задет**: детектор выдуманного слова остаётся
|
||
полигон-прототипом, движкового решения не предлагается.
|
||
* **65 / D39.22** (вопросы итерации №2 редакторов) — **не закрыты**: армы C/E/G не гнались.
|
||
* **106** — не задета этим паком.
|
||
|
||
---
|
||
|
||
## §8 Что нужно доснять, чтобы числа стали решаемыми
|
||
|
||
Пак даёт направления, а не решения. Ниже — минимальный набор покупок, после которого на числах
|
||
можно принимать перестройку бэкенда. Цены посчитаны по фактической стоимости голоса этого пака
|
||
($0.0024 в среднем по паре судей; grok — $0.007).
|
||
|
||
| # | Что доснять | Зачем | Оценка |
|
||
|---|---|---|---|
|
||
| 1 | **Шумовой пол пайплайна**: один арм дважды end-to-end на идентичном входе, 16 единиц | Сейчас нечем отделить разницу топологий от стохастики модели. Заказано промтом (Ф0.6), не исполнено. Без этого перевес ±1.9 не интерпретируется | $0.21 |
|
||
| 2 | **Контраст `D_` против `A`** прямым судейством | Рекомендуемая однопроходка — БЕЗ мандата, а измерена С мандатом. Косвенная оценка −0.67 (p≈0.30) решения не даёт. Армы уже куплены, нужны только голоса | $0.15 |
|
||
| 3 | **Уравненные промты `D` и `D_`** и их пере-гон | Контраст мандата смешан с объёмом промта (×1.92) и с не-вёрсточным правилом про чэнъюй | $0.35 |
|
||
| 4 | **Удвоение единиц до 32** на двух несущих контрастах | При n=15 ничто не проходит Holm; мощность добирается единицами | $0.51 |
|
||
| 5 | **Третий судья** (`grok-4.3`, нужны кредиты xAI) | Три из четырёх эффектов несёт один судья — лёгкая аварийная замена. Нужен арбитр | $1.12 |
|
||
| 6 | **Арм F из собственных черновиков**: пере-гон A/A_law/B на купленных черновиках | Сейчас текст арма F и его цена происходят из разных вызовов; провенанс замороженного черновика невосстановим | $0.56 |
|
||
| | **Итого** | | **$2.90** |
|
||
|
||
Без пунктов 1 и 5 числа останутся неинтерпретируемыми независимо от объёма остальных покупок.
|
||
|
||
**Бесплатные починки, обязательные до следующей покупки:**
|
||
|
||
* гейт ре-гена черновика проверяет ТОЛЬКО письменность исходника; принята и оплачена попытка
|
||
с долей латиницы 0.79 (английский перевод вместо русского) — гейт обязан проверять и целевую
|
||
письменность;
|
||
* из пары en выбросить единицу `129b73ad5a` — это выходные данные и библиография, а не проза;
|
||
фильтр страты `plain` («нет токенов с диакритикой») притягивает служебные страницы;
|
||
* карта раскладки слепого чтения лежит в одном каталоге с пакетами — вынести;
|
||
* судейские ответы содержат только числа (111 знаков), рассуждение не персистируется — аудит-следа
|
||
от числа к тексту нет; включить сохранение обоснования;
|
||
* три докстринга противоречат исполняемому коду (`bakeoff.py` про «черновик стоит $0» и про
|
||
«≥2 повторах из 3», `judges.py` про состав судей).
|
||
|
||
**Три провод-факта, добытых паком, ещё не занесены в `00-provider-quirks.md`** (файл вне зоны
|
||
полигона — вопрос к лендингу): fail-closed Gemini приходит БЕЗ объекта `message`, а не с пустым
|
||
`content`; `gpt-5.6-luna` без ручки эффорта выжигает бюджет на рассуждение и отдаёт пустой ответ;
|
||
`glm-5` гасится `extra_body: {"thinking": {"type": "disabled"}}`.
|
||
|
||
---
|
||
|
||
## §9 Пре-рег ТРЕТЬЕЙ редакции (объявлен до покупок)
|
||
|
||
Составлен после рецензии плана §8, проведённой ДО трат. Рецензия пере-считала мощность
|
||
исполнением и изменила план в трёх местах; ниже — итог, а не первоначальный список.
|
||
|
||
**Семейство сравнений объявляется ЗАРАНЕЕ — три первичных контраста:** `A/F`, `B/F`, `D_/A`.
|
||
Остальные (`D/D_`, `A_law/A`, вся пара en) — описательные, поправке не подлежат и решений не несут.
|
||
|
||
⚠ Это НЕ применяется задним числом ко второй редакции. На её данных семейство было из пяти
|
||
контрастов, и корректный вывод остаётся прежним: ни один не проходит Holm (лучший 0.0555).
|
||
Сужение семейства после того, как p-значения увидены, есть пост-хок отбор. Для справки: на тех же
|
||
данных семейство из трёх дало бы 0.0333 всем трём — именно поэтому оно объявляется ВПЕРЁД, а не
|
||
назад.
|
||
|
||
**Мощность посчитана, а не предположена** (знаковый перестановочный тест, Holm, 600 симуляций):
|
||
|
||
| n | A/F | B/F | D/A | D/D_ | A_law/A |
|
||
|---|---|---|---|---|---|
|
||
| 15 | 0.57 | 0.57 | 0.46 | 0.23 | 0.05 |
|
||
| 32 | 0.99 | 0.97 | 0.94 | 0.70 | 0.15 |
|
||
|
||
Объявляется вместе с ограничением: **32 достаточно только если истинный эффект равен
|
||
наблюдённому.** Если истина у нижней границы ДИ, требуется n≈128–192, а в корпусе после дедупа
|
||
**всего 60 уникальных единиц** — то есть такой замер этим материалом недостижим, и это надо знать
|
||
до покупки, а не после. Контраст `A_law/A` не достигает мощности ни при каком доступном n
|
||
(0.39 при n=80) — единицы под него не покупаются, он остаётся описательным.
|
||
|
||
**Потолки третьей редакции** (прежние кассы исчерпаны не полностью: армы $0.469 из $0.70,
|
||
судейство $0.739 из $1.70): армы ≤$1.60 · судейство ≤$3.20 · проба разброса судьи ≤$0.15.
|
||
Объявлены ДО фазы, потому что леджеры читают диск по префиксам и новые покупки лягут в те же
|
||
кассы; без пере-объявления первая же крупная покупка ушла бы в `skipped` с пустым выходом, а свод
|
||
молча выбросил бы единицу — тот же класс тихого усечения, что снял первую редакцию.
|
||
|
||
**Порядок покупок задан каскадом зависимостей** — иначе платим дважды:
|
||
|
||
| Ярус | Что | Цена | Почему в этом месте |
|
||
|---|---|---|---|
|
||
| 0 | $0-починки, пре-рег, потолки | $0 | до всего |
|
||
| 1 | Разброс судьи-замены на повторе | $0.094 | решает, нужен ли третий судья за $1.6–4.0 |
|
||
| 1 | Пол рига: `A` против `A′` на замороженном черновике | $0.212 | отрицательный контроль к декою + разделение дисперсии |
|
||
| 2 | Арм F из собственных черновиков + пере-судейство 4 контрастов | $0.884 | строго ДО добора единиц |
|
||
| 2 | Уравненные промты `D`/`D_` + пере-гон | $0.451 | строго ДО контраста `D_/A` |
|
||
| 2 | `D_` против `A` прямым судейством | $0.144 | последний из «армы уже куплены» |
|
||
| 3 | Добор до 32 единиц по всей таблице | $1.194 | после всех смен армов |
|
||
| 4 | `grok-4.3` на расходящихся контрастах | $2.00 | только как арбитраж; требует кредитов xAI |
|
||
|
||
**ИСПОЛНЕНО ярусом 1 (07.08).**
|
||
|
||
*Пол рига — отрицательный контроль, парный к декою.* Арм `A` против собственного повтора `A′` на
|
||
том же замороженном черновике, 16 единиц, оба судьи, оба порядка, 64 голоса, $0.21.
|
||
|
||
```
|
||
перевес A против A′ : +0.050 95% ДИ [−1.15, +1.28] n=15 p=0.957
|
||
gpt-5.6-luna −0.156 · gemini-3.1-flash-lite +0.067
|
||
sd по единицам: 2.377 ← шум ОДНОГО ВЫЗОВА
|
||
```
|
||
|
||
При отсутствии разницы протокол перевеса не выдумывает. Риг теперь зажат с двух сторон: декой
|
||
показывает, что судья ВИДИТ посаженную разницу, пол — что он не видит несуществующей. До этого
|
||
замера контроль был только один.
|
||
|
||
⚠ **Шум одного вызова (2.377) БОЛЬШЕ любого измеренного эффекта** (+1.88, −1.72, −1.05). Это и
|
||
есть причина, по которой при n=15 ничто не проходит поправку — не слабость судей и не дефект
|
||
раскладки. Разброс перевеса по единицам в `A/F` составлял 2.375, то есть практически ровно шум
|
||
вызова ⇒ разнородности единиц почти нет, эффект однороден по материалу, и наращивание единиц бьёт
|
||
точно в цель. Для `D/D_` (эффект −1.05) при семействе из трёх требуется n≈30 — объявленные 32
|
||
попадают впритык.
|
||
|
||
*Разброс судьи-замены на повторе.* 60 пар повторов тех же клеток, $0.088.
|
||
|
||
```
|
||
абсолютный счёт повторился точно: 24/60 (40%)
|
||
|разница перевеса|: медиана 1.0 · среднее 0.73 · максимум 4
|
||
sd шума перевеса на голос: 0.81 ⇒ на оценку контраста по 15 единицам ±0.15
|
||
```
|
||
|
||
Расхождение судей на `A/F` (+0.84 у luna против +3.03 у gemini) составляет 2.19 — **четырнадцать
|
||
стандартных отклонений** собственного шума замены. Собственным шумом оно не объясняется: судьи
|
||
видят разное. ⇒ Третий голос нужен как АРБИТР (подтверждает вывод рецензии), но не как мощность.
|
||
|
||
*Покупка «пост-процессор против арма» отменена ДО траты, см. ниже.*
|
||
|
||
*Агент-судья вместо платного (амендмент владельца 07.08).* Та же рубрика, те же 32 пакета
|
||
контраста `A/F`, оба порядка, вслепую, ключ раскладки отдельно. Сверх платного протокола — строка
|
||
ОБОСНОВАНИЕ с цитатой на каждую ненулевую ось. Стоимость по ключам провайдеров: **$0**.
|
||
|
||
```
|
||
инструмент перевес A/F фора
|
||
агент-судья +0.69 [−0.75, +2.22] p=0.41 +2.50
|
||
gpt-5.6-luna (платный) +0.84 [−0.72, +2.31] —
|
||
gemini-flash-lite (платн.) +3.03 [+2.17, +3.90] —
|
||
оба платных вместе +1.88 [+0.72, +3.02] +3.60
|
||
```
|
||
|
||
⚠ **Агент лёг на luna и не лёг на gemini.** Два независимых инструмента из трёх дают интервал,
|
||
накрывающий ноль; значимость `A/F` несёт ОДИН судья — аварийная замена, взятая при исчерпании
|
||
кредитов xAI. Направление держится (10 единиц из 16 за связку), значимость — нет.
|
||
|
||
Три свойства замены, установленные замером:
|
||
* **позиционная фора ниже, но не исчезает** (+2.50 против +3.60) ⇒ фора есть свойство языковых
|
||
моделей в роли судьи вообще, а не дефект вендора; зеркальная раскладка обязательна при любом судье;
|
||
* **показания стали проверяемыми**: обоснование цитатой на ось против 111 знаков голых чисел
|
||
у платных, по которым аудит-след от числа к тексту не существовал;
|
||
* **ось СТИЛЬ сошлась зеркально во всех 16 парах** (где в порядке 0 выиграл вариант 1, там в
|
||
порядке 1 выиграл вариант 2) ⇒ на этой оси позиционного перекоса нет. Ось куплена в обеих
|
||
редакциях и до сих пор ни разу не была прочитана.
|
||
|
||
*Аудит платных голосов по текстам (07.08).* До него ни один судейский счёт не сверялся с текстом,
|
||
который он оценивал: проверялось поведение инструмента (доля разбора, фора, разброс), но не
|
||
правильность показаний. Проверить по диску было нельзя — ответ судьи это 111 знаков голых чисел,
|
||
аудит-следа от числа к тексту не существовало. Выборка 12 голосов, отобранная до чтения текстов:
|
||
6 с наибольшим по модулю перевесом + 6 случайных.
|
||
|
||
**Подтверждено моим пере-счётом:**
|
||
* **позиционная компонента в 0.8–4.9 раза больше эффекта арма** (полуразность порядков против
|
||
полусуммы): `A/F`·luna арм +0.84 против позиции +4.09; `D/A`·luna +1.94 против +5.31;
|
||
* **ложный перевес на почти одинаковых текстах**: на единице `217e4fab17` армы A и F совпадают
|
||
в 38 предложениях из 53, и судьи всё равно выдали перевес. Контроль Ф0.6 этого не ловил, потому
|
||
что мерил на ПОБАЙТНО одинаковых парах — задача заведомо легче;
|
||
* **нули на дефектном тексте**: 3 голоса из 126 дали все четыре оси нулём тексту с сырой разметкой
|
||
или латиницей (аудит заявлял 9 — завышено втрое);
|
||
* **утечка между осями** — см. оговорку к §2.1а выше.
|
||
|
||
**Опровергнуто:** несущий вывод аудита «зеркальная раскладка фору не гасит, строить сравнение
|
||
армов нельзя» неверен для НЕПРЕРЫВНОГО перевеса. Для зеркальной пары перевес порядка 0 есть
|
||
`истина + P`, порядка 1 — `истина − P`; полусумма даёт истину, P сокращается алгебраически. Это
|
||
подтверждено эмпирически полом рига: арм против собственного повтора даёт +0.050 при p=0.957.
|
||
Аудит этого числа не видел. Также завышены две частные оценки (сходство единицы `8855eadc95`
|
||
заявлено 0.803, фактически 0.345; нулевых голосов 9 против фактических 3).
|
||
|
||
**Что действительно сломано форой:** правило вердикта «знак совпал в ОБОИХ порядках». При
|
||
|P| > |эффект| знаки в двух порядках расходятся почти всегда — отсюда 14 ничьих из 15 на `D/D_`.
|
||
Это отказ правила, а не его строгость. Колонки вердиктов переведены в справочные; решения
|
||
строятся на непрерывном перевесе.
|
||
|
||
*Гейт до судьи (детерминированно, $0), заведён по итогам аудита.* Механический брак ловится
|
||
грепом, и судья не обязан его замечать:
|
||
|
||
```
|
||
арм клеток с механическим браком (из 16)
|
||
F 9 markdown · латиница · ханьцзы · преамбула
|
||
A 2
|
||
B 3
|
||
D 1
|
||
D_ 1
|
||
A_law 3
|
||
```
|
||
|
||
Второй проход снижает механический брак с 9 единиц до 1–3 **без всякого судьи**. Такой гейт
|
||
обязан стоять ДО судейства: иначе бюджет судьи тратится на то, чтобы непоследовательно замечать
|
||
очевидное.
|
||
|
||
**Три решения рецензии, принятые против первоначального плана:**
|
||
|
||
1. **Третий судья — не покупка мощности.** Разложение дисперсии: он снижает стандартную ошибку
|
||
на 4–8%, что эквивалентно +2.4 единицы за $1.6–4.0; удвоение единиц даёт −31% за $0.51.
|
||
Разброс несёт разнородность единиц, а не судейский шум. Grok остаётся оправдан как арбитр там,
|
||
где судьи расходятся (`A/F`: +0.84 против +3.03), и как покрытие молчаливых отказов Gemini.
|
||
2. **«Шумовой пол пайплайна» переименован в «пол рига» и снят с блокирующих.** При замороженном
|
||
черновике повтор одного арма меряет стохастику модели в роли редактора, а не пайплайна; и она
|
||
уже сидит внутри разброса по единицам, который берут bootstrap и перестановочный тест. Ценность
|
||
пола другая: отрицательный контроль (при отсутствии разницы перевес обязан быть нулём) и
|
||
разделение дисперсии на «разнородность единиц» против «шум вызова».
|
||
3. **Покупка «пост-процессор против арма» ($0.289) ОТМЕНЕНА до траты.** Гипотеза была, что
|
||
дешёвая детерминированная правка механического слоя закроет часть разрыва `A/F`. Замер $0:
|
||
механический брак действительно сосредоточен в черновике (73 закавыченных реплики против 11–22
|
||
у армов, 6 markdown-разметок против 0–2, 24 ханьцзы против 0), но доминирующий класс
|
||
детерминированно НЕ чинится — черновик берёт `«…»` под внутренний монолог, что в русском наборе
|
||
является нормой, а отличить мысль от произнесённой реплики требует понимания, а не правила.
|
||
Пост-процессор (`postproc.py`, правила проверены синтетикой 8/8) чинит только разметку и
|
||
служебную преамбулу — семь случаев на весь корпус, эффект заведомо нулевой.
|
||
|
||
**Добор единиц требует нормировки счёта на 1000 слов.** Проверено: на текущих 16 однородных по
|
||
длине единицах нормировка не меняет ничего (z 2.457 → 2.429), но добавляемые 16 короче — 8 из них
|
||
ниже текущего минимума на 30%, — и без нормировки они добавят дисперсии больше, чем сигнала.
|
||
|
||
---
|
||
|
||
## §10 ТРЕТЬЯ РЕДАКЦИЯ — результаты (агент-судья, собственный черновик)
|
||
|
||
> ### ⛔ ВСЕ ТРИ НУМЕРОВАННЫХ ВЫВОДА ЭТОГО РАЗДЕЛА СНЯТЫ — читать ИТОГ и §12
|
||
> Раздел оставлен как хроника прибора, а не как источник решений. Третья редакция судила ОДНИМ
|
||
> проходом одного агента-судьи; четвёртая пере-сняла те же армы ДВУМЯ независимыми проходами
|
||
> (§11–§12), и все три вывода ниже перевернулись:
|
||
> * «однопроходка и связка неразличимы» → в пуле двух проходов `D_/A` = **−2.00** (p=0.0157,
|
||
> Холма не проходит) — направление против однопроходки, а не ничья;
|
||
> * «решает ЖИЛЕЦ, glm-5 +3.81» → в пуле `B/F3` = **+2.44** против `A/F3` **+2.50**, а напрямую
|
||
> `A_law/B` = **−0.69**: движки неразличимы, работает ТОПОЛОГИЯ (§12);
|
||
> * «экономика за связку, дешевле на 6%» → на пуле цен связка **ДОРОЖЕ** на +0.00096/единицу
|
||
> (11/16, p=0.061).
|
||
> Причина расхождения названа в §11: одиночный проход не отделяет шум судьи от эффекта арма, а
|
||
> шум пола рига (sd 2.67–2.96) превышает измеряемые разницы.
|
||
|
||
Замер по объявленному ЗАРАНЕЕ семейству из трёх контрастов (§9). Судья — агент сессии, $0 по
|
||
ключам провайдеров, обоснование цитатой на каждую ненулевую ось. Армы правят СОБСТВЕННЫЙ
|
||
черновик пака: текст и цена происходят из одного вызова, провенанс проверяем.
|
||
|
||
```
|
||
контраст перевес 95% ДИ p (знак.перест.) Holm(3)
|
||
B против F3 +3.81 [+2.94, +4.78] <0.0001 0.0001 ← ПРОХОДИТ
|
||
A против F3 +1.59 [−0.53, +3.72] 0.185 0.370
|
||
D_ против A +0.25 [−1.03, +1.56] 0.756 0.756
|
||
```
|
||
|
||
**Первый результат пака, переживающий поправку на множественность.**
|
||
|
||
**Три вывода, отменяющие обе прежние редакции.**
|
||
|
||
1. **Однопроходка и связка НЕРАЗЛИЧИМЫ.** `D_` против `A`: +0.25, семь единиц в каждую сторону
|
||
при двух ничьих, интервал узкий. Это ничья, а не нехватка мощности. Первая редакция
|
||
утверждала, что однопроходка доминирует, вторая — что проигрывает; обе мерили арм `D`
|
||
**с мандатом перевёрстки**, который сам по себе вредит. Рекомендуемая однопроходка — `D_`,
|
||
без мандата — равна связке.
|
||
2. **Решает не топология, а ЖИЛЕЦ второго прохода.** `glm-5` бьёт черновик на +3.81 (16 единиц из
|
||
16, 8 независимых судей); `deepseek-v4-pro` на том же месте даёт +1.59 и ноль не покидает.
|
||
Вопрос «связка или однопроходка» оказался не тем вопросом.
|
||
3. **Экономика — за связку.** Связка $0.00499 против однопроходки без мандата $0.00533: связка
|
||
дешевле на 6% при равном качестве (с ожидаемой ценой ре-генов — на 3%, знак тот же). Связка
|
||
вдобавок позволяет менять жильца редакторской роли, однопроходка нет.
|
||
|
||
**Разведочный контраст `A_law` против `B` — прямой вопрос о жильце роли редактора.**
|
||
Добавлен ПОСЛЕ получения результатов семейства, поэтому статус разведочный, не подтверждающий:
|
||
поправка Holm к нему не применяется без нового пре-рега. Судья — один агент на все 32 файла,
|
||
с явным запретом делегировать. Изоляция проверена до замера: у обоих армов закон-блок, один и тот
|
||
же черновик, идентичное user-сообщение; различие — модель и гашение мышления.
|
||
|
||
```
|
||
A_law (deepseek-v4-pro) против B (glm-5): +1.94 [+0.69, +3.19] p=0.0142
|
||
12 единиц за deepseek-v4-pro · 4 за glm-5 · 0 ничьих
|
||
```
|
||
|
||
⚠ **Этот контраст ПЕРЕВОРАЧИВАЕТ косвенный вывод.** Через общий черновик выходило `B/F3` +3.81
|
||
против `A/F3` +1.59, то есть «glm-5 лучше». Напрямую — наоборот. Причина названа была заранее:
|
||
`A/F3` судил один агент, `B/F3` — восемь, и разница судейских ПОРОГОВ оказалась больше разницы
|
||
моделей. Сравнение контрастов через общую опорную точку недействительно, когда судьи разные.
|
||
|
||
⚠ **Изъян одиночного судьи: зеркало вырождается.** Проверка исполнением: во ВСЕХ 16 парах оценка
|
||
порядка 1 оказалась точным транспонированием оценки порядка 0 — судья не пере-читал текст,
|
||
а переставил собственные числа (при том, что в ответе заявил обратное). Следствие: позиционного
|
||
контроля этот контраст не даёт вовсе, и на единицу приходится ОДНА оценка, а не две.
|
||
|
||
Это обратная беда к предыдущей, и вместе они задают правильную схему: **один судья на весь
|
||
порядок, РАЗНЫЕ судьи между порядками.** При раздаче внутри порядка путаются пороги; при одном
|
||
судье на оба порядка исчезает позиционный контроль.
|
||
|
||
**Оговорки, едущие с числами.**
|
||
|
||
* Два контраста из трёх судились НЕСКОЛЬКИМИ агентами: судья пачки самовольно раздал файлы
|
||
(в `B/F3` — восьми, в `D_/A` — нескольким), причём так, что `o0` и `o1` одного хеша всегда
|
||
попадали к разным судьям. Порядок и судья менялись вместе ⇒ позиционную компоненту в этих
|
||
контрастах изолировать нельзя. Она гасится усреднением (в `D_/A` составила +2.31), но её
|
||
собственная оценка загрязнена. **Причина — дефект моей постановки:** я просил одного судью и
|
||
не написал «не делегируй». Исправлено в инструкции следующего контраста.
|
||
* `A/F3` судил один агент, `B/F3` — восемь ⇒ прямое сравнение этих двух контрастов недопустимо:
|
||
разница +1.59 против +3.81 может быть разницей судейских порогов. Отсюда добавлен прямой
|
||
контраст `A_law` против `B` одним судьёй — см. ниже.
|
||
* Агент-судья видит всю пачку в одном контексте и потому опознаёт зеркальные пары. У платного
|
||
судьи такого знания нет: каждый его голос — отдельный вызов без памяти. Асимметрия объявлена.
|
||
* Разброс агента-судьи на повторе измерен побочно (четыре файла просужены дважды): вердикт по
|
||
стилю совпал 4/4, знак разрыва 4/4, абсолютные уровни разошлись втрое. ⇒ **Абсолютные уровни
|
||
между файлами несопоставимы, сопоставима только разность внутри файла.**
|
||
|
||
**Ось ФОРМА штрафует исполнение продуктового мандата — конфаунд, замером не разрешаемый.**
|
||
Разложение `A/F3` по осям: ЯЗЫК +3.09 [+2.31, +3.91], ФОРМА −2.25 [−3.81, −0.56], ВЕРНОСТЬ и
|
||
ТЕРМИН ноль не покидают. То есть второй проход — РАЗМЕН: покупает русский язык, платит формой,
|
||
и эффекты почти гасятся. Но «портит форму» означает слипание абзацев, а слипание есть прямое
|
||
исполнение мандата дискурс-перевёрстки боевого `editor.md`. Замер: исходник 45 абзацев, оба
|
||
черновика 44–46, редакторский проход 24, однопроходка 20. Судья считает слияние дефектом,
|
||
конвейер — выполненной работой. **Это продуктовое решение владельца, а не измеряемая величина.**
|
||
|
||
**Гейт до судьи (детерминированно, $0).** Механический брак на 16 единицах: черновик 7 единиц,
|
||
редакторские армы 1–3, однопроходки 1. Разделение чистое и судьи не требует.
|
||
|
||
---
|
||
|
||
## §11 ПРИБОР ЧЕТВЁРТОЙ РЕДАКЦИИ — абсолютный судейский риг
|
||
|
||
> Восстановлено 08.08 после инцидента D39.113. Текст переписан заново; **все числа пере-сняты из
|
||
> сырья кодом дерева** и воспроизводятся командой `itog.py`.
|
||
|
||
**Почему риг переделан.** Каждому из четырёх независимых судей-агентов выдавалась своя пачка
|
||
ПАРНЫХ пакетов «исходник + вариант 1 + вариант 2». Все четыре самостоятельно свернули пары
|
||
обратно: дедуплицировали уникальные тексты, оценили каждый ОДИН РАЗ против исходника и разнесли
|
||
числа по пакетам. Четыре из четырёх — это поведение инструмента, а не сбой исполнителя, и
|
||
оснастка пошла за ним: `absjudge.py` судит по АБСОЛЮТНОЙ шкале.
|
||
|
||
**Что это дало.** Позиция варианта исчезает по построению (текст оценивается вне пары) — тот
|
||
самый дефект, за который снята первая редакция. Работа падает втрое: 160 парных пакетов = 320
|
||
прочтений, уникальных текстов 128. Строгость калибруется ВНУТРИ единицы: все варианты одного
|
||
исходника судятся в одном заходе, контраст берётся внутри единицы и лишь потом усредняется.
|
||
|
||
**Слепота и провенанс.** Метки `Т1..Тn`, порядок перемешан хешем соли и uid; соль лежит вне
|
||
репозитория (`blind-keys/SALT-*.txt`). Судья пишет ответ файлом сам — этим убрана моя
|
||
транскрипция, канал, по которому в третьей редакции потерялись обоснования. Голос с ненулевой
|
||
осью без цитаты отвергается. **Семейство контрастов впечатано в файл ключа ДО первого ответа** и
|
||
сверяется при каждом счёте (`_assert_family`): сузить семейство после чтения p-значений — это и
|
||
есть p-hacking.
|
||
|
||
**Четыре прохода, и их уровни несопоставимы.** Средняя строгость растёт монотонно: abs 6.90 →
|
||
abs2 7.92 → abs3 8.46 → abs4 9.22 ошибки на клетку (+34%). Поэтому **сравнивать между панелями
|
||
можно только РАЗНОСТИ, а не уровни**; всякий контраст ИТОГа — внутриединичная разность внутри
|
||
одной панели, пул усредняет перевес поединично. Абсолютные уровни в отчёте нигде не сравниваются.
|
||
|
||
## §12 ЧЕТВЁРТАЯ РЕДАКЦИЯ — свод двух проходов
|
||
|
||
Семейство из семи контрастов, поправка Холма по всем семи, LOO — сколько единиц удаления
|
||
роняют значимость (`absjudge --pool`):
|
||
|
||
```
|
||
контраст перевес 95% ДИ p p Холма вылетов LOO
|
||
A vs F3 +2.50 [+1.56, +3.47] 0.0001 0.0004✔ 0/16
|
||
B vs F3 +2.44 [+1.81, +3.19] 0.0000 0.0002✔ 0/16
|
||
D_ vs A −2.00 [−3.34, −0.62] 0.0157 0.0630 —
|
||
D vs A −3.31 [−4.47, −2.16] 0.0003 0.0014✔ 0/16
|
||
A_law vs A −0.75 [−1.78, +0.25] 0.2068 0.3645 —
|
||
A_law vs B −0.69 [−1.56, +0.22] 0.1823 0.3645 —
|
||
D vs D_ −1.31 [−2.34, −0.25] 0.0363 0.1088 —
|
||
```
|
||
|
||
**Три несущих контраста переживают всё, чем их пробовали убить:** поправку Холма, удаление любой
|
||
единицы (0/16), удаление любых ДВУХ (0/120), обе судейские популяции и кластеризацию по главе
|
||
источника (16 единиц происходят из 12 глав, четыре главы дали по два чанка; кластерный тест даёт
|
||
Holm 0.0059 / 0.0034 / 0.0171).
|
||
|
||
**Нога 2×2 — главный вывод пака.** Собрана ПОСТ-ХОК из того же сырья, в объявленном семействе её
|
||
нет, поправку Холма не несёт:
|
||
|
||
```
|
||
A дешёвый черновик + дорогой редактор против черновика: +2.50 p=0.0001 15/16
|
||
B то же, другой редактор против черновика: +2.44 p<0.0001 16/16
|
||
D_ дорогая модель, ОДИН проход против черновика: +0.50 p=0.478 7/16
|
||
D дорогая модель, один проход + мандат против черновика: −0.81 p=0.255 6/16
|
||
```
|
||
|
||
Дорогая модель в один проход неотличима от дешёвого черновика; она же в позиции редактора
|
||
покупает +2.50. **Работает топология, а не жилец** — это снимает объяснение «просто pro лучше
|
||
flash», на котором стоял §10.
|
||
|
||
**Контроли (читать ДО боевых чисел).** Декой — посаженная деградация поймана 10/10 (abs) и 10/10
|
||
(abs2) с верным знаком. Пол рига — две генерации ОДНОГО арма на одном входе, истинная разница
|
||
ноль: abs +0.12 [−1.19, +1.44], abs2 +0.62 [−0.81, +2.12]; **ноль внутри интервала в обоих
|
||
проходах — пол честен.** Побайтных близнецов в пачках нет.
|
||
|
||
**Шум.** sd пола по единицам 2.67 (abs) / 2.96 (abs2) — больше разницы между армами. Значит **на
|
||
отдельной главе армы не упорядочены**; упорядочено только среднее (парный дизайн делит шум на
|
||
√n, различимый эффект ≈1.9). ⚠ Разложение шума на судейскую и генерационную компоненты **НЕ
|
||
УСТАНОВЛЕНО**: `--pool` печатает σ судьи 1.43 против σ генерации 1.40, два других способа счёта
|
||
из тех же данных дают «генерация больше» и «судья больше», и при n=16 они неразличимы.
|
||
|
||
## §13 ИНСТРУМЕНТЫ $0 — батарея, детекторы, QE
|
||
|
||
**Батарея** (`battery.py`) — 11 детерминированных проверок вывода: утечка письменности,
|
||
типографика диалогов, потеря чисел, ты/вы, согласование рода, translationese-прокси. Проверена на
|
||
синтетике с известным ответом.
|
||
|
||
**Детекторы Ф0.4.** №1 «выдуманное слово» — словарный, на holdout 6/6 (tp=7 fp=2 fn=3). №2
|
||
«смысловая инверсия» — QE-ранкер.
|
||
|
||
**§13.7 QE мини-бенч.** MetricX-24-hybrid-large-v2p6 (mT5-large, 1.23B, локально на CPU, $0).
|
||
Посаженная инверсия полярности против чистого сегмента: **66/72, p=3.6e-14** — QE инверсию
|
||
ВИДИТ. ⚠ Но видит в ПАРНОМ режиме (до/после одного сегмента). Как РАНКЕР — «выбрать три худших
|
||
сегмента окна» — он её не находит: см. §15 и §17.
|
||
|
||
## §14 ДРЕЙФ НА СВЯЗНОМ ОТРЕЗКЕ
|
||
|
||
> ⚠ **Отзыв был слишком широким и сужен.** Я отозвал раздел целиком; негодной была только часть
|
||
> метрик: заказанный промтом ШОВ между чанками в коде не считался вовсе, а «рост словаря» не мог
|
||
> сработать по построению. Валидная часть воспроизводится за $0 (`drift.py --score`) и несёт два
|
||
> результата, которых больше нигде в паке нет.
|
||
|
||
Десять подряд идущих глав (2…11), армы `F3`/`A`/`A_law`/`D_`:
|
||
|
||
```
|
||
покрытие отрезка: F3 9/10 · A 9/10 · A_law 9/10 · D_ 10/10 (у всех выпала глава 11)
|
||
покрытие канона: F3 148/163 = 0.96 · A 91/163 = 0.53 · A_law 138/163 = 0.92 · D_ 139/163 = 0.91
|
||
ты/вы: 2/9 · 2/9 · 2/9 · 3/9 переключений
|
||
```
|
||
|
||
**1. У связки есть отказной режим, которого у однопроходки нет по построению.** Без годного
|
||
черновика редакторская нога не запускается вовсе, и ре-ген этого не лечит: эхо-мина
|
||
воспроизводима на материале — глава 11 вернула китайский исходник во всех трёх попытках
|
||
(1388–1425 ханьцзы). **Это единственный довод ПРОТИВ связки во всём паке.**
|
||
|
||
**2. Второе, независимое подтверждение обязательности закон-блока.** На связном отрезке, другом
|
||
материале и другой единице анализа покрытие канона у редактора БЕЗ банка **0.53** против **0.92**
|
||
с банком. Пункт 2 ИТОГа стоял на одном оконном замере — теперь на двух.
|
||
|
||
⚠ Оговорка: армы состояния между главами не несут, банк подаётся каждой главе заново ⇒ измерен
|
||
дрейф БЕЗ памяти, это нижняя граница. Метрика счётная (доля упоминаний исходника, отражённых
|
||
канонной формой) — прежняя, «нашлась ли канонная форма хоть раз», была тривиально выполнима.
|
||
|
||
## §15 РОУТИНГ: АРМ G И ТРИ ОТБОРЩИКА
|
||
|
||
Главный денежный вопрос пака: платить за второй проход ВЕЗДЕ или только там, где он нужен.
|
||
Арм G собран из уже купленных текстов детерминированно, $0 новых покупок (`guarded.py --build`).
|
||
|
||
```
|
||
маршрутизировано 6/16 окон · страж оставил правку в 4 ⇒ забрано 10.0 из 40.0 выигрыша = 25%
|
||
цена: G $0.00317 против связки $0.00580 = 55% цены за 25% выигрыша
|
||
```
|
||
|
||
**Строить роутинг НЕ НАДО: он хуже случайного роутинга того же бюджета.** Три независимых
|
||
отборщика дали монетку:
|
||
|
||
* **механический** (утечка письменности, разметка, латиница, преамбула): среди всех
|
||
C(16,4)=1820 подмножеств того же размера его выбор — персентиль **46.4–51.4%** (91 связка,
|
||
середина 48.9%);
|
||
* **QE как судья**: знак совпал **50/105** по семи контрастам семейства;
|
||
* **QE против судьи на самом крупном контрасте `A/F3`: r = −0.32.** Это **АНТИкорреляция**, а не
|
||
слепота: чем сильнее QE «за» редактуру, тем меньше её выигрыш по судье. Довод против
|
||
QE-роутинга сильнее, чем формулировал ИТОГ до 08.08.
|
||
|
||
**Guarded APE со стражем на ДРУГОЙ величине вреден.** Страж отклонил две правки — с выигрышами
|
||
+3.0 и +5.5, среднее **+4.25** против +2.50 по всем единицам: он вырезал ЛУЧШИЕ. ⚠ **n=2.**
|
||
Вывод стоит на двух правках и означает ровно одно: если строить стража, он обязан смотреть на ту
|
||
же величину, которую оптимизирует редактор.
|
||
|
||
⚠ **Основание ЭКОНОМИЧЕСКОЕ.** Формулировка «доказанный потолок роутинга» снята: потолок лечится
|
||
числом единиц (n≈73–81), просто этого среза не хватает.
|
||
|
||
⚠ **Утрачено инцидентом 08.08, D39.113:** числа прежней редакции этого раздела — «43/91» и
|
||
«r=+0.06» — не воспроизводятся ни одним вариантом счёта; в дереве кода пути к ним нет. Здесь
|
||
напечатано то, что даёт `itog.py` на сегодняшнем сырье. Вердикт «монетка» держится в обоих
|
||
вариантах.
|
||
|
||
## §16 ДЕКОНФАУНДЫ
|
||
|
||
**§16.1 Закон-блок обязателен.** Покрытие канона на 16 окнах (228 упоминаний, счётная метрика):
|
||
|
||
```
|
||
F3 черновик 0.917 · A 0.566 · A_law 0.820 · B 0.899 · D 0.776 · D_ 0.851
|
||
```
|
||
|
||
`A` — единственный из шести армов, ломающий терминологию ЧЕРНОВИКА, который он правит. Качество
|
||
при этом неотличимо (`A_law/A` −0.75, p=0.207), цена +5%. **Поэтому боевым конфигом редактора
|
||
объявлен `A_law`, и базой сравнения Ф2б взят он же, а не `A`.** Второе подтверждение — §14.
|
||
|
||
Прибор этого не меряет и мерить не может: рубрика судьи определяет ось ТЕРМИН как
|
||
ВНУТРИтекстовую согласованность и канона судье не даёт. Меряет детерминированный контур.
|
||
|
||
**§16.2 Черновая модель двигает 70% заголовка.** Тот же редактор `A` над ДРУГИМ черновиком той же
|
||
длины:
|
||
|
||
```
|
||
над корпусным черновиком 7.66 ошибки против 5.91 над своим · хуже 14/16 · p=0.0063
|
||
```
|
||
|
||
Это 70% от заголовочных +2.50. **Экономить на черновой роли нельзя**, и +2.50 непереносимо на
|
||
другую черновую модель без пере-замера. ⚠ Число посчитано по ОДНОЙ клетке пола (`CTRLfloorA` =
|
||
`bo2-A`); по обеим клеткам (с повтором `bo3-Aprime`) — 7.47, 13/16, p=0.0073. Вердикт одинаков,
|
||
напечатанный вариант — в большую сторону.
|
||
|
||
**§16.3 Мандат перевёрстки вредит, и вклад разложен по осям** (пул двух проходов):
|
||
|
||
```
|
||
D vs A −3.31 ВЕРНОСТЬ −0.50 · ТЕРМИН −0.38 · ЯЗЫК −1.34 · ФОРМА −1.09
|
||
D_ vs A −2.00 ВЕРНОСТЬ −0.66 · ТЕРМИН −0.34 · ЯЗЫК −0.97 · ФОРМА −0.03
|
||
```
|
||
|
||
Мандат стоит почти всей разницы по ФОРМЕ. ⚠ Оси разведочны: семейство корректирует 7 гипотез,
|
||
клеток здесь 28. ⚠ Контраст `D/D_` изолирует мандат НЕ чисто (§3): у армов расходятся ещё
|
||
вёрсточная строка и объём системного промта.
|
||
|
||
## §17 Ф2б — АРМЫ C И E: ТОЧЕЧНЫЙ РЕМОНТ ПРОТИВ ПЕРЕПИСЫВАНИЯ
|
||
|
||
Вторая половина заказа промта (стр.114–115), исполнена 08.08. Фиксер — `gpt-5.6-luna`,
|
||
единица починки — предложение, ре-гейт после каждого фикса, кап 2 итерации.
|
||
|
||
**Судейство — тем же ригом (проход abs4, узкая панель).** Пять судейских контрастов, Холм по
|
||
пяти:
|
||
|
||
```
|
||
контраст перевес 95% ДИ p p Холма
|
||
C2 vs A_law −3.75 [−4.81, −2.56] 0.0001 0.0006✔ ремонт значимо хуже переписывания
|
||
C2 vs F3 −0.94 [−2.19, +0.38] 0.2185 0.2185 и не лучше черновика, который чинит
|
||
E2 vs D_ −1.38 [−2.06, −0.69] 0.0046 0.0139✔ обратная связка хуже своей базы
|
||
E2 vs A_law −2.06 [−3.50, −0.62] 0.0222 0.0443✔ обратная связка хуже прямой
|
||
A_law vs F3 +2.81 [+1.44, +4.31] 0.0024 0.0098✔ КОНТРОЛЬ эффекта редактора
|
||
```
|
||
|
||
⚠ **ОТКЛОНЕНИЕ ОТ ОБЪЯВЛЕННОГО СЕМЕЙСТВА, объявляю.** `phase2b.FAMILY` пятым членом называет
|
||
`C_oracle vs C_real` — разрыв потолка и пола схемы. Он НЕ судейский: потолок меряется посаженными
|
||
дефектами и детекторами, судье не предъявлялся и p-значения не имеет. В судейскую пятёрку вместо
|
||
него вошёл контроль `A_law vs F3`. Направление подмены консервативно (член семейства сохранён,
|
||
поправка не ослаблена), но это правка семейства после пре-рега, и читать её надо как девиацию.
|
||
|
||
**Гипотеза, которой закончился эксп-20 — «локальные ошибки чинятся точечно по флагу за $0.0002» —
|
||
при РЕАЛЬНОЙ детекции не подтвердилась.** Там она мерилась при идеальных флагах на посаженных
|
||
дефектах.
|
||
|
||
**§17.1 Режим oracle — где именно схема теряет.** Земля известна по построению: в черновик
|
||
сажаются дефекты двух классов на известные позиции.
|
||
|
||
```
|
||
RECALL детекторов, класс k1 (выдуманное слово): 16/16
|
||
RECALL детекторов, класс k2 (смысловая инверсия): 1/16
|
||
```
|
||
|
||
**Разрыв потолка и пола — целиком класс k2.** Это не противоречит мини-бенчу §13.7 (66/72): там
|
||
QE работал в ПАРНОМ режиме, здесь — как РАНКЕР, и посаженная инверсия в тройку худших сегментов
|
||
не попадает. **QE различает порчу, но не ранжирует по ней** — вот причина провала арма C.
|
||
|
||
**§17.2 Первый прогон был испорчен моей ошибкой и пере-снят.** Фиксер шёл БЕЗ банка терминов и
|
||
переписывал канон вслепую («истинную ци» → «первобытную энергию», «Гу» → «гу»); покрытие канона
|
||
падало 0.917 → 0.895. Это тот же дефект, что у редактора `A` (§16.1). С банком покрытие **0.925**
|
||
— ремонт терминологию УЛУЧШАЕТ, — но контраст с переписыванием остался (−4.12 → −3.75). Вывод не
|
||
артефакт ошибки. Банк помогает и обратной связке: `E2` 0.860 против `E` 0.825.
|
||
|
||
**§17.3 Чем точечный ремонт полезен: он лучший МЕХАНИЧЕСКИЙ ГЕЙТ.**
|
||
|
||
```
|
||
брак вывода (иероглифы, разметка, латиница, преамбула, выдуманные слова), 16 единиц:
|
||
C2 5 клеток · A_law 10 · F3 23 цена: C2 $0.00298 против связки $0.00602
|
||
```
|
||
|
||
**Ставить его ПЕРЕД редактором, а не вместо него.**
|
||
|
||
**§17.4 Деньги фазы.** Армы C/E куплены на **$0.10916** (тег `p2b-*`); расход ФАЗЫ Ф2б с учётом
|
||
старых проб `rp-*` ($0.00904) — **$0.11819** из потолка $3.00. ⚠ До 08.08 гейт сторожил фазу
|
||
глобом `rp-*`, покупок `p2b-*` не видел и СЕРТИФИЦИРОВАЛ ложные $0.00904 — третий случай того же
|
||
класса (новый тег покупок не внесён в глоб фазы тем же коммитом).
|
||
|
||
## §18 ПОСТ-ХОК АУДИТЫ 08.08 — что нашли по лестнице
|
||
|
||
Два независимых агента прошли пак навстречу: снизу вверх (заказ промта → посылки → код →
|
||
результаты, с запретом открывать ИТОГ до последней ступени) и сверху вниз (каждое утверждение
|
||
ИТОГа → число → сырьё → код → посылка). **Оба вердикта: перепрогон НЕ ТРЕБУЕТСЯ** — все несущие
|
||
числа воспроизводятся из персистированного сырья за $0.
|
||
|
||
Что исправлено по их находкам (всё $0, без покупок):
|
||
|
||
| Находка | Правка |
|
||
|---|---|
|
||
| Несущие числа ИТОГа не имели в дереве пути воспроизведения; `--score4` печатал пустую таблицу (в `FAMILY` нет контрастов Ф2б) | заведён `itog.py` — пере-считывает КАЖДОЕ число ИТОГа из сырья |
|
||
| `verify_report` сторожил §2, деньги и батарею — и ни одного числа ИТОГа | добавлен блок `§ИТОГ` (20 проверок): нога 2×2, канон, арм G, страж, пятёрка Ф2б |
|
||
| Значимый контраст `E2 vs A_law` (−2.06, Холм 0.0443) в таблице ИТОГа отсутствовал | напечатан; гейт проверяет наличие строки |
|
||
| Расход фазы Ф2б печатался как `$0.10916` (только тег `p2b-*`) | расход ФАЗЫ = $0.11819 с учётом `rp-*`; §17.4 |
|
||
| «Контроль воспроизведён ТРИЖДЫ (+2.50/+2.75/+2.81)» — сшивка РАЗНЫХ армов и панелей | снято: +2.50 — это `A/F3`, а `A_law/F3` даёт +1.75 (пул) / +2.75 (abs3) / +2.81 (abs4) |
|
||
| Доля выигрыша арма G считалась по маршрутизированным окнам, а не по оставленным стражем | 25% (10.0 из 40.0 на четырёх окнах), сверено с `guarded --build` |
|
||
| Цена «$0.00290» — арм C (испорченный прогон), а не боевой C2 | $0.00298; `phase2b --score` печатает C2/E2 |
|
||
| `zip(us, txts)` после фильтра пустых текстов — тихий рассинхрон единиц | единица и текст ходят парой; дефект был латентен (все армы 16/16), числа им не задеты |
|
||
| «44 проверки» в шапке | их 62, а с блоком `§ИТОГ` — больше; шапка правится при каждом лендинге |
|
||
| QE назван «слепым» (r=+0.06) | на `A/F3` r=−0.32, это АНТИкорреляция; §15 |
|
||
|
||
**Заведён линтер зоны** (`eval/role_topology/ruff.toml`, `select = ["F","E9","PLE","B"]`) — повод
|
||
прямой: регрессия `med = med(costs)` (затенение функции локальной переменной) прошла в дерево
|
||
незамеченной. Первый прогон нашёл 36 находок; исправлены все, искажающих числа среди них не было.
|
||
|
||
---
|
||
|
||
## §7 Воспроизведение
|
||
|
||
```
|
||
eval/.venv/bin/python eval/role_topology/bakeoff.py --arms # армы zh (кэш: купленное не перекупается)
|
||
eval/.venv/bin/python eval/role_topology/bakeoff.py --judge # судейство zh
|
||
eval/.venv/bin/python eval/role_topology/bakeoff.py --score # свод zh, $0
|
||
eval/.venv/bin/python eval/role_topology/pair_en.py --units|--arms|--judge|--score
|
||
eval/.venv/bin/python eval/role_topology/blind_read.py --emit zh|en # пакеты слепого чтения
|
||
|
||
# ЧЕТВЁРТАЯ РЕДАКЦИЯ — абсолютный риг и свод (всё $0)
|
||
eval/.venv/bin/python eval/role_topology/absjudge.py --controls|--controls2 # контроли ДО чисел
|
||
eval/.venv/bin/python eval/role_topology/absjudge.py --pool # свод двух проходов, §12
|
||
eval/.venv/bin/python eval/role_topology/absjudge.py --score4 # пятёрка Ф2б, §17
|
||
eval/.venv/bin/python eval/role_topology/phase2b.py --score # армы C/E/C2/E2, §17
|
||
eval/.venv/bin/python eval/role_topology/drift.py --score # дрейф, §14
|
||
eval/.venv/bin/python eval/role_topology/guarded.py --build # арм G, §15
|
||
|
||
eval/.venv/bin/python eval/role_topology/itog.py # ВСЕ числа блока ИТОГ, $0
|
||
eval/.venv/bin/python eval/role_topology/verify_report.py # верификатор чисел отчёта
|
||
eval/.venv/bin/python eval/role_topology/selfcheck.py # самопроверка харнесса, $0
|
||
eval/.venv/bin/ruff check eval/role_topology/ # линтер зоны
|
||
```
|
||
|
||
Артефакты — `~/books/role-topology/` (вне git). Текст книг в репозиторий и в отчёт не попадает.
|
||
Ненулевой код возврата `verify_report.py` = отчёт не сдаётся.
|