Land the consilium outcome and the execution plan that doubles as a post-compaction restoration prompt
This commit is contained in:
parent
8aa125f123
commit
a0938dd143
2 changed files with 524 additions and 0 deletions
179
eval/dovodka/KONSILIUM-22-08.md
Normal file
179
eval/dovodka/KONSILIUM-22-08.md
Normal file
|
|
@ -0,0 +1,179 @@
|
|||
<!-- ⚠ Это ИТОГ КОНСИЛИУМА двух экспертов (архитектор продукта + скептик замера), 22.08.
|
||||
Диалоговые реплики оркестратора владельцу из файла вычищены: после компакта они читались
|
||||
бы как открытые поручения. Основание плана PLAN-22-08.md. -->
|
||||
ФИНАЛЬНЫЙ ДОКУМЕНТ КОНСИЛИУМА
|
||||
Синтез согласован со скептиком напрямую: все семь его пунктов последнего круга приняты и вшиты. Существенных расхождений между нами не осталось; если он пришлёт отдельное письмо — это будут поправки формы, не содержания.
|
||||
|
||||
1. Архитектура: что фиксируем
|
||||
# Решение Носитель Статус
|
||||
1 Единица перевода — сцена (границы сцен, V6 п.1) схема/сегментация принято без замера (косвенно: обрыв кульминации Д27.3)
|
||||
2 «Каждого слова обязана коснуться дорогая пишущая модель; число проходов — вопрос цены.» Формулировка «второй проход нужен» СНЯТА: панель конфаундировала «второй проход» с «дорогой моделью» (ZD/Z8 — единственные армы без дорогой модели; однопроходка — контрпример). Дефолт профиля — одно дорогое письмо с банком-законом схема замерено (Д24/Д26: ZD/Z8 различимо последние на обеих парах)
|
||||
3 Черновая стадия — конфиг профиля пары, не принцип. Причина включения пишется как «модель × длина входа × потолок вывода», НЕ «пара такая» (RN на zh: медиана размышления 25 562 против 842 у склейки — разгон на длинном входе; выстрелит и на длинных en-главах) схема (данные профиля) замерено (В6)
|
||||
4 Вердикт по схемам: «рычаг „какая схема второго прохода“ не подтверждён при разрешении прибора (MDE 1.8–3.3 места, n = 7–8 глав Гу, одно читательское семейство)» — не «схемы равны». Операционное правило: пока рычаг не показан, между схемами решают цена, хвосты, детерминизм, наблюдаемость схема замерено — в этой формулировке
|
||||
5 Главный механизм качества — детерминированный слой: канон-фиксер (узкий: его правки несут мелкий однонаправленный штраф читаемости на zh) + гейты на хвосты (finish · полнота по якорям · язык выхода · эхо · род) + ре-ген красной главы (~$0.03) как штатный режим гейт фиксер замерен (48→22 щели zh); ре-ген как режим — принято без замера
|
||||
6 Банк — носитель кросс-главной консистентности: характер-листы (пол/родство/ранги/голоса), девизы как канон. Отдельная строка: рассказчик 1-го лица без имени — недостроенный гейт (банку нечего лукапить; трекинг лица по глагольным окончаниям нетривиален, даёт ложные срабатывания) банк + гейт построено частично; кросс-главный эффект НЕ замерен ничем
|
||||
7 Новая строка контракта: «что обязан гарантировать ЧЕРНОВИК» — буфер наследует его провалы (по клеткам: разрядка «Т Е Р П Е Н И Е» потеряна черновиком → потеряна и E6, и RG; пол рассказчицы черновик донёс → E6 сохранил, RG сломал; единичные случаи, до панели) схема+гейт принято, гейтится панелью-0
|
||||
8 Минимакс владельца: по браку (класс А) — гейты + эскалация + ре-ген, жилец-независимо по построению; по прозе (класс Б) — ростер. Клейм в терминах «интеракция архитектура × жилец на ИСПЫТАННЫХ жильцах» (худший редактор не искался; связка двухвендорна). Форма ответа владельцу: худший жилец при нашей архитектуре читается так же по браку, но дороже (больше ре-генов); по прозе деградирует честно гейт + ростер принято; решающая клетка — панель-0 ($0)
|
||||
9 Профили = данные: пар-промпты, уровень размышления поармно ЗНАЧЕНИЕМ. Движковые фиксы вендор-независимости: склейка системных для Gemini в render.go (эскалация молча теряет глоссарий), ручка эффорта банк-ролям (бэклог 104), английский пар-пак в бэкенд ростер/движок найдено кодом; принято
|
||||
10 Провенанс рига: клетки хранят call_kwargs и reasoning_text; гейт «промт на провод» перед каждой покупкой; паспорт разрешения под каждым вердиктом (n в единицах И главах Гу · k · sd · MDE · пол против случайного ожидания с оговоркой «занижен: общий черновик + читатель опознаёт родство» · чтений/главу · семейств · правило) риг принято, фикс ДО следующих покупок
|
||||
2. Модели: что фиксируем
|
||||
Дефолт письма — deepseek-v4-pro (замерено; оговорка: H-4 на en/ja не установлен). Запасной — glm-5 с размышлением (×2 по цене, en). Точечный edit по критику — не в проде до З-2.
|
||||
Дешёвая линия (gemini-REL $0.006/ед, luna $0.0024/ед) — кандидаты, НЕ прод до: цензур-оси, zh-клеток, второго чтения vendor2 (заказано). Панель vendor2 без пре-рега = описательная.
|
||||
Правило вердикта о вендоре — конъюнкция (порог И знаковый p<0.05): RK НЕ различим; RKT различим; итог — «grok закрыт в письме на обоих уровнях эффорта, low — одним прибором из двух». RE — с оговорками (знаковый p=0.0352; 0 токенов размышления 16/16; вендор-дефолт слага НЕ документирован Google).
|
||||
«Вендор-дефолт» как продуктовая конфигурация ЗАПРЕЩЁН — только явный пин уровня. Конфигурация модели = часть арма, объявляется значением.
|
||||
Протокол замены жильца ($0.1–0.6): 16 клеток + слепая панель с якорями + эхо-контроль + цензур-проба + конъюнкция + паспорт разрешения. Слаг ≠ модель: при аномалиях — поведенческая проба, не листинг.
|
||||
Известно слабые (закрыты): grok в письме; glm-5 без размышления; gemini как единственный дорогой исполнитель на violence/18+ (fail-closed неконфигурируем).
|
||||
3. Критерий приёмки — в главах Гу (1 глава Гу = 3 326 иероглифов; zh-единица = 0.65, en-единица = 0.49)
|
||||
Класс А (счётчик, $0): пост-гейтовый остаток ≤1 фатального дефекта на 100 глав Гу по каждой оси (пол · термин/имя · кусок исходного языка · полнота сцены · родство/ранги) = ≤15 на книгу 1500 глав. Сырой выход модели мерим, не нормируем — норма стоит ПОСЛЕ гейтов+ре-гена. Мощностной проблемы нет: счётчик поглавный.
|
||||
Класс Б (чтение): доля глав, названных читателем «машинным/подстрочником», ≤1 на 25 глав Гу (уровень, уже показанный вторым проходом). Сравнение схем — только с паспортом разрешения; замер с MDE >1 позиции — не основание менять схему.
|
||||
Стандарт панели: ≥15 глав Гу = 23 zh / 30 en единиц (все прошлые панели были 7.4–7.8 глав Гу).
|
||||
4. Что мерить дальше (ранжировано; ⭐ = бесплатно)
|
||||
⭐ Панель-0: E6/RG + якоря Z0/ZF/RN — интеракция «архитектура × слабый жилец»: один жилец (glm-5, reasoning=0 в обоих, 16/16 общих глав — сверено по клеткам). Закрывает вопрос владельца о буфере.
|
||||
⭐ Второе чтение vendor2 (заказано) — гейт всех вендор-вердиктов.
|
||||
⭐ Второе чтение arch2 (З-6) — паспорт разброса прибора; без него ни одно «неразличимо» не имеет паспорта.
|
||||
⭐ Дуэль RE против RE-без-промта (16 клеток в карантине) — вес ВСЕГО промта в местах: якорь шкалы прибора.
|
||||
⭐ Починка экстрактора абзацев — до любого нового en-замера (весь en-материал искажён нами).
|
||||
~$2 — кросс-главный прибор: 15 глав Гу ПОСЛЕДОВАТЕЛЬНО одним профилем + $0-счётчики (род по морфологии · удержание канона по позиции · голоса · девизы). Единственный замер, отвечающий на метавопрос; он же — in-loop телеметрия прода (двойное использование).
|
||||
~$0.35 — З-2: критик → точечная правка над однопроходкой (ядро V6).
|
||||
~$0.10 — З-1: RN + канон-фиксер.
|
||||
~$0.2–0.6 — цензур-ось всей дешёвой линии (вкл. черновые модели) с пре-регом: порог отказов, убивающий вендора, объявлен ДО пробы; wire-лог отделяет отказ от таймаута.
|
||||
~$0.15 — KE: grok-редактор, reasoning low (уравнен с RK), над ЗАМОРОЖЕННЫМ D0 — только если панель-0 покажет подпорку; RK пере-читается в той же панели (гард от регрессии к среднему).
|
||||
$0–0.1 — дозная калибровка: внесённые дефекты известного размера → карта «дефекты ↔ места».
|
||||
5. Что мы НЕ узнаем никогда (при разумных бюджетах)
|
||||
Порядок внутри середины схем: MDE 0.5 места ≈ 40 глав Гу (zh) / 68 (en) на пару — и это нижняя оценка при поле, который занижен. Не купим — и не надо: там решают цена и хвосты.
|
||||
Абсолютный прибор художественности: признаки регистра порядок владельца не воспроизводят (снято); класс Б навсегда остаётся парным чтением + человеком на хвосте.
|
||||
Истинную дисперсию полного пайплайна: пол Z0/ZF мерит только вторую стадию над общим черновиком.
|
||||
Полную сетку архитектура × вендор: комбинаторика в сотни долларов, и она протухает — слаг ≠ модель, веса меняются молча. Любой вендор-факт имеет срок годности.
|
||||
Худшего ВОЗМОЖНОГО жильца каждой роли — только худшего из испытанных.
|
||||
6. Что консилиум перевернул (без смягчений)
|
||||
«Второй проход нужен» — главный устойчивый вывод пяти экспериментов — был конфаундом. Панель доказывала лишь «текст, которого не касалась дорогая модель, различимо хуже»; однопроходка — живой контрпример внутри той же панели. Пять экспериментов носили это, никто не заметил.
|
||||
«Платим не за вендора, а за размышление» — не закон. grok high (9.13) хуже grok low (7.20); gemini low не хуже high. Это свойство пары модель × конфигурация; ростер, «включающий думание всем ради качества», жёг бы деньги впустую.
|
||||
«Схемы неразличимы» превращалось в «схемы равны» без права: MDE ≈ 2 места на 7–8 главах Гу, пол скомпрометирован (общий черновик + читатель текстуально опознаёт близнецов), правило решения применялось не как пре-рег. Нулевые выводы — единственные, которым дефекты класса «реализация не то, чем названа» ПОМОГАЮТ: любой такой дефект раздувает sd и производит неразличимость.
|
||||
Номинальный объём всех вердиктов завышен вдвое: «12–15 глав» панелей = 7.4–7.8 глав Гу по эталону владельца.
|
||||
Расхождения: по существу не осталось — семь финальных пунктов скептика приняты полностью (формулировка нулевого вердикта, причинность профиля, контракт черновика, гейт безымянного рассказчика, конъюнкция, переименование минимакс-клейма, паспорт разрешения). Ему отправлено подтверждение с описанием того, как каждый пункт вшит; если он увидит искажение в передаче — пришлёт тебе поправку отдельно.
|
||||
|
||||
Свод архитектора разминулся с моим вторым сообщением (восемь правок) — он подтвердил приём только первых семи пунктов и сам сказал: «шли поправку оркестратору, возражать не буду». Ниже — несогласия-поправки к уже отправленному своду, затем три заказанных артефакта.
|
||||
|
||||
Несогласия / поправки к своду (архитектор предупреждён, возражений не заявил)
|
||||
П5, ошибка в 4 раза. «MDE 0.5 места ≈ 40–68 глав Гу» — это цена эффекта 1.0 места. Эффект 0.5 места стоит 160–271 глав Гу на пару (246 zh-ед / 553 en-ед). Вывод «не узнаем никогда» от правки только крепнет, но число в своде неверно.
|
||||
П2: «glm-5 запасной, ×2» — пре-эрратное число; Д30.8 даёт ×3.2–4.1 к якорю (и полосой, не точкой).
|
||||
Пере-купка en-базы ZP выпала из очереди. Условие Д30.1 не закрыто: либо строка «~$0.4, чинит несущий контраст Д23», либо явное «контраст RN/склейка остаётся УСЛОВНЫМ, принимаем, потому что схемы решены ценой». Молча уронить нельзя — на нём стояла дуга Д23–Д25.
|
||||
П1.3: цена детерминированного слоя. Фиксер несёт замеренный однонаправленный штраф 0.58 места (6 глав хуже / 0 лучше, p≈0.03, Д30.2) — в свод как цену слоя, а не мелким шрифтом.
|
||||
П4 №4 (15 последовательных Гу): счётчики рода/канона/голосов отладить на уже купленных срезах ($0) ДО покупки — иначе повтор В20: оплаченные клетки, которых не прочёл ни один прибор.
|
||||
П3, класс А: порог ≤1 фатал/100 Гу — норматив, не замер; счётчиков рода/родства/голосов ещё не существует (пометить); частота 1/100 Гу проверяема только гейтами на прод-прогонах ≥100 Гу, не панелями. Класс Б: база «6% машинных глав» не грунтована — определить формулировку вопроса читателю и пере-снять базу из 40 лежащих ответов ($0) до печати нормы.
|
||||
«grok high хуже low» печатать с паспортом: парно +1.93 при MDE 1.93, знаковый p≈0.035 — на грани, одно семейство; рядом REL/RET (3020 против 4060 токенов, разрыв 0.27 — шум).
|
||||
Принято и вшито без разногласий: конъюнкция (RK не различим / RKT различим), RE-оговорки, «ожидает r2 vendor2», «интеракция на испытанных жильцах» вместо минимакса, KE над замороженным D0 на low, гард пере-чтения RK, цензур-пре-рег, провенанс-фикс, причинность «модель×длина×потолок», контракт черновика, гейт безымянного рассказчика.
|
||||
|
||||
Мощностная таблица в главах Гу
|
||||
Конверсия: zh-ед = 0.65 Гу, en-ед = 0.49 Гу. ⚠ Мощность движется числом независимых чтений, не объёмом: Гу — ценник владельца, не физика прибора. Главы одной книги — не независимые выборы жанра.
|
||||
|
||||
Ранговый прибор (парный контраст, 2.8·sd/√n; sd наблюдённый: zh 2.8 при k=8, en 4.2 при k=10–11):
|
||||
|
||||
ловимый эффект zh: ед / глав Гу en: ед / глав Гу
|
||||
2.0 места 16 / 10 35 / 17
|
||||
1.5 места 27 / 18 61 / 30
|
||||
1.0 места 61 / 40 138 / 68
|
||||
0.5 места 246 / 160 553 / 271
|
||||
Стандарт 15 Гу (23 zh / 30 en ед) даёт MDE 1.63 места (zh) и 2.15 (en): слепота ниже ~1.6–2.2 мест остаётся; удвоение панели сужает MDE лишь в √2.
|
||||
|
||||
Дуэльный (знаковый тест предпочтения A/B): 70/30 → ~46 ед (23 Гу en / 30 zh); 65/35 → ~82 ед (40/53); 60/40 → ~188 ед (92/122).
|
||||
|
||||
Счётный прибор (дефект-класс, парный бинарный по главам): класс, ломающийся в ≥20–30% глав при ~0 у компаратора — ~25–30 ед ≈ 15 Гу, достаточно; редкий класс (10% глав) — ~50–60 ед ≈ 25–30 Гу. Ответ владельцу: «15 Гу для счётчика хватает» — да для частых классов, нет для редких.
|
||||
|
||||
Паспорт разрешения (форма под печать, под каждый вердикт)
|
||||
|
||||
ПАСПОРТ: прибор=ранговый · слепое чтение fable-5 · 1 чтение/глава · семейств 1
|
||||
n=15 ед (7.4 глав Гу) · k=10 армов · sd контраста 4.2 · MDE 3.07 места
|
||||
пол |Z0−ZF|=2.80 (случайное 4.0; НИЖНЯЯ граница: общий черновик, читатель опознаёт родство)
|
||||
правило: |Δ|>MDE И знаковый p<0.05 · клетки: [теги, что переиспользовано]
|
||||
слеп к: эффектам <MDE · кросс-главной консистентности · расхождению вкуса прибора с владельцем
|
||||
Пре-рег: панель-0 (RG/E6, $0)
|
||||
Состав: RG · E6 · Z0 · ZF; 16 en-глав пересечения, uid-список зафиксирован до чтения; тег новый, старые теги не пере-эмитятся.
|
||||
Жилец уравнен: оба glm-5, reasoning=0 на 16/16, finish=stop 16/16 (сверено по клеткам) — печатается в шапке.
|
||||
Первичный эндпойнт — дефект-классы, грепы объявлены и сняты ДО сборки пакетов (пол рассказчика по глагольным окончаниям 1 л. · разрядки/авторские приёмы · куски исходного языка · банк-термины); тест — парный знаковый по главам.
|
||||
Вторичный — ранги (RG↔E6, конъюнкция); при 7.8 Гу MDE≈2 места — заранее объявлен описательным.
|
||||
Сверки до чтения: исходник побайтно тот же (у E6 нет поля podacha — риг другой фазы), потолки вывода напечатать, промт E6 распечатать wire-аналогом и прочесть вслух.
|
||||
--verify-read EXIT=0; ключ до ответов; раскладка своя на главу.
|
||||
Пре-рег: панель-G (grok, ~$0.25–0.30, только после панели-0)
|
||||
Армы: KE — grok-редактор над замороженным D0 (тем же, что видели Z0/ZF; сверка sha черновика в клетке против D0) · KK — grok-редактор над grok-черновиком KD (вендор-независимость полного стека) · RK — пере-читается в этой же панели (гард регрессии к среднему) · Z0/ZF — пол.
|
||||
Конфигурация уравнена с компаратором: KE/KK/KD на low, как куплен RK; уровень — числом; в клетки писать call_kwargs и reasoning_text.
|
||||
Первичный эндпойнт — те же дефект-классы; ранги вторичны (MDE DiD ≈ 4 места при n=16 — печатается заранее).
|
||||
Клейм: «интеракция архитектура×жилец на испытанных жильцах», не «минимакс».
|
||||
Покупка после --wire; смета названа; потолок сессией не поднимать.
|
||||
Консилиум закончен. Расхождений не осталось — все семь пунктов скептика вшиты, и он это подтвердил.
|
||||
|
||||
Насколько перевернуло
|
||||
1. ⛔ «Второй проход нужен» — главный устойчивый вывод пяти экспериментов — оказался конфаундом
|
||||
Панель доказывала только «текст, которого не касалась дорогая модель, различимо хуже». Однопроходка — живой контрпример внутри той же панели: один вызов, никакого второго прохода, и стоит в хорошей группе.
|
||||
|
||||
Пять экспериментов носили эту формулировку. Никто не заметил.
|
||||
|
||||
Честная версия: «каждого слова обязана коснуться дорогая пишущая модель; число проходов — вопрос цены».
|
||||
|
||||
2. ⛔ Номинальный объём всех наших вердиктов завышен вдвое
|
||||
«12–15 глав» наших панелей = 7.4–7.8 главы Гу по вашему эталону. Всё, что мы называли выводами, вынесено на объёме вдвое меньшем, чем звучало.
|
||||
|
||||
3. «Платим не за вендора, а за размышление» — не закон
|
||||
Grok на верхней ступени хуже, чем на нижней. Gemini на low не хуже, чем на high. Это свойство пары модель×конфигурация, а не механизм. Ростер, «включающий думание всем ради качества», жёг бы деньги впустую.
|
||||
|
||||
4. И самое неприятное методически
|
||||
Нулевые выводы — единственные, которым дефекты класса «реализация не то, чем названа» ПОМОГАЮТ. Любой такой дефект раздувает разброс и производит неразличимость. Наши «схемы неразличимы» и наши 11 блокеров — не независимые факты.
|
||||
|
||||
Ответ на ваш минимаксный критерий
|
||||
По браку — да, достижимо архитектурой. По прозе — нет, ни одной: финальный текст весь написан кем-то, и его уровень — уровень писавшего.
|
||||
|
||||
⇒ Минимакс по браку несёт детерминированный слой, по прозе — ростер. Форма ответа: худший жилец при нашей архитектуре читается так же по браку, но стоит дороже — больше ре-генов; по прозе деградирует честно и видимо.
|
||||
|
||||
Критерий приёмки в ваших единицах
|
||||
1 глава Гу = 3 326 иероглифов. Наша китайская единица = 0.65, английская = 0.49.
|
||||
|
||||
норма
|
||||
класс А (пол, термин, кусок исходника, полнота сцены, родство) ≤1 дефекта на 100 глав Гу по каждой оси — то есть ≤15 на книгу в 1500 глав. Считается после гейтов и ре-гена
|
||||
класс Б (машинность прозы) ≤1 глава на 25 глав Гу
|
||||
стандарт панели ≥15 глав Гу = 23 китайских или 30 английских единиц
|
||||
⚠ И операционное правило: замер с разрешением хуже одной позиции — не основание менять схему.
|
||||
|
||||
Что делать — первые пять пунктов бесплатны
|
||||
⭐ Панель «слабый жилец: однопроходкой против редактором» — клетки сверены, 16 общих глав, один жилец. Это прямой ответ на ваш вопрос о буфере.
|
||||
⭐ Второе чтение вендорской панели — блокирует вердикт по вендорам.
|
||||
⭐ Второе чтение архитектурной — паспорт разброса прибора.
|
||||
⭐ Дуэль «с промтом против без промта» — вес всего промта в местах.
|
||||
⭐ Починка экстрактора абзацев — до любого нового английского замера, весь материал искажён нами.
|
||||
~$2 — кросс-главный прибор: 15 глав Гу подряд плюс счётчики. Единственный замер, отвечающий на ваш нулевой вопрос. Он же — телеметрия боевого прогона.
|
||||
Дальше по $0.10–0.35: точечная правка по критику, промт с фиксером, цензур-ось дешёвой линии, grok-редактор — но только если бесплатная панель покажет буфер.
|
||||
|
||||
Чего не узнаем никогда
|
||||
Порядок внутри середины схем (нужно 40–68 глав Гу на пару, и это нижняя оценка) · абсолютный прибор художественности · истинную дисперсию полного пайплайна · полную сетку архитектура×вендор — она комбинаторно дорога и протухает: слаг ≠ модель, веса меняются молча.
|
||||
|
||||
Полный документ у меня целиком — могу положить в репозиторий как KONSILIUM-22-08.md и обновить план. Запускать пять бесплатных замеров?
|
||||
|
||||
Скептик прислал поправки — и одна из них правит число, которое я вам показал минуту назад.
|
||||
|
||||
⛔ Исправление к моей же сводке
|
||||
Я написал «нужно 40–68 глав Гу для эффекта в 0.5 места». Неверно — это цена эффекта в 1.0 места. Эффект 0.5 стоит 160–271 главы Гу на пару.
|
||||
|
||||
Вывод «не узнаем никогда» от поправки только крепнет, но число было ошибочным вчетверо.
|
||||
|
||||
Ваш стандарт в 15 глав Гу — что он реально даёт
|
||||
прибор что видит при 15 главах Гу
|
||||
ранговый разрешение 1.63 места на китайском, 2.15 на английском — слепота ниже примерно двух мест остаётся
|
||||
счётный, частый дефект достаточно
|
||||
счётный, редкий дефект (ломается в 10% глав) нужно 25–30 глав Гу
|
||||
⚠ И принципиальное уточнение, которое он подчёркивает: мощность движется числом независимых чтений, а не объёмом текста. Главы Гу — ваш ценник, но не физика прибора. Удвоение панели сужает разрешение только в полтора раза.
|
||||
|
||||
⇒ Прямой ответ на ваш вопрос: для счётчика пятнадцати глав Гу хватает — для частых классов; для редких нет. Для рангового не хватает и не хватит.
|
||||
|
||||
Ещё три поправки, которые меняют сказанное вам
|
||||
«glm-5 запасной, вдвое дороже» — число доэрратное. По приведённой шкале он втрое-вчетверо дороже, и печатать надо полосой, а не точкой.
|
||||
|
||||
Детерминированный слой не бесплатен по качеству. Канон-фиксер несёт замеренный однонаправленный штраф — 0.58 места, шесть глав хуже, ноль лучше. Это цена слоя, и она должна стоять в решении, а не мелким шрифтом.
|
||||
|
||||
Норма «≤1 фатал на 100 глав Гу» — норматив, а не замер. Счётчиков рода, родства и голосов ещё не существует, а сама частота проверяема только на боевых прогонах, не на панелях. И база класса Б («6% машинных глав») не грунтована — надо пере-снять из сорока уже лежащих ответов, бесплатно, до печати нормы.
|
||||
|
||||
И один долг, который чуть не уронили молча
|
||||
Пере-покупка английской базы склейки выпала из очереди. На ней стоял несущий контраст всей дуги. Либо чиним за $0.4, либо явно пишем «контраст остаётся условным, принимаем, потому что схемы всё равно решены ценой». Молча уронить нельзя.
|
||||
|
||||
Он же прислал готовые к печати паспорт разрешения и пре-реги обеих панелей — с уравненной конфигурацией, гардом от регрессии, первичным эндпойнтом в дефект-классах и объявленным заранее «ранги описательны».
|
||||
|
||||
Консилиум на этом закрыт: по существу они сошлись, остались поправки формы и чисел, все внесены.
|
||||
|
||||
345
eval/dovodka/PLAN-22-08.md
Normal file
345
eval/dovodka/PLAN-22-08.md
Normal file
|
|
@ -0,0 +1,345 @@
|
|||
# ПЛАН 22.08 — ДОВЕСТИ ЭКСПЕРИМЕНТ ДО АРХИТЕКТУРНОГО ВЕРДИКТА
|
||||
|
||||
> ⚠⚠ **ЭТОТ ФАЙЛ — ПРОМТ ДЛЯ СЕССИИ ПОСЛЕ КОМПАКТА.** Он написан так, чтобы читающий его с нуля мог
|
||||
> продолжить работу, не восстанавливая контекст из разговора. Читать ЦЕЛИКОМ, не грепом.
|
||||
> Заведён по слову владельца 22.08: «составим план… это как промт. Я этот промт скормлю тебе же
|
||||
> после компакта (ты потеряешь кучу контекста, и придётся восстанавливать его)».
|
||||
>
|
||||
> **Прежде чем что-либо делать — прочитай §0 и §1. Там записано, кто ты и во что не наступать.**
|
||||
|
||||
---
|
||||
|
||||
## 0. КТО ЧИТАЕТ ЭТОТ ФАЙЛ
|
||||
|
||||
Ты — **полигон-сессия TextMachine**. Зона записи: `eval/` и `docs/experiments/`. Чужие зоны
|
||||
(`backend/`, `frontend/`, `platform/`) — только чтение. Коммитишь ТОЛЬКО пре-рег-фризы, формой
|
||||
`git commit -m "…" -- <явные пути>`; `git add -A` и `git commit -a` запрещены.
|
||||
|
||||
Разговор с владельцем — по-русски, код и комментарии — по-английски. Владелец с бэкграундом
|
||||
C++/userver; Go-решения объясняются по существу, не ссылкой на «так принято».
|
||||
|
||||
**Онбординг, если контекст пуст:** `CLAUDE.md` → этот файл → `eval/dovodka/KONSILIUM-22-08.md`
|
||||
(итог консилиума двух экспертов, на нём стоит весь этот план) → `eval/dovodka/REVIEW-21-08.md`
|
||||
(51 дефект глобального ревью) → отчёт `docs/experiments/23-editor-tier.md`, секции Д24–Д30
|
||||
(⚠ файл огромный, читать выборочно по секциям).
|
||||
|
||||
---
|
||||
|
||||
## 1. ЗАЧЕМ ВСЁ ЭТО: три вопроса владельца
|
||||
|
||||
**Вопрос 0 (метавопрос, главный):** живой художественный русский перевод **с консистентными
|
||||
терминами по ВСЕЙ книге** (1000+ глав). Победить translationese; удержать имена, термины и голоса
|
||||
на протяжении книги.
|
||||
|
||||
**Вопрос 1:** оптимальная архитектура пайплайна.
|
||||
**Вопрос 2:** связка моделей для неё — **без привязки к одному вендору**. Дословно владелец:
|
||||
«архитектура от вендора не зависит никак… даже на худших вендорах наша архитектура должна
|
||||
отрабатывать лучше, чем худшие вендоры на другой архитектуре».
|
||||
|
||||
⛔ **ГЛАВНОЕ, ЧТО НАДО ПОНЯТЬ ПРО СОСТОЯНИЕ ЗНАНИЯ:** на вопрос 0 **не отвечает ни один наш
|
||||
прибор**. Все панели мерят художественность ОДНОЙ главы; консистентность тысячи — ортогональная
|
||||
ось, и она не мерилась ни разу. Это вывод консилиума, с ним согласны оба эксперта.
|
||||
|
||||
---
|
||||
|
||||
## 2. ЕДИНИЦА ИЗМЕРЕНИЯ — «ГЛАВА ГУ». Решение владельца 22.08
|
||||
|
||||
«Глава» у нас не единица: китайская и английская отличаются вдвое. Эталон — глава «Мастера Гу»:
|
||||
|
||||
```
|
||||
1 глава Гу = 3 326 иероглифов исходника (медиана по 2 552 главам, квартили 2 819–3 439)
|
||||
наша китайская единица = 2 156 иероглифов = 0.65 главы Гу
|
||||
наша английская единица = 1 642 знака = 0.49 главы Гу
|
||||
```
|
||||
|
||||
⚠ По объёму СМЫСЛА английская единица ближе к 1/5 главы Гу (1 642 знака ≈ 280 слов).
|
||||
⚠ **Мощность движется числом независимых ЧТЕНИЙ, а не объёмом текста.** Главы Гу — ценник
|
||||
владельца, не физика прибора.
|
||||
|
||||
**Следствие, которое надо помнить:** все прошлые панели были **7.4–7.8 главы Гу**, а не «12–15
|
||||
глав». Номинальный объём наших вердиктов был завышен вдвое.
|
||||
|
||||
**Стандарт панели с 22.08: ≥15 глав Гу = 23 китайских или 30 английских единиц.**
|
||||
⚠ Стандарт — для ПОКУПАЕМЫХ ранговых панелей. Бесплатные природные эксперименты (Шаги 1 и 4) идут
|
||||
на 7.8 главы Гу — именно поэтому их ранговый эндпойнт заранее объявлен ОПИСАТЕЛЬНЫМ.
|
||||
|
||||
---
|
||||
|
||||
## 3. КАРТА: ГДЕ ЧТО ЛЕЖИТ
|
||||
|
||||
```
|
||||
eval/dovodka/KONSILIUM-22-08.md итог консилиума — ОСНОВАНИЕ ЭТОГО ПЛАНА
|
||||
eval/dovodka/REVIEW-21-08.md 51 дефект глобального ревью (11 блокеров)
|
||||
eval/dovodka/PLAN-21-08.md прошлый план: реестр дефектов и что уже починено (§6)
|
||||
docs/experiments/23-editor-tier.md отчёт: Д24 en-панель · Д26 zh-панель · Д27 аудит ·
|
||||
Д28 вендоры · Д29 сводные таблицы · Д30 ЭРРАТА ревью
|
||||
docs/experiments/00-provider-quirks.md вендор-ловушки. ЧИТАТЬ ПЕРЕД любой правкой вызовов
|
||||
eval/dovodka/rol.py главный инструмент: сборка промтов, покупка, панели, своды
|
||||
eval/dovodka/zakhod.py армы Z8/Z8R/Z1/Z7/ZF, отбор единиц, гейт цены
|
||||
eval/dovodka/contour.py склейка ZP, критик, фиксер, банк, канон-гейт
|
||||
eval/dovodka/money_d.py касса: фазы, потолки, фриз-гейт
|
||||
eval/dovodka/runs.py журнал агент-сессий (кап 200)
|
||||
~/books/dovodka/dv-*.json клетки моделей (сырьё)
|
||||
~/books/dovodka/blind-keys-rol/ ключи слепых панелей + READERS-*.json
|
||||
~/books/chtenie-rol/ пакеты чтения и ответы читателей
|
||||
```
|
||||
|
||||
**Команды, которые понадобятся:**
|
||||
```bash
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --selftest # гейты починок, ОБЯЗАТЕЛЕН
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --wire en [--arm=X] # ЧТО УХОДИТ В МОДЕЛЬ, читать вслух
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --emit-read <пара> --panel=A,B,C --tag=<тег> --each --n=16
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --verify-read <пара> --tag=<тег> # сверка сборки
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --score-arch <пара> --tag=<тег> [--anchor=RN] [--drop=uid8]
|
||||
eval/.venv/bin/python eval/dovodka/rol.py --buy <пара> <АРМ> [--n=N]
|
||||
eval/.venv/bin/python eval/dovodka/money_d.py --report | --selftest
|
||||
eval/.venv/bin/python eval/dovodka/runs.py --claim <прогон> <проход> <ток…> | --done N | --report
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. ЧТО УЖЕ РЕШЕНО КОНСИЛИУМОМ (не пере-открывать без нового основания)
|
||||
|
||||
| решение | статус |
|
||||
|---|---|
|
||||
| **«Второй проход нужен» — СНЯТО как конфаунд.** Верно: «каждого слова обязана коснуться дорогая пишущая модель; число проходов — вопрос цены» | замерено |
|
||||
| Дефолт — **одно дорогое письмо** с банком-законом; черновая стадия — конфиг профиля пары, причина пишется как «модель × длина входа × потолок вывода» | **принято ПО ЦЕНЕ при неразличимости схем** (не замер); причинность черновика — замерено (В6) |
|
||||
| «Какая схема второго прохода» — **рычаг не подтверждён при разрешении прибора**. НЕ «схемы равны» | замерено |
|
||||
| **Главный механизм качества — детерминированный слой**: узкий канон-фиксер + гейты на хвосты + ре-ген красной главы (~$0.03) | фиксер замерен; ре-ген принят без замера |
|
||||
| Минимакс владельца: по браку несут **гейты**, по прозе — **ростер** | принято |
|
||||
| ⛔ ЦЕЛЕВАЯ ФОРМА (не факт): «худший жилец — ДОРОЖЕ при том же браке; **по прозе деградирует честно и видимо**» | **ГИПОТЕЗА, решает Шаг 1; действительна лишь при идеально работающем слое. До закрытия Шага 1 НЕ основание для решений** |
|
||||
| Вердикт о вендоре — **конъюнкция** порога И знакового p<0.05 | принято |
|
||||
| **«Вендор-дефолт» как продуктовая конфигурация ЗАПРЕЩЁН** — только явный пин уровня | принято |
|
||||
| Дефолт письма — `deepseek-v4-pro`; запасной — `glm-5` с размышлением (**втрое-вчетверо дороже**, полосой) | замерено; **финальная формулировка — в Д31 после Шага 2** |
|
||||
| Дешёвая линия (`gemini` на low, `luna`) — **кандидаты, НЕ прод** до цензур-оси, zh-клеток и второго чтения | принято |
|
||||
| `grok` в роли письма: **high — хуже, но НА ГРАНИ (+1.93 при MDE 1.93, знаковый p≈0.035, одно семейство); low — одним прибором из двух** (p=0.0923, по конъюнкции НЕ закрыт) | **ожидает второго чтения; финальный вердикт — только в Д31 после Шага 2** |
|
||||
|
||||
**КРИТЕРИЙ ПРИЁМКИ (в главах Гу). ⚠ Это НОРМАТИВ, а не замер:**
|
||||
* **класс А** (пол · термин/имя · кусок исходного языка · полнота сцены · родство/ранги):
|
||||
**≤1 фатала на 100 глав Гу по каждой оси, ПОСЛЕ гейтов и ре-гена** = ≤15 на книгу 1500 глав.
|
||||
⛔ Счётчиков рода, родства и голосов **ЕЩЁ НЕ СУЩЕСТВУЕТ**; частота проверяема только гейтами
|
||||
прод-прогонов ≥100 глав Гу, НЕ панелями.
|
||||
* **класс Б** (доля глав, названных читателем машинными): **≤1 на 25 глав Гу**. База не грунтована —
|
||||
пере-снимается Шагом 5.1 ДО печати нормы.
|
||||
* ⚠ **Редкий класс (ломается в ~10% глав) при 15 главах Гу НЕ РАЗРЕШАЕТСЯ** — по редким печатать
|
||||
частоту с интервалом, а не вердикт.
|
||||
|
||||
⚠ **Цена детерминированного слоя, которую нельзя прятать:** канон-фиксер несёт замеренный
|
||||
однонаправленный штраф читаемости **0.58 места (6 глав хуже / 0 лучше, p≈0.03)**.
|
||||
|
||||
---
|
||||
|
||||
## 5. ШАГИ. ПОРЯДОК ВАЖНЕЕ СОДЕРЖАНИЯ
|
||||
|
||||
### ⭐ ШАГ 1 — ПАНЕЛЬ-0: «архитектура × слабый жилец». $0. ПЕРВЫМ
|
||||
|
||||
**Отвечает на минимаксный вопрос владельца.** На диске лежит природный эксперимент: арм `E6`
|
||||
(glm-5 РЕДАКТОРОМ над боевым черновиком, `dv-g-e6-*`) и арм `RG` (тот же glm-5 ОДНОПРОХОДКОЙ,
|
||||
`dv-n-rg-*`) — **одни и те же 16 английских глав, один жилец, у обоих `reasoning=0`,
|
||||
`finish=stop` 16/16**. Единственный варьируемый фактор — топология.
|
||||
|
||||
Предварительный сигнал по клеткам (глава `001e6ac4`, окончания глаголов 1 л., жен/муж):
|
||||
`D0` черновик 3/1 · `E6` редактор **3/2 — пол сохранён** · `RG` однопроходка **0/5 — пол сломан**.
|
||||
Обратная сторона (`197f98eb`): разрядку «Т Е Р П Е Н И Е» потерял сам черновик → потеряли и `E6`,
|
||||
и `RG`. ⇒ **буфер чинит только то, что черновик донёс.**
|
||||
|
||||
⛔ **НЕ ПЕРЕНОСИТЬ ЭТОТ ПРЕДВАРИТЕЛЬНЫЙ СИГНАЛ В ПАКЕТЫ ЧИТАТЕЛЕЙ.** Пакет не имеет права называть
|
||||
ни вердикт другого прибора, ни существование контроля (§6).
|
||||
|
||||
**Пре-рег (записать в отчёт ДО сборки пакетов):**
|
||||
0. ⛔ **БЛОКЕР СБОРКИ: `rol.py` НЕ ЗНАЕТ арм `E6`** — единственное его вхождение там комментарий,
|
||||
клетки `dv-g-e6-*` читают `contour.py`/`en_axis.py`, и **схема клеток другая** (нет полей `pair`
|
||||
и `podacha`, `role=editor3`). Команда `--emit-read --panel=RG,E6,…` в текущем коде НЕ соберётся.
|
||||
Сперва правка сборки: зарегистрировать источник `dv-g-e6-*`, учесть иную схему, уронить селфтест
|
||||
на заведомо больном входе. Зона твоя, править можно. **Старые теги не пере-эмитировать.**
|
||||
⚠ Промт `E6` для «wire-аналога» (п.5) берётся из рига фазы **ФД-G**, не из `rol.py`.
|
||||
1. Состав панели: `RG` · `E6` · `Z0` · `ZF`. 16 английских глав пересечения, uid-список
|
||||
зафиксирован ДО чтения. **Тег новый; существующие теги не пере-эмитировать.**
|
||||
2. В шапке пре-рега напечатать: оба арма — glm-5, `reasoning=0` на 16/16, `finish=stop` 16/16.
|
||||
3. **ПЕРВИЧНЫЙ ЭНДПОЙНТ — ДЕФЕКТ-КЛАССЫ, НЕ МЕСТА.** Грепы объявить и снять ДО сборки пакетов:
|
||||
пол рассказчика (окончания глаголов 1 л.) · авторские приёмы (разрядки) · куски исходного
|
||||
языка · термины банка. Тест — парный знаковый по главам.
|
||||
3а. **Эталон грепов фиксируется ДО снятия**, иначе их можно подогнать под увиденное: для КАЖДОЙ
|
||||
главы таблицей — применим ли класс и какое значение верно по исходнику (пол рассказчика и т.п.).
|
||||
Грепы валидируются на `D0`/`E0` с известным полом и **печатают строки-совпадения, не только счёт**.
|
||||
3б. **Правило решения первичного эндпойнта:** первичная величина — **число глав с ≥1 фаталом из
|
||||
списка** (агрегат), парный знаковый тест p<0.05. По-классовые разбивки — вторичные.
|
||||
4. Вторичный эндпойнт — ранги (`RG`↔`E6`). При 7.8 главы Гу MDE≈2 места ⇒ **заранее объявляется
|
||||
ОПИСАТЕЛЬНЫМ**.
|
||||
5. Сверки до чтения: исходник побайтно тот же (у `E6` нет поля `podacha` — риг другой фазы);
|
||||
потолки вывода напечатать; промт `E6` распечатать `--wire`-аналогом и **прочесть вслух**.
|
||||
6. `--verify-read` EXIT=0; ключ до ответов; раскладка своя на каждую главу.
|
||||
|
||||
**Критерий готовности шага:** свод напечатан, дефект-классы посчитаны, вердикт сформулирован как
|
||||
**«интеракция архитектура × жилец на ИСПЫТАННЫХ жильцах»** — не «минимакс» (худший редактор не
|
||||
искался; связка двухвендорна).
|
||||
|
||||
### ⭐ ШАГ 2 — ВТОРОЕ ЧТЕНИЕ `vendor2`. $0. БЛОКИРУЕТ ВЕРДИКТ ПО ВЕНДОРАМ
|
||||
|
||||
⛔ **БЛОКЕР, ЕСЛИ СДЕЛАТЬ НАИВНО: путь файла ответа ВПЕЧАТАН В САМ ПАКЕТ.** Значит «ответы в другой
|
||||
каталог» невозможно без правки пакета, а правка пакета померяет разницу промтов, а не разброс
|
||||
прибора. И читатель-2 получил бы путь к ответу читателя-1 — перезаписал бы его либо увидел, и
|
||||
согласие читателей оказалось бы **сфабриковано молча**.
|
||||
|
||||
**Правильная процедура:** ДО запуска перенести ответы первого чтения в `r1/` (счёт файлов до и
|
||||
после — ни один не потерян). **Пакеты не трогать вовсе**; читатели пишут по прежнему впечатанному
|
||||
пути. После прогона собрать новые ответы в `r2/`. Ключи НЕ пере-эмитировать. Новые сессии.
|
||||
Промт чтения — тот же байт в байт.
|
||||
|
||||
Метрики, объявленные ДО: (i) корреляция порядков читатель-1/читатель-2 по главе; (ii) пере-счёт
|
||||
всех контрастов на втором чтении, счёт перевёрнутых вердиктов, отдельно маржевые `RK`/`RE`;
|
||||
(iii) доля дисперсии разностей читателей в дисперсии парной разности — **это и есть «сколько в
|
||||
пороге прибора»**; (iv) держится ли p у `RKT`.
|
||||
|
||||
⚠ Одно семейство меряет ШУМ, не ВКУС. Вкус закрывают только якорные главы владельца.
|
||||
|
||||
**Вердикт Д31 по вендорам НЕ ПЕЧАТАТЬ до метрики (ii).**
|
||||
|
||||
### ⭐ ШАГ 3 — ВТОРОЕ ЧТЕНИЕ `arch2`. $0
|
||||
|
||||
То же самое на архитектурной панели. Без него **ни одно «неразличимо» не имеет паспорта
|
||||
разрешения**.
|
||||
|
||||
### ⭐ ШАГ 4 — ДУЭЛЬ «промт против без промта». $0
|
||||
|
||||
16 клеток `dv-n-re-*.БЕЗ-ПРОМТА.json` (gemini перевёл их вообще без инструкции — вендор молча
|
||||
выбросил второе системное сообщение) уже оплачены и лежат в карантине.
|
||||
|
||||
⛔ **Стандартный загрузчик их НЕ ПРОЧТЁТ**: суффикса `.БЕЗ-ПРОМТА` в `rol.py` нет нигде. Завести
|
||||
**псевдо-арм под нейтральным именем** (например `RQ`) со своим загрузчиком карантинного суффикса.
|
||||
⚠ Строк «БЕЗ-ПРОМТА» не должно быть ни в пакете, ни в ключе. Гейт правильности файлов: у
|
||||
карантинных `prompt_tokens` ≈515 против ≈2951 у нормальных. `--verify-read` прогнать на новом теге.
|
||||
|
||||
Панель: `RE` · `RQ` (карантин) · `Z0` · `ZF`, 16 глав. **«Родство пары не прятать» относится к
|
||||
СВОДУ: пакет о родстве молчит, как и обо всём прочем.** Решает **систематический знак**, а не
|
||||
величина разрыва. Сверить у карантинных клеток `finish=stop` и
|
||||
`prompt_tokens` ≈ 515 против ≈ 2951 у нормальных.
|
||||
|
||||
⇒ Даёт **вес ВСЕГО промта в единицах прибора**. Если даже полный промт не даёт устойчивого знака —
|
||||
у прибора нет разрешения для промт-инженерных выводов, и это печатается рядом с каждым «не хуже».
|
||||
|
||||
### ⭐ ШАГ 5 — ДВЕ БЕСПЛАТНЫЕ ПЕРЕ-СНЯТИЯ БАЗЫ
|
||||
|
||||
1. **База класса Б не грунтована.** «6% машинных глав» надо пере-снять из **40 уже лежащих
|
||||
ответов** читателей, объявив формулировку вопроса. До этого норму класса Б не печатать.
|
||||
2. **Счётчики отладить на купленных срезах** (род по морфологии · удержание канона по позиции ·
|
||||
голоса · девизы). ⛔ **Покупать 15 глав Гу с несуществующими счётчиками — купить сырьё без
|
||||
прибора** (класс В20 ревью: оплаченные клетки, которых не прочёл ни один прибор).
|
||||
|
||||
### ШАГ 6 — ПОЧИНКА ПРОВЕНАНСА РИГА. $0. ДО ЛЮБЫХ ПОКУПОК
|
||||
|
||||
* Клетки обязаны хранить `call_kwargs` и `reasoning_text` — сейчас **прямого доказательства
|
||||
того, что ушло по проводу, на диске нет**, только косвенность по токенам.
|
||||
* Свод обязан печатать **паспорт разрешения** под каждым вердиктом:
|
||||
|
||||
```
|
||||
ПАСПОРТ: прибор=ранговый · слепое чтение fable-5 · 1 чтение/глава · семейств 1
|
||||
n=15 ед (7.4 глав Гу) · k=10 армов · sd контраста 4.2 · MDE 3.07 места
|
||||
пол |Z0−ZF|=2.80 (случайное 4.0; НИЖНЯЯ граница: общий черновик, читатель опознаёт родство)
|
||||
правило: |Δ|>MDE И знаковый p<0.05 · клетки: [теги]
|
||||
слеп к: эффектам <MDE · кросс-главной консистентности · расхождению вкуса прибора с владельцем
|
||||
```
|
||||
|
||||
### ШАГ 7 — ⭐⭐ КРОСС-ГЛАВНЫЙ ПРИБОР. ~$2. ЕДИНСТВЕННЫЙ ЗАМЕР ПОД ВОПРОС 0
|
||||
|
||||
**15 глав Гу ПОСЛЕДОВАТЕЛЬНО** одной книги одним профилем + счётчики из Шага 5.
|
||||
Единица анализа — **персонаж×глава и термин×глава**, не глава.
|
||||
|
||||
⛔ **САМОЕ ОПАСНОЕ МЕСТО ВСЕГО ПЛАНА.** Если гнать полигон-ригом БЕЗ живого банка и терминолога,
|
||||
замер консистентности померяет пайплайн **без носителя консистентности** — и ответ на вопрос 0
|
||||
будет ложно-отрицательным ПО ПОСТРОЕНИЮ.
|
||||
**В пре-реге назвать до покупки:** книга 蛊真人 · **15 её родных глав ПОДРЯД, диапазон указать
|
||||
числами** · профиль — боевой, **С ЖИВЫМ БАНКОМ**, движковым путём · исполнитель. Если движковый
|
||||
прогон вне зоны полигона — **пинг оркестратору ДО покупки**. Счётчики бегут по экспорту.
|
||||
|
||||
Слои: дрейф рода по персонажам · удержание банка по позиции в книге · маркеры речевого портрета ·
|
||||
повторяемые формулы и девизы.
|
||||
|
||||
⚠ Честно записать: один прогон одного профиля — это **n=1 по пайплайну**. Он ОТКРЫВАЕТ классы
|
||||
дефектов, но НЕ сравнивает схемы.
|
||||
⭐ Тот же прибор — готовая in-loop телеметрия боевого прогона. Покупается один раз.
|
||||
|
||||
### ШАГ 8 — ОСТАЛЬНЫЕ ПОКУПКИ, по убыванию
|
||||
|
||||
| что | цена | что закрывает |
|
||||
|---|---|---|
|
||||
| пере-покупка английской базы `ZP` | ~$0.4 | несущий контраст Д23 стоит на арме с ЧУЖИМ (китайским) мандатом. **Либо чиним, либо ЯВНО пишем «контраст условный». Молча уронить нельзя** |
|
||||
| З-2: критик → **точечная** правка над однопроходкой | ~$0.35 | ядро V6 владельца; мерился только фиксер над ДЕШЁВЫМ черновиком, перенос запрещён |
|
||||
| З-1: `RN` + канон-фиксер | ~$0.10 | лучший промт с детерминированной страховкой, не пробован |
|
||||
| цензур-ось всей дешёвой линии | ~$0.2–0.6 | без неё «gemini за $9 на книгу» продуктово пусто. Порог отказов объявить ДО пробы; wire-лог отделяет отказ от таймаута |
|
||||
| `KE`: grok-редактор на `low` над **ЗАМОРОЖЕННЫМ** `D0` | ~$0.15 | **только если Шаг 1 покажет буфер.** `RK` пере-читается в той же панели (гард от регрессии к среднему) |
|
||||
| дозная калибровка | $0–0.1 | карта «дефекты ↔ места». Порченым клеткам свой префикс и помета «в своды не брать» |
|
||||
|
||||
---
|
||||
|
||||
## 6. ГАРДРЕЙЛЫ И ЛОВУШКИ — читать перед каждым шагом
|
||||
|
||||
**Деньги. ⛔ СОСТОЯНИЕ НА 22.08: пакетный резерв $1.26 (17.04 из 18.30), в ФД-N свободно $0.29.**
|
||||
Шаг 7 (~$2) и Шаг 8 целиком (~$1.1–1.65) в резерв НЕ ВЛЕЗАЮТ — нужна НОВАЯ фаза и слово владельца
|
||||
ДО начала. Это штатный вопрос, а не авария: сессия после компакта иначе упрётся в гард на первой
|
||||
же покупке и не поймёт, почему.
|
||||
Потолки фаз поднимать решением сессии ЗАПРЕЩЕНО: называть сумму и ждать слова
|
||||
владельца. Пакетный потолок не трогать вовсе. Срабатывание гарда = СТОП и вопрос.
|
||||
Фриз-гейт отказывает покупке из незакоммиченного файла и из stdin — это правильно, фризить ПЕРЕД
|
||||
покупкой.
|
||||
|
||||
**Панели.** Пере-эмиссия с другим составом армов переписывает раскладку уже прочитанной панели —
|
||||
ответы становятся мусором молча. Новый состав = новый тег, всегда.
|
||||
Резать панель, ось или кандидата решением сессии ЗАПРЕЩЕНО.
|
||||
|
||||
**Читатели.** Идентичность в файл ДО запуска · `runs.py --claim` ДО запуска · аудит
|
||||
транскриптов ПОСЛЕ (⚠ **инструмента `--audit-read` НЕ СУЩЕСТВУЕТ** — либо руками по образцу
|
||||
Д24: вызовов/путей/глав на читателя, либо построить его Шагом 6) · пакет не имеет права называть ни вердикт другого прибора, ни существование
|
||||
контроля · один читатель на главу (главы большие).
|
||||
|
||||
**Провод.** Аномалия (флейк, 404 живой модели, новый `finish_reason`, игнор параметра) → сперва
|
||||
**официальная дока вендора**, потом диагноз. Не гадать.
|
||||
DeepSeek: НИКОГДА не отключать thinking. Слаг ≠ модель: веса меняются молча.
|
||||
|
||||
**Класс дефекта, который поймал нас пять раз за два дня — «реализация не то, чем названа»:**
|
||||
промт нёс мандат чужой пары · размышление молча гасилось нашим кодом · вендор молча терял второе
|
||||
системное сообщение · опубликованные числа не совпадали с сырьём · два арма панели оказались одним
|
||||
текстом. **Ни один гейт этого не поймал — ловит только чтение того, что реально уходит в модель.**
|
||||
⇒ `--wire` перед каждой покупкой, и прочесть вслух в отчёте.
|
||||
|
||||
⚠ **Нулевые выводы — единственные, которым дефекты этого класса ПОМОГАЮТ:** любой такой дефект
|
||||
раздувает разброс и производит «неразличимость». Прежде чем печатать «схемы неразличимы»,
|
||||
спроси себя, не куплена ли эта неразличимость дефектом.
|
||||
|
||||
**⛔ EXIT=0 и «СБОРКА ГОДНА» — НЕ СЕРТИФИКАТ.** `--verify-read` печатает побайтно совпадающие армы,
|
||||
но сборку НЕ роняет; `--score-arch` возвращает 0 всегда. Дубли и контроли свода читать ГЛАЗАМИ —
|
||||
именно так панель из 11 армов однажды показывала читателю 10 текстов.
|
||||
|
||||
**Мандат самопроверки (решение владельца 12.07).** Каждый шаг закрывается ревью ИСПОЛНЕНИЕМ:
|
||||
своего кода · сформированных запросов к моделям · полученных результатов. Полигон регулярно
|
||||
ошибается, и это искажает эксперименты.
|
||||
|
||||
**Тесты и гейты под зелень не подгонять.** Несогласие с тестом — вопрос владельцу, не правка.
|
||||
|
||||
---
|
||||
|
||||
## 7. ЧЕМ ЗАКРЫВАЕТСЯ РАБОТА
|
||||
|
||||
Эксперимент считается доведённым до архитектурного вердикта, когда:
|
||||
|
||||
1. **Шаг 1 закрыт** — известно, буферизует ли топология слабого жильца, и вердикт назван в
|
||||
терминах интеракции на испытанных жильцах.
|
||||
2. **Шаги 2–3 закрыты** — у каждого «неразличимо» есть паспорт разрешения, и известно, сколько в
|
||||
пороге от прибора, а сколько от текста.
|
||||
3. **Шаг 4 закрыт** — известен вес всего промта в единицах прибора.
|
||||
4. **Шаг 7 закрыт** — у вопроса 0 впервые появился прибор.
|
||||
5. Долг по английской базе `ZP` либо закрыт покупкой, либо **явно объявлен условным**.
|
||||
6. Отчёт получил секцию **Д31** с вердиктом по вендорам (по конъюнкции!) и паспортом.
|
||||
7. Пинг в `docs/PROGRESS.md`, секция «Полигон» — там уже висит пинг №19 о движковом дефекте
|
||||
(Gemini теряет глоссарий на эскалации), ответа нет.
|
||||
|
||||
## 8. ЧЕГО НЕ ДЕЛАТЬ
|
||||
|
||||
* **Не покупать новые главы ради различения схем середины.** Цена: эффект 1.0 места ≈ 40 глав Гу
|
||||
(zh) / 68 (en); эффект 0.5 места ≈ 160 / 271. Там решают цена и хвосты, а не чтение.
|
||||
* **Не печатать «схемы равны»** — только «рычаг не подтверждён при разрешении прибора».
|
||||
* **Не называть английские армы продакшеном** — английского пар-пакета в `backend/prompts/` нет
|
||||
вовсе, он живёт только в полигоне.
|
||||
* **Не чинить `contour.base_a0` гашением текста** — проверено исполнением: единица выпадает из
|
||||
отбора, и `chosen()` молча подставляет другую. Гейт годности стоит на СБОРКЕ панели.
|
||||
* **Не лезть в `backend/`** — пинговать оркестратора.
|
||||
Loading…
Add table
Reference in a new issue