textmachine/eval/dovodka/KONSILIUM-22-08.md

179 lines
34 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<!-- ⚠ Это ИТОГ КОНСИЛИУМА двух экспертов (архитектор продукта + скептик замера), 22.08.
Диалоговые реплики оркестратора владельцу из файла вычищены: после компакта они читались
бы как открытые поручения. Основание плана PLAN-22-08.md. -->
ФИНАЛЬНЫЙ ДОКУМЕНТ КОНСИЛИУМА
Синтез согласован со скептиком напрямую: все семь его пунктов последнего круга приняты и вшиты. Существенных расхождений между нами не осталось; если он пришлёт отдельное письмо — это будут поправки формы, не содержания.
1. Архитектура: что фиксируем
# Решение Носитель Статус
1 Единица перевода — сцена (границы сцен, V6 п.1) схема/сегментация принято без замера (косвенно: обрыв кульминации Д27.3)
2 «Каждого слова обязана коснуться дорогая пишущая модель; число проходов — вопрос цены.» Формулировка «второй проход нужен» СНЯТА: панель конфаундировала «второй проход» с «дорогой моделью» (ZD/Z8 — единственные армы без дорогой модели; однопроходка — контрпример). Дефолт профиля — одно дорогое письмо с банком-законом схема замерено (Д24/Д26: ZD/Z8 различимо последние на обеих парах)
3 Черновая стадия — конфиг профиля пары, не принцип. Причина включения пишется как «модель × длина входа × потолок вывода», НЕ «пара такая» (RN на zh: медиана размышления 25 562 против 842 у склейки — разгон на длинном входе; выстрелит и на длинных en-главах) схема (данные профиля) замерено (В6)
4 Вердикт по схемам: «рычаг „какая схема второго прохода“ не подтверждён при разрешении прибора (MDE 1.83.3 места, n = 78 глав Гу, одно читательское семейство)» — не «схемы равны». Операционное правило: пока рычаг не показан, между схемами решают цена, хвосты, детерминизм, наблюдаемость схема замерено — в этой формулировке
5 Главный механизм качества — детерминированный слой: канон-фиксер (узкий: его правки несут мелкий однонаправленный штраф читаемости на zh) + гейты на хвосты (finish · полнота по якорям · язык выхода · эхо · род) + ре-ген красной главы (~$0.03) как штатный режим гейт фиксер замерен (48→22 щели zh); ре-ген как режим — принято без замера
6 Банк — носитель кросс-главной консистентности: характер-листы (пол/родство/ранги/голоса), девизы как канон. Отдельная строка: рассказчик 1-го лица без имени — недостроенный гейт (банку нечего лукапить; трекинг лица по глагольным окончаниям нетривиален, даёт ложные срабатывания) банк + гейт построено частично; кросс-главный эффект НЕ замерен ничем
7 Новая строка контракта: «что обязан гарантировать ЧЕРНОВИК» — буфер наследует его провалы (по клеткам: разрядка «Т Е Р П Е Н И Е» потеряна черновиком → потеряна и E6, и RG; пол рассказчицы черновик донёс → E6 сохранил, RG сломал; единичные случаи, до панели) схема+гейт принято, гейтится панелью-0
8 Минимакс владельца: по браку (класс А) — гейты + эскалация + ре-ген, жилец-независимо по построению; по прозе (класс Б) — ростер. Клейм в терминах «интеракция архитектура × жилец на ИСПЫТАННЫХ жильцах» (худший редактор не искался; связка двухвендорна). Форма ответа владельцу: худший жилец при нашей архитектуре читается так же по браку, но дороже (больше ре-генов); по прозе деградирует честно гейт + ростер принято; решающая клетка — панель-0 ($0)
9 Профили = данные: пар-промпты, уровень размышления поармно ЗНАЧЕНИЕМ. Движковые фиксы вендор-независимости: склейка системных для Gemini в render.go (эскалация молча теряет глоссарий), ручка эффорта банк-ролям (бэклог 104), английский пар-пак в бэкенд ростер/движок найдено кодом; принято
10 Провенанс рига: клетки хранят call_kwargs и reasoning_text; гейт «промт на провод» перед каждой покупкой; паспорт разрешения под каждым вердиктом (n в единицах И главах Гу · k · sd · MDE · пол против случайного ожидания с оговоркой «занижен: общий черновик + читатель опознаёт родство» · чтений/главу · семейств · правило) риг принято, фикс ДО следующих покупок
2. Модели: что фиксируем
Дефолт письма — deepseek-v4-pro (замерено; оговорка: H-4 на en/ja не установлен). Запасной — glm-5 с размышлением (×2 по цене, en). Точечный edit по критику — не в проде до З-2.
Дешёвая линия (gemini-REL $0.006/ед, luna $0.0024/ед) — кандидаты, НЕ прод до: цензур-оси, zh-клеток, второго чтения vendor2 (заказано). Панель vendor2 без пре-рега = описательная.
Правило вердикта о вендоре — конъюнкция (порог И знаковый p<0.05): RK НЕ различим; RKT различим; итог «grok закрыт в письме на обоих уровнях эффорта, low одним прибором из двух». RE с оговорками (знаковый p=0.0352; 0 токенов размышления 16/16; вендор-дефолт слага НЕ документирован Google).
«Вендор-дефолт» как продуктовая конфигурация ЗАПРЕЩЁН только явный пин уровня. Конфигурация модели = часть арма, объявляется значением.
Протокол замены жильца ($0.10.6): 16 клеток + слепая панель с якорями + эхо-контроль + цензур-проба + конъюнкция + паспорт разрешения. Слаг модель: при аномалиях поведенческая проба, не листинг.
Известно слабые (закрыты): grok в письме; glm-5 без размышления; gemini как единственный дорогой исполнитель на violence/18+ (fail-closed неконфигурируем).
3. Критерий приёмки в главах Гу (1 глава Гу = 3 326 иероглифов; zh-единица = 0.65, en-единица = 0.49)
Класс А (счётчик, $0): пост-гейтовый остаток 1 фатального дефекта на 100 глав Гу по каждой оси (пол · термин/имя · кусок исходного языка · полнота сцены · родство/ранги) = 15 на книгу 1500 глав. Сырой выход модели мерим, не нормируем норма стоит ПОСЛЕ гейтов+ре-гена. Мощностной проблемы нет: счётчик поглавный.
Класс Б (чтение): доля глав, названных читателем «машинным/подстрочником», 1 на 25 глав Гу (уровень, уже показанный вторым проходом). Сравнение схем только с паспортом разрешения; замер с MDE >1 позиции — не основание менять схему.
Стандарт панели: ≥15 глав Гу = 23 zh / 30 en единиц (все прошлые панели были 7.47.8 глав Гу).
4. Что мерить дальше (ранжировано; ⭐ = бесплатно)
⭐ Панель-0: E6/RG + якоря Z0/ZF/RN — интеракция «архитектура × слабый жилец»: один жилец (glm-5, reasoning=0 в обоих, 16/16 общих глав — сверено по клеткам). Закрывает вопрос владельца о буфере.
⭐ Второе чтение vendor2 (заказано) — гейт всех вендор-вердиктов.
⭐ Второе чтение arch2 (З-6) — паспорт разброса прибора; без него ни одно «неразличимо» не имеет паспорта.
⭐ Дуэль RE против RE-без-промта (16 клеток в карантине) — вес ВСЕГО промта в местах: якорь шкалы прибора.
⭐ Починка экстрактора абзацев — до любого нового en-замера (весь en-материал искажён нами).
~$2 — кросс-главный прибор: 15 глав Гу ПОСЛЕДОВАТЕЛЬНО одним профилем + $0-счётчики (род по морфологии · удержание канона по позиции · голоса · девизы). Единственный замер, отвечающий на метавопрос; он же — in-loop телеметрия прода (двойное использование).
~$0.35 — З-2: критик → точечная правка над однопроходкой (ядро V6).
~$0.10 — З-1: RN + канон-фиксер.
~$0.20.6 — цензур-ось всей дешёвой линии (вкл. черновые модели) с пре-регом: порог отказов, убивающий вендора, объявлен ДО пробы; wire-лог отделяет отказ от таймаута.
~$0.15 — KE: grok-редактор, reasoning low (уравнен с RK), над ЗАМОРОЖЕННЫМ D0 — только если панель-0 покажет подпорку; RK пере-читается в той же панели (гард от регрессии к среднему).
$00.1 — дозная калибровка: внесённые дефекты известного размера → карта «дефекты ↔ места».
5. Что мы НЕ узнаем никогда (при разумных бюджетах)
Порядок внутри середины схем: MDE 0.5 места ≈ 40 глав Гу (zh) / 68 (en) на пару — и это нижняя оценка при поле, который занижен. Не купим — и не надо: там решают цена и хвосты.
Абсолютный прибор художественности: признаки регистра порядок владельца не воспроизводят (снято); класс Б навсегда остаётся парным чтением + человеком на хвосте.
Истинную дисперсию полного пайплайна: пол Z0/ZF мерит только вторую стадию над общим черновиком.
Полную сетку архитектура × вендор: комбинаторика в сотни долларов, и она протухает — слаг ≠ модель, веса меняются молча. Любой вендор-факт имеет срок годности.
Худшего ВОЗМОЖНОГО жильца каждой роли — только худшего из испытанных.
6. Что консилиум перевернул (без смягчений)
«Второй проход нужен» — главный устойчивый вывод пяти экспериментов — был конфаундом. Панель доказывала лишь «текст, которого не касалась дорогая модель, различимо хуже»; однопроходка — живой контрпример внутри той же панели. Пять экспериментов носили это, никто не заметил.
«Платим не за вендора, а за размышление» — не закон. grok high (9.13) хуже grok low (7.20); gemini low не хуже high. Это свойство пары модель × конфигурация; ростер, «включающий думание всем ради качества», жёг бы деньги впустую.
«Схемы неразличимы» превращалось в «схемы равны» без права: MDE ≈ 2 места на 78 главах Гу, пол скомпрометирован (общий черновик + читатель текстуально опознаёт близнецов), правило решения применялось не как пре-рег. Нулевые выводы — единственные, которым дефекты класса «реализация не то, чем названа» ПОМОГАЮТ: любой такой дефект раздувает sd и производит неразличимость.
Номинальный объём всех вердиктов завышен вдвое: «1215 глав» панелей = 7.47.8 глав Гу по эталону владельца.
Расхождения: по существу не осталось — семь финальных пунктов скептика приняты полностью (формулировка нулевого вердикта, причинность профиля, контракт черновика, гейт безымянного рассказчика, конъюнкция, переименование минимакс-клейма, паспорт разрешения). Ему отправлено подтверждение с описанием того, как каждый пункт вшит; если он увидит искажение в передаче — пришлёт тебе поправку отдельно.
Свод архитектора разминулся с моим вторым сообщением (восемь правок) — он подтвердил приём только первых семи пунктов и сам сказал: «шли поправку оркестратору, возражать не буду». Ниже — несогласия-поправки к уже отправленному своду, затем три заказанных артефакта.
Несогласия / поправки к своду (архитектор предупреждён, возражений не заявил)
П5, ошибка в 4 раза. «MDE 0.5 места ≈ 4068 глав Гу» — это цена эффекта 1.0 места. Эффект 0.5 места стоит 160271 глав Гу на пару (246 zh-ед / 553 en-ед). Вывод «не узнаем никогда» от правки только крепнет, но число в своде неверно.
П2: «glm-5 запасной, ×2» — пре-эрратное число; Д30.8 даёт ×3.24.1 к якорю (и полосой, не точкой).
Пере-купка en-базы ZP выпала из очереди. Условие Д30.1 не закрыто: либо строка «~$0.4, чинит несущий контраст Д23», либо явное «контраст RN/склейка остаётся УСЛОВНЫМ, принимаем, потому что схемы решены ценой». Молча уронить нельзя — на нём стояла дуга Д23Д25.
П1.3: цена детерминированного слоя. Фиксер несёт замеренный однонаправленный штраф 0.58 места (6 глав хуже / 0 лучше, p≈0.03, Д30.2) — в свод как цену слоя, а не мелким шрифтом.
П4 №4 (15 последовательных Гу): счётчики рода/канона/голосов отладить на уже купленных срезах ($0) ДО покупки — иначе повтор В20: оплаченные клетки, которых не прочёл ни один прибор.
П3, класс А: порог ≤1 фатал/100 Гу — норматив, не замер; счётчиков рода/родства/голосов ещё не существует (пометить); частота 1/100 Гу проверяема только гейтами на прод-прогонах ≥100 Гу, не панелями. Класс Б: база «6% машинных глав» не грунтована — определить формулировку вопроса читателю и пере-снять базу из 40 лежащих ответов ($0) до печати нормы.
«grok high хуже low» печатать с паспортом: парно +1.93 при MDE 1.93, знаковый p≈0.035 — на грани, одно семейство; рядом REL/RET (3020 против 4060 токенов, разрыв 0.27 — шум).
Принято и вшито без разногласий: конъюнкция (RK не различим / RKT различим), RE-оговорки, «ожидает r2 vendor2», «интеракция на испытанных жильцах» вместо минимакса, KE над замороженным D0 на low, гард пере-чтения RK, цензур-пре-рег, провенанс-фикс, причинность «модель×длина×потолок», контракт черновика, гейт безымянного рассказчика.
Мощностная таблица в главах Гу
Конверсия: zh-ед = 0.65 Гу, en-ед = 0.49 Гу. ⚠ Мощность движется числом независимых чтений, не объёмом: Гу — ценник владельца, не физика прибора. Главы одной книги — не независимые выборы жанра.
Ранговый прибор (парный контраст, 2.8·sd/√n; sd наблюдённый: zh 2.8 при k=8, en 4.2 при k=1011):
ловимый эффект zh: ед / глав Гу en: ед / глав Гу
2.0 места 16 / 10 35 / 17
1.5 места 27 / 18 61 / 30
1.0 места 61 / 40 138 / 68
0.5 места 246 / 160 553 / 271
Стандарт 15 Гу (23 zh / 30 en ед) даёт MDE 1.63 места (zh) и 2.15 (en): слепота ниже ~1.62.2 мест остаётся; удвоение панели сужает MDE лишь в √2.
Дуэльный (знаковый тест предпочтения A/B): 70/30 → ~46 ед (23 Гу en / 30 zh); 65/35 → ~82 ед (40/53); 60/40 → ~188 ед (92/122).
Счётный прибор (дефект-класс, парный бинарный по главам): класс, ломающийся в ≥2030% глав при ~0 у компаратора — ~2530 ед ≈ 15 Гу, достаточно; редкий класс (10% глав) — ~5060 ед ≈ 2530 Гу. Ответ владельцу: «15 Гу для счётчика хватает» — да для частых классов, нет для редких.
Паспорт разрешения (форма под печать, под каждый вердикт)
ПАСПОРТ: прибор=ранговый · слепое чтение fable-5 · 1 чтение/глава · семейств 1
n=15 ед (7.4 глав Гу) · k=10 армов · sd контраста 4.2 · MDE 3.07 места
пол |Z0ZF|=2.80 (случайное 4.0; НИЖНЯЯ граница: общий черновик, читатель опознаёт родство)
правило: |Δ|>MDE И знаковый p<0.05 · клетки: [теги, что переиспользовано]
слеп к: эффектам <MDE · кросс-главной консистентности · расхождению вкуса прибора с владельцем
Пре-рег: панель-0 (RG/E6, $0)
Состав: RG · E6 · Z0 · ZF; 16 en-глав пересечения, uid-список зафиксирован до чтения; тег новый, старые теги не пере-эмитятся.
Жилец уравнен: оба glm-5, reasoning=0 на 16/16, finish=stop 16/16 (сверено по клеткам) печатается в шапке.
Первичный эндпойнт дефект-классы, грепы объявлены и сняты ДО сборки пакетов (пол рассказчика по глагольным окончаниям 1 л. · разрядки/авторские приёмы · куски исходного языка · банк-термины); тест парный знаковый по главам.
Вторичный ранги (RGE6, конъюнкция); при 7.8 Гу MDE2 места заранее объявлен описательным.
Сверки до чтения: исходник побайтно тот же (у E6 нет поля podacha риг другой фазы), потолки вывода напечатать, промт E6 распечатать wire-аналогом и прочесть вслух.
--verify-read EXIT=0; ключ до ответов; раскладка своя на главу.
Пре-рег: панель-G (grok, ~$0.250.30, только после панели-0)
Армы: KE grok-редактор над замороженным D0 (тем же, что видели Z0/ZF; сверка sha черновика в клетке против D0) · KK grok-редактор над grok-черновиком KD (вендор-независимость полного стека) · RK пере-читается в этой же панели (гард регрессии к среднему) · Z0/ZF пол.
Конфигурация уравнена с компаратором: KE/KK/KD на low, как куплен RK; уровень числом; в клетки писать call_kwargs и reasoning_text.
Первичный эндпойнт те же дефект-классы; ранги вторичны (MDE DiD 4 места при n=16 печатается заранее).
Клейм: «интеракция архитектура×жилец на испытанных жильцах», не «минимакс».
Покупка после --wire; смета названа; потолок сессией не поднимать.
Консилиум закончен. Расхождений не осталось все семь пунктов скептика вшиты, и он это подтвердил.
Насколько перевернуло
1. «Второй проход нужен» главный устойчивый вывод пяти экспериментов оказался конфаундом
Панель доказывала только «текст, которого не касалась дорогая модель, различимо хуже». Однопроходка живой контрпример внутри той же панели: один вызов, никакого второго прохода, и стоит в хорошей группе.
Пять экспериментов носили эту формулировку. Никто не заметил.
Честная версия: «каждого слова обязана коснуться дорогая пишущая модель; число проходов вопрос цены».
2. Номинальный объём всех наших вердиктов завышен вдвое
«1215 глав» наших панелей = 7.47.8 главы Гу по вашему эталону. Всё, что мы называли выводами, вынесено на объёме вдвое меньшем, чем звучало.
3. «Платим не за вендора, а за размышление» не закон
Grok на верхней ступени хуже, чем на нижней. Gemini на low не хуже, чем на high. Это свойство пары модель×конфигурация, а не механизм. Ростер, «включающий думание всем ради качества», жёг бы деньги впустую.
4. И самое неприятное методически
Нулевые выводы единственные, которым дефекты класса «реализация не то, чем названа» ПОМОГАЮТ. Любой такой дефект раздувает разброс и производит неразличимость. Наши «схемы неразличимы» и наши 11 блокеров не независимые факты.
Ответ на ваш минимаксный критерий
По браку да, достижимо архитектурой. По прозе нет, ни одной: финальный текст весь написан кем-то, и его уровень уровень писавшего.
Минимакс по браку несёт детерминированный слой, по прозе ростер. Форма ответа: худший жилец при нашей архитектуре читается так же по браку, но стоит дороже больше ре-генов; по прозе деградирует честно и видимо.
Критерий приёмки в ваших единицах
1 глава Гу = 3 326 иероглифов. Наша китайская единица = 0.65, английская = 0.49.
норма
класс А (пол, термин, кусок исходника, полнота сцены, родство) 1 дефекта на 100 глав Гу по каждой оси то есть 15 на книгу в 1500 глав. Считается после гейтов и ре-гена
класс Б (машинность прозы) 1 глава на 25 глав Гу
стандарт панели 15 глав Гу = 23 китайских или 30 английских единиц
И операционное правило: замер с разрешением хуже одной позиции не основание менять схему.
Что делать первые пять пунктов бесплатны
Панель «слабый жилец: однопроходкой против редактором» клетки сверены, 16 общих глав, один жилец. Это прямой ответ на ваш вопрос о буфере.
Второе чтение вендорской панели блокирует вердикт по вендорам.
Второе чтение архитектурной паспорт разброса прибора.
Дуэль «с промтом против без промта» вес всего промта в местах.
Починка экстрактора абзацев до любого нового английского замера, весь материал искажён нами.
~$2 кросс-главный прибор: 15 глав Гу подряд плюс счётчики. Единственный замер, отвечающий на ваш нулевой вопрос. Он же телеметрия боевого прогона.
Дальше по $0.100.35: точечная правка по критику, промт с фиксером, цензур-ось дешёвой линии, grok-редактор но только если бесплатная панель покажет буфер.
Чего не узнаем никогда
Порядок внутри середины схем (нужно 4068 глав Гу на пару, и это нижняя оценка) · абсолютный прибор художественности · истинную дисперсию полного пайплайна · полную сетку архитектура×вендор она комбинаторно дорога и протухает: слаг модель, веса меняются молча.
Полный документ у меня целиком могу положить в репозиторий как KONSILIUM-22-08.md и обновить план. Запускать пять бесплатных замеров?
Скептик прислал поправки и одна из них правит число, которое я вам показал минуту назад.
Исправление к моей же сводке
Я написал «нужно 4068 глав Гу для эффекта в 0.5 места». Неверно это цена эффекта в 1.0 места. Эффект 0.5 стоит 160271 главы Гу на пару.
Вывод «не узнаем никогда» от поправки только крепнет, но число было ошибочным вчетверо.
Ваш стандарт в 15 глав Гу что он реально даёт
прибор что видит при 15 главах Гу
ранговый разрешение 1.63 места на китайском, 2.15 на английском слепота ниже примерно двух мест остаётся
счётный, частый дефект достаточно
счётный, редкий дефект (ломается в 10% глав) нужно 2530 глав Гу
И принципиальное уточнение, которое он подчёркивает: мощность движется числом независимых чтений, а не объёмом текста. Главы Гу ваш ценник, но не физика прибора. Удвоение панели сужает разрешение только в полтора раза.
Прямой ответ на ваш вопрос: для счётчика пятнадцати глав Гу хватает для частых классов; для редких нет. Для рангового не хватает и не хватит.
Ещё три поправки, которые меняют сказанное вам
«glm-5 запасной, вдвое дороже» число доэрратное. По приведённой шкале он втрое-вчетверо дороже, и печатать надо полосой, а не точкой.
Детерминированный слой не бесплатен по качеству. Канон-фиксер несёт замеренный однонаправленный штраф 0.58 места, шесть глав хуже, ноль лучше. Это цена слоя, и она должна стоять в решении, а не мелким шрифтом.
Норма «≤1 фатал на 100 глав Гу» норматив, а не замер. Счётчиков рода, родства и голосов ещё не существует, а сама частота проверяема только на боевых прогонах, не на панелях. И база класса Б 6% машинных глав») не грунтована надо пере-снять из сорока уже лежащих ответов, бесплатно, до печати нормы.
И один долг, который чуть не уронили молча
Пере-покупка английской базы склейки выпала из очереди. На ней стоял несущий контраст всей дуги. Либо чиним за $0.4, либо явно пишем «контраст остаётся условным, принимаем, потому что схемы всё равно решены ценой». Молча уронить нельзя.
Он же прислал готовые к печати паспорт разрешения и пре-реги обеих панелей с уравненной конфигурацией, гардом от регрессии, первичным эндпойнтом в дефект-классах и объявленным заранее «ранги описательны».
Консилиум на этом закрыт: по существу они сошлись, остались поправки формы и чисел, все внесены.