diff --git a/docs/experiments/23-editor-tier.md b/docs/experiments/23-editor-tier.md index d513f935..5735f37b 100644 --- a/docs/experiments/23-editor-tier.md +++ b/docs/experiments/23-editor-tier.md @@ -7708,3 +7708,121 @@ $0.040093 — расхождение 0.0%). Значит прайс-таблиц между $49 и $25 у того же самого редактора, с которым фаза уже согласилась по качеству. ⚠ Тарифная погода не климат: несущую архитектуру на скидочное окно не ставят, но ПЛАНИРОВЩИК волн — ровно то место, где расписание законно. + +--- + +## Д52. Консилиум по research/29: мы измеряем половину собственной цели + +**Дата:** 31.08.2026, полигон. **Стоимость: $0.** Три эксперта `claude-fable-5` (архитектор · +скептик замера · стратег) по двум переработанным ресёрч-отчётам: `docs/research/29-harness-topology-survey.md` +(2475 строк) и `…-codex.md` (685 строк). Плюс мой собственный замер и обмен с ресёрч-сессией. + +### Д52.1. ⭐⭐ ГЛАВНОЕ: редактор покупает БЕГЛОСТЬ ЦЕНОЙ ВЕРНОСТИ, и наш прибор этой цены не видит + +Три эксперта пришли к этому независимо, и опор четыре — две внешние, две наши собственные: + +1. **Внешне, людьми:** профессиональные оценщики фиксируют падение точности при редакторской правке + у трёх сильнейших моделей (Acc −2.3 · −0.6 · −1.2) при росте беглости и стиля. Попарно за + правленый вариант голосуют **97.5% по беглости и лишь 76.1% по точности**, а на одной паре — + **51.9%**, то есть монетка. +2. **Внешне, на НАШЕМ жанре и исходнике** (zh→en, 28 глав вебновелл, 4 живых эксперта вслепую): + мультиагентная связка бьёт живых переводчиков по беглости (p<.001, r=.71) и по предпочтению + (43.3% против 24.2%) **при равной точности** — но её выход на **32% длиннее**, и главным дефектом + эксперты называют **систематические добавления, которых нет в источнике**. +3. **Наше, `exp21`:** «второй проход покупает ЯЗЫК и ТЕРМИН, а не верность»; там же — «размен: + покупает русский язык, платит формой». +4. **Наше, D39.20:** антикорреляция гладкость ↔ верность, зафиксированная своим замером. + +⇒ **Цель владельца — «художественный перевод, который НЕ ОТХОДИТ ОТ КАНОНА» — состоит из двух +половин, и прибор у нас есть только на первую.** Панель фазы Д к оси верности слепа по построению +(`23-editor-tier.md:6056-6057`). Это не находка о литературе, это находка о нас. + +⛔ **И моя собственная ошибка в этом же месте, пойманная скептиком консилиума.** Докладывая +владельцу пункт 2, я привёл точность, беглость и предпочтение — и **умолчал колонку длины и +добавлений**, то есть ровно ту, которая отвечает на вопрос про канон. Класс — **избирательное +цитирование**: все приведённые числа верны, умолчан результат источника, противоположный удобному +выводу. Тот же класс, который этот отчёт ловит у ресёрчеров. + +### Д52.2. ⭐ Архитектурная гипотеза: размышление — плата за отрыв от копирования + +Внешний замер девяти комбинаций гранулярности (WMT24-Literary, 7 направлений, среди них en→ru): +устойчиво лучший режим — **полный документ в контексте, переписывание по частям**; режим «документ → +документ» даёт наименьший выигрыш, а у одной модели уходит в минус. Наш редактор работает именно +в режиме «документ → документ». + +⭐ **Гипотеза архитектора, и она дороже всех прочих находок вместе:** внешние числа для посегментного +режима сняты на **НЕрассуждающих** моделях при нулевой температуре. Если это так, то наши **93% +completion, уходящие в размышление** (Д49), — это плата за то, чтобы оторвать модель от простого +копирования входа; **смена единицы выдачи даёт правку без этой платы**. + +⛔ **Поправка к консилиуму от меня, замером:** он строил довод на наших числах «редактор меняет +4.0–5.8% знаков» — а они сняты на **АНГЛИЙСКОЙ оси** (`:7450`), и сам Д49 предупреждал, что на zh +не переносятся. Предупреждение подтвердилось. Мой замер на **боевой китайской оси**, 15 глав +(эхо-клетка исключена), тот же черновик: + +| редактор | доля изменённых ТОКЕНОВ | доля изменённых ЗНАКОВ | +|---|---|---| +| `deepseek-v4-pro` (боевой) | **медиана 34.2%** (6.0 … 64.9) | 18.8% | +| `glm-5` | 11.5% (1.9 … 39.9) | 6.8% | + +⇒ Три следствия. (1) **На zh наш редактор правит втрое-вчетверо больше, чем на en** — 18.8% против +4–6% по одной и той же символьной метрике. (2) **По внешней мерке (токены) мы не в «отнулённом» +коридоре <5%, а внутри сегментного 25–40%** — значит механизм «мало правит ⇒ мало выигрывает» к нам +не применяется, и вывод «наша гранулярность слабейшая» на боевой паре НЕ доказан. (3) **Объём правки +— свойство МОДЕЛИ, а не гранулярности**: втрое разный объём на одном и том же черновике при +качественной неразличимости этих же двух редакторов (`+0.06`, p=0.95). + +### Д52.3. Что консилиум велит НЕ покупать — прямая экономия + +* **Фактор «размышление вкл/выкл» вычеркнуть из пилота.** Он заложен там как основной крест + (`09-pilot-protocol:51`) и удваивает его. Основания: на нашем жанре и исходнике рассуждающие модели + проигрывают нерассуждающим того же вендора; рассуждающий судья не лучше нерассуждающего примерно + в половине настроек; у редактора вопрос уже решён `exp12` (reasoning-off = no-op). **Экономия — + половина основного креста пилота.** +* Новых бейк-оффов черновой модели не ставить: линия «улучшить черновик» закрыта своим замером + (пять альтернатив) и объяснена внешним механизмом (остаточная цена слабого черновика 0.4 из 24). +* Точечный ремонт по автоматическим флагам не переоткрывать. +* Метрики канона и голоса не строить: reference-free измерители связности дают r = 0.15–0.17, + а на вебновеллах готовые оценщики качества коррелируют с экспертами **отрицательно** (−0.03, −0.32). + Фильтр проходит **только точность терминов по своему словарю** — то есть то, что уже построено + (`eval/dovodka/bank.py`, Д50). + +### Д52.4. Три ложные дельты — что подано как новое, а лежит у нас + +1. **Митигация «25 узких вопросов да/нет вместо MQM»** (+35 пунктов к доле, где судья предпочёл + человека) — это метрика **LiTransProQA**, и она уже в репозитории **в трёх местах**, включая + `docs/architecture/02-mvp-plan.md:49`. ⚠ Хуже: её же τ = −0.124 в другом месте того же отчёта + объявлен опорой «судья награждает MT» — то есть одна метрика подана и как лекарство, и как болезнь. +2. **Работа про гранулярность** уже пересказана у нас **в девяти местах**, включая + `09-pilot-protocol.md:59` с пометкой «верифицировано по PDF, вкл. en→ru». +3. **Байт-стабильность нетронутого как довод за дифф-интерфейс** — тезис ратифицирован у нас + Д49.3 и старше внешней находки на сутки. + +### Д52.5. ⛔ Класс ошибок, общий для пяти случаев за сутки у четырёх сессий + +**Показания инструмента приняты за факт о мире.** Реестр, собранный совместно с ресёрч-сессией: + +| случай | инструмент соврал так | последствие | +|---|---|---| +| ресёрч-сессия | `cut` обрезал вывод `sha256sum`; хвост хеша **дописан по памяти о форме** | сдан несуществующий хеш в строке, самой предписывающей проверку | +| ресёрч-сессия | греп не исключал собственный файл | **25 команд «→ пусто» были не пусты** | +| ресёрч-сессия | HTTP 403 роботам принят за платный доступ | работа объявлена платной; она Gold OA, цена 0 | +| ресёрч-сессия | греп по arXiv-id не видит цитирования по DOI | 2 пропуска дельта-фильтра из 30 | +| сессия Codex | область грепа не включала `docs/experiments/*.md` | главная находка оказалась дублем, лежащим в 9 местах | +| оркестратор №21 | `find` без `-L` по симлинку; чужой worktree | «файла нет» при существующем файле | +| **эта сессия** | три «переоткрытия» сделанного за один день | см. Д50.1 | + +⇒ **Норма, выведенная из семи случаев:** отрицательный результат предъявляется **с положительным +контролем**; идентификатор, не увиденный ЦЕЛИКОМ в выводе команды, по памяти не воспроизводится. + +### Д52.6. Что из этого следует делать + +1. **Прибор верности — первым, и он $0.** Мы слепы к половине цели. Дешёвый кандидат уже назван + внешним источником и подтверждён на нашем жанре: **двусторонний контроль объёма** (у нас гейт + ловит обрушение длины, а рост — нет), плюс счётчик добавленного содержания на абзац. Главный + дефект внешне лучшей топологии — приписывание, и оно измеримо без единого платного вызова. +2. **Проба единицы выдачи редактора** — единственный найденный рычаг, бьющий прямо в наш слот: + «абзац при полном документе в контексте, размышление OFF» против боевого «глава целиком, + размышление ON», тот же черновик, те же 16 глав. Меры: объём правки · раздельно ЯЗЫК и ВЕРНОСТЬ · + цена. ⚠ Ставить **на zh**: на en наши величины не переносятся (Д52.2). +3. **Вычеркнуть размышление из креста пилота** (Д52.3) — до того, как пилот куплен.