Land the consilium on research/29: the editor buys fluency at the cost of fidelity, our panel is blind to that axis, and the zh edit ratio is four times the English one we had been quoting
This commit is contained in:
parent
8d4dc3b5f7
commit
74a16138fc
1 changed files with 118 additions and 0 deletions
|
|
@ -7708,3 +7708,121 @@ $0.040093 — расхождение 0.0%). Значит прайс-таблиц
|
|||
между $49 и $25 у того же самого редактора, с которым фаза уже согласилась по качеству.
|
||||
⚠ Тарифная погода не климат: несущую архитектуру на скидочное окно не ставят, но ПЛАНИРОВЩИК волн —
|
||||
ровно то место, где расписание законно.
|
||||
|
||||
---
|
||||
|
||||
## Д52. Консилиум по research/29: мы измеряем половину собственной цели
|
||||
|
||||
**Дата:** 31.08.2026, полигон. **Стоимость: $0.** Три эксперта `claude-fable-5` (архитектор ·
|
||||
скептик замера · стратег) по двум переработанным ресёрч-отчётам: `docs/research/29-harness-topology-survey.md`
|
||||
(2475 строк) и `…-codex.md` (685 строк). Плюс мой собственный замер и обмен с ресёрч-сессией.
|
||||
|
||||
### Д52.1. ⭐⭐ ГЛАВНОЕ: редактор покупает БЕГЛОСТЬ ЦЕНОЙ ВЕРНОСТИ, и наш прибор этой цены не видит
|
||||
|
||||
Три эксперта пришли к этому независимо, и опор четыре — две внешние, две наши собственные:
|
||||
|
||||
1. **Внешне, людьми:** профессиональные оценщики фиксируют падение точности при редакторской правке
|
||||
у трёх сильнейших моделей (Acc −2.3 · −0.6 · −1.2) при росте беглости и стиля. Попарно за
|
||||
правленый вариант голосуют **97.5% по беглости и лишь 76.1% по точности**, а на одной паре —
|
||||
**51.9%**, то есть монетка.
|
||||
2. **Внешне, на НАШЕМ жанре и исходнике** (zh→en, 28 глав вебновелл, 4 живых эксперта вслепую):
|
||||
мультиагентная связка бьёт живых переводчиков по беглости (p<.001, r=.71) и по предпочтению
|
||||
(43.3% против 24.2%) **при равной точности** — но её выход на **32% длиннее**, и главным дефектом
|
||||
эксперты называют **систематические добавления, которых нет в источнике**.
|
||||
3. **Наше, `exp21`:** «второй проход покупает ЯЗЫК и ТЕРМИН, а не верность»; там же — «размен:
|
||||
покупает русский язык, платит формой».
|
||||
4. **Наше, D39.20:** антикорреляция гладкость ↔ верность, зафиксированная своим замером.
|
||||
|
||||
⇒ **Цель владельца — «художественный перевод, который НЕ ОТХОДИТ ОТ КАНОНА» — состоит из двух
|
||||
половин, и прибор у нас есть только на первую.** Панель фазы Д к оси верности слепа по построению
|
||||
(`23-editor-tier.md:6056-6057`). Это не находка о литературе, это находка о нас.
|
||||
|
||||
⛔ **И моя собственная ошибка в этом же месте, пойманная скептиком консилиума.** Докладывая
|
||||
владельцу пункт 2, я привёл точность, беглость и предпочтение — и **умолчал колонку длины и
|
||||
добавлений**, то есть ровно ту, которая отвечает на вопрос про канон. Класс — **избирательное
|
||||
цитирование**: все приведённые числа верны, умолчан результат источника, противоположный удобному
|
||||
выводу. Тот же класс, который этот отчёт ловит у ресёрчеров.
|
||||
|
||||
### Д52.2. ⭐ Архитектурная гипотеза: размышление — плата за отрыв от копирования
|
||||
|
||||
Внешний замер девяти комбинаций гранулярности (WMT24-Literary, 7 направлений, среди них en→ru):
|
||||
устойчиво лучший режим — **полный документ в контексте, переписывание по частям**; режим «документ →
|
||||
документ» даёт наименьший выигрыш, а у одной модели уходит в минус. Наш редактор работает именно
|
||||
в режиме «документ → документ».
|
||||
|
||||
⭐ **Гипотеза архитектора, и она дороже всех прочих находок вместе:** внешние числа для посегментного
|
||||
режима сняты на **НЕрассуждающих** моделях при нулевой температуре. Если это так, то наши **93%
|
||||
completion, уходящие в размышление** (Д49), — это плата за то, чтобы оторвать модель от простого
|
||||
копирования входа; **смена единицы выдачи даёт правку без этой платы**.
|
||||
|
||||
⛔ **Поправка к консилиуму от меня, замером:** он строил довод на наших числах «редактор меняет
|
||||
4.0–5.8% знаков» — а они сняты на **АНГЛИЙСКОЙ оси** (`:7450`), и сам Д49 предупреждал, что на zh
|
||||
не переносятся. Предупреждение подтвердилось. Мой замер на **боевой китайской оси**, 15 глав
|
||||
(эхо-клетка исключена), тот же черновик:
|
||||
|
||||
| редактор | доля изменённых ТОКЕНОВ | доля изменённых ЗНАКОВ |
|
||||
|---|---|---|
|
||||
| `deepseek-v4-pro` (боевой) | **медиана 34.2%** (6.0 … 64.9) | 18.8% |
|
||||
| `glm-5` | 11.5% (1.9 … 39.9) | 6.8% |
|
||||
|
||||
⇒ Три следствия. (1) **На zh наш редактор правит втрое-вчетверо больше, чем на en** — 18.8% против
|
||||
4–6% по одной и той же символьной метрике. (2) **По внешней мерке (токены) мы не в «отнулённом»
|
||||
коридоре <5%, а внутри сегментного 25–40%** — значит механизм «мало правит ⇒ мало выигрывает» к нам
|
||||
не применяется, и вывод «наша гранулярность слабейшая» на боевой паре НЕ доказан. (3) **Объём правки
|
||||
— свойство МОДЕЛИ, а не гранулярности**: втрое разный объём на одном и том же черновике при
|
||||
качественной неразличимости этих же двух редакторов (`+0.06`, p=0.95).
|
||||
|
||||
### Д52.3. Что консилиум велит НЕ покупать — прямая экономия
|
||||
|
||||
* **Фактор «размышление вкл/выкл» вычеркнуть из пилота.** Он заложен там как основной крест
|
||||
(`09-pilot-protocol:51`) и удваивает его. Основания: на нашем жанре и исходнике рассуждающие модели
|
||||
проигрывают нерассуждающим того же вендора; рассуждающий судья не лучше нерассуждающего примерно
|
||||
в половине настроек; у редактора вопрос уже решён `exp12` (reasoning-off = no-op). **Экономия —
|
||||
половина основного креста пилота.**
|
||||
* Новых бейк-оффов черновой модели не ставить: линия «улучшить черновик» закрыта своим замером
|
||||
(пять альтернатив) и объяснена внешним механизмом (остаточная цена слабого черновика 0.4 из 24).
|
||||
* Точечный ремонт по автоматическим флагам не переоткрывать.
|
||||
* Метрики канона и голоса не строить: reference-free измерители связности дают r = 0.15–0.17,
|
||||
а на вебновеллах готовые оценщики качества коррелируют с экспертами **отрицательно** (−0.03, −0.32).
|
||||
Фильтр проходит **только точность терминов по своему словарю** — то есть то, что уже построено
|
||||
(`eval/dovodka/bank.py`, Д50).
|
||||
|
||||
### Д52.4. Три ложные дельты — что подано как новое, а лежит у нас
|
||||
|
||||
1. **Митигация «25 узких вопросов да/нет вместо MQM»** (+35 пунктов к доле, где судья предпочёл
|
||||
человека) — это метрика **LiTransProQA**, и она уже в репозитории **в трёх местах**, включая
|
||||
`docs/architecture/02-mvp-plan.md:49`. ⚠ Хуже: её же τ = −0.124 в другом месте того же отчёта
|
||||
объявлен опорой «судья награждает MT» — то есть одна метрика подана и как лекарство, и как болезнь.
|
||||
2. **Работа про гранулярность** уже пересказана у нас **в девяти местах**, включая
|
||||
`09-pilot-protocol.md:59` с пометкой «верифицировано по PDF, вкл. en→ru».
|
||||
3. **Байт-стабильность нетронутого как довод за дифф-интерфейс** — тезис ратифицирован у нас
|
||||
Д49.3 и старше внешней находки на сутки.
|
||||
|
||||
### Д52.5. ⛔ Класс ошибок, общий для пяти случаев за сутки у четырёх сессий
|
||||
|
||||
**Показания инструмента приняты за факт о мире.** Реестр, собранный совместно с ресёрч-сессией:
|
||||
|
||||
| случай | инструмент соврал так | последствие |
|
||||
|---|---|---|
|
||||
| ресёрч-сессия | `cut` обрезал вывод `sha256sum`; хвост хеша **дописан по памяти о форме** | сдан несуществующий хеш в строке, самой предписывающей проверку |
|
||||
| ресёрч-сессия | греп не исключал собственный файл | **25 команд «→ пусто» были не пусты** |
|
||||
| ресёрч-сессия | HTTP 403 роботам принят за платный доступ | работа объявлена платной; она Gold OA, цена 0 |
|
||||
| ресёрч-сессия | греп по arXiv-id не видит цитирования по DOI | 2 пропуска дельта-фильтра из 30 |
|
||||
| сессия Codex | область грепа не включала `docs/experiments/*.md` | главная находка оказалась дублем, лежащим в 9 местах |
|
||||
| оркестратор №21 | `find` без `-L` по симлинку; чужой worktree | «файла нет» при существующем файле |
|
||||
| **эта сессия** | три «переоткрытия» сделанного за один день | см. Д50.1 |
|
||||
|
||||
⇒ **Норма, выведенная из семи случаев:** отрицательный результат предъявляется **с положительным
|
||||
контролем**; идентификатор, не увиденный ЦЕЛИКОМ в выводе команды, по памяти не воспроизводится.
|
||||
|
||||
### Д52.6. Что из этого следует делать
|
||||
|
||||
1. **Прибор верности — первым, и он $0.** Мы слепы к половине цели. Дешёвый кандидат уже назван
|
||||
внешним источником и подтверждён на нашем жанре: **двусторонний контроль объёма** (у нас гейт
|
||||
ловит обрушение длины, а рост — нет), плюс счётчик добавленного содержания на абзац. Главный
|
||||
дефект внешне лучшей топологии — приписывание, и оно измеримо без единого платного вызова.
|
||||
2. **Проба единицы выдачи редактора** — единственный найденный рычаг, бьющий прямо в наш слот:
|
||||
«абзац при полном документе в контексте, размышление OFF» против боевого «глава целиком,
|
||||
размышление ON», тот же черновик, те же 16 глав. Меры: объём правки · раздельно ЯЗЫК и ВЕРНОСТЬ ·
|
||||
цена. ⚠ Ставить **на zh**: на en наши величины не переносятся (Д52.2).
|
||||
3. **Вычеркнуть размышление из креста пилота** (Д52.3) — до того, как пилот куплен.
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue