397 lines
80 KiB
Markdown
397 lines
80 KiB
Markdown
# Внешняя критика «восхождение»: независимая карта и дифф
|
||
|
||
> **⚠ Ревью-шапка оркестратора (11.07.2026, D25; тело документа ниже НЕ редактировалось).** Провенанс: внешний критик GPT-5.6 по мандату `GPT_EXTERNAL_ASCENT_PROMPT.md` (анти-якорный трёхфазный протокол), 2026-07-10. Вердикт адверсариального ревью (12 агентов: 19 первоисточников по живым URL, протокол-аудит, line-refs, red-team §C/§D): **ACCEPT_WITH_FIXES — абсорбция ТОЛЬКО через D25**, не напрямую. Поправки чтения:
|
||
> 0. **(добавлено D31, 12.07)** Тело пре-датирует D30: §C-таблица (строка «Редактор») описывает проектную колонку как «D1 монолингвальный editor, понижен D17» — **устарело: D30.1 флипнул D1, редактор БИЛИНГВ** (рекомендация критика «bilingual adequacy-preserving edit» принята досрочно через exp12; подтверждающий арм пилота D13.1 сохранён). «$0.69/ранобэ» (§B1.5) → ~$0.85 (D30.4), но КЛЕЙМ «не all-in cost» верен и абсорбирован D25.8.
|
||
> 1. **Метки §B2 и «Итога» читать как PLAUSIBLE, не CONFIRMED**: ценностные сравнения «чей путь сильнее» — неизмеренные гипотезы по определению §1 самого документа; «PARTIAL» (§B2-голос) — вне его словаря вердиктов.
|
||
> 2. **Конвергенция §A↔проект на осях, засеянных мандатом, — НЕ независимое подтверждение**: девять обязательных осей и фаза-3(г) мандата встроили наши выводы (недоверие судьям, переоплата снапшота, род-спойлеры, список признанных дыр с D-номерами) в задание до написания §A. Независимую ценность несут незасеянные оси (A3 режимы faithful/light-edit/adaptation, A10.1 rights manifest, A10.3 ingestion round-trip, A10.5 book-level сплиты, A10.7 span lineage, A6 canary suite, A9 fault-injection) и явные расхождения. Анти-якорение со стороны критика при этом соблюдено (лексический аудит: внутренние маркеры в §A отсутствуют, словарь систематически другой, расходится с контрактом на реальных развилках; errata-без-правки-§A — честный сигнал); фриз §A — attested, not proven (файл вне git до этого коммита; впредь — хешировать §A до фазы 2).
|
||
> 3. **Первоисточники: 19/19 существуют и в основном поддерживают клеймы**; нюансы (полный список в D25): морф-оговорка Exel et al. (EAMT 2020) процитирована с инверсией — морфологию ломают КОНКУРИРУЮЩИЕ constrained-decoding методы, собственный train-by метод авторов её для русского решает; Tan et al. — «шести LLM» = метаданные venue, PDF говорит 9 (6 рефайнеров); Kim (ACL Ind. 2025) — скоуп GEMBA-MQM-класса, не все LLM-судьи; Target 2026 — направление пары zh→en из абстракта не верифицируемо (Benjamins 403); IEICE 2026 — оценка существующих LLM (>87% floor), не спец-модель.
|
||
> 4. Line-refs в основном точны (~30 спот-чеков, стравменов нет); микро-дрейфы: `07-strategic-review.md:34-39`→`:33-36`; `05-decisions-log.md:265-266`→`:266`; `08-legal.md:145-152` недопокрывает своё предложение (гигиена git/data-sharing живёт в 01-decisions/CLAUDE.md).
|
||
> 5. Критик не видел ни кода, ни результатов приёмки этапа A (10.07) — его посылки о flag-rate/дрейфе устарели в момент написания; свежие данные учтены в D24/D25.
|
||
|
||
Дата исследования: 2026-07-10. Все внешние ссылки проверены 2026-07-10. Метки источников: **peer-reviewed** — статья в рецензируемом сборнике/журнале; **standard/guidance** — стандарт или профиль риска; **vendor** — документация/тариф поставщика, не независимый замер. Вердикт относится к сформулированному клейму: **CONFIRMED** — прямо поддержан наблюдением/источником; **PLAUSIBLE** — инженерная гипотеза, которую ещё надо измерить; **REFUTED** — доступные данные противоречат клейму.
|
||
|
||
## §A. Карта фазы 1 — чистый лист (заморожено до чтения решений проекта)
|
||
|
||
> Этот раздел составлен после чтения только `START_PROMT.MD` и внешних первоисточников. После этой строки §A не редактируется.
|
||
|
||
### A0. Целевая функция и главный принцип
|
||
|
||
Система должна оптимизировать не один «балл качества», а ограниченную задачу:
|
||
|
||
1. ни один атом смысла исходника не потерян и не добавлен;
|
||
2. решения, зависящие от дальнего контекста, согласованы на масштабе серии;
|
||
3. русский текст выполняет литературную функцию оригинала, а не копирует его поверхность;
|
||
4. стоимость и человеческие минуты имеют заранее заданный бюджет;
|
||
5. любой результат воспроизводим, трассируем и может быть точечно пересчитан.
|
||
|
||
**CONFIRMED.** Перевод литературного абзаца целиком у GPT-3.5 дал меньше смысловых, грамматических и стилевых ошибок, чем посентенциальный режим на 18 направлениях, но критические ошибки и пропуски сохранились, а голос автора требовал человека. Это опровергает обе крайности — «контекст не нужен» и «большого контекста достаточно». Источник: Karpinska & Iyyer, WMT 2023, **peer-reviewed**, 2023-12, https://aclanthology.org/2023.wmt-1.41/.
|
||
|
||
**CONFIRMED.** Обычные посентенциальные тесты недостаточны для документного перевода: BWB размечает сущности, термины, кореференцию и цитирование и показывает, что именно эти дискурсивные явления требуют отдельной оценки. Источник: Jiang et al., ACL 2023, **peer-reviewed**, 2023-07, https://aclanthology.org/2023.acl-long.435/.
|
||
|
||
Отсюда базовая архитектурная ставка: **не ансамбль персонажей-агентов, а evidence-preserving compiler pipeline**. LLM — вероятностный трансформер внутри системы; книга, её факты, сегментация, зависимости и история решений — типизированные артефакты вне модели. Каждый дополнительный LLM-проход обязан иметь локальную гипотезу, измеримый выход и kill-criterion.
|
||
|
||
**PLAUSIBLE.** Такая декомпозиция уменьшит стоимость и сделает регрессии локализуемыми по сравнению с разговорным multi-agent pipeline. Фальсификация: на одном закрытом наборе сравнить равнобюджетные (в токенах и человеко-минутах) пайплайны по critical MQM errors, coverage и числу неповторяемых решений.
|
||
|
||
### A1. Протез состояния для stateless API
|
||
|
||
#### Собственное состояние книги
|
||
|
||
Нужны пять раздельных слоёв, а не один «глоссарий»:
|
||
|
||
| Слой | Что хранит | Как попадает в запрос |
|
||
|---|---|---|
|
||
| Immutable source ledger | байты исходника, нормализованная разметка, главы/абзацы/реплики, стабильные ID и хэши | текущий сегмент + минимальные соседние сегменты |
|
||
| Canon ledger | сущности, алиасы, пол/неопределённость, отношения, факты с временным интервалом и source-span provenance | только релевантные факты, действующие **на этой точке** сюжета |
|
||
| Translation memory | утверждённые пары сегментов и редакторские правки | k похожих примеров, преимущественно той же сцены/говорящего |
|
||
| Terminology & address graph | термины, склонение, транслитерация, титулы, пары обращений, статус решения | обязательные ограничения + явно разрешённые варианты |
|
||
| Style/voice cards | наблюдаемые признаки рассказчика и персонажей с цитатами-основаниями, не расплывчатые прилагательные | карточки только присутствующих голосов и цели сцены |
|
||
|
||
В каждую запись входят `valid_from`, `valid_to/unknown`, `confidence`, `status` (`candidate/approved/rejected`), `source_span_ids`, `created_by`, версия схемы. Это предотвращает превращение позднего знания в ранний спойлер и позволяет отличить канон от догадки модели.
|
||
|
||
**CONFIRMED.** Длинное окно само по себе не является памятью: качество доступа существенно зависит от позиции факта и обычно проваливается в середине контекста. Источник: Liu et al., TACL 2024, **peer-reviewed journal**, 2024, https://aclanthology.org/2024.tacl-1.9/.
|
||
|
||
**CONFIRMED.** Даже при идеальном извлечении релевантных данных увеличение контекста ухудшало решение задач на 13.9–85% в исследованных моделях; значит, «положить всю книгу в окно» нельзя считать надёжным механизмом. Источник: Levy et al., Findings of EMNLP 2025, **peer-reviewed**, 2025-11, https://aclanthology.org/2025.findings-emnlp.1264/.
|
||
|
||
**PLAUSIBLE.** Лучший prompt budget — маленькое ядро инвариантов + локальный контекст + task-conditioned retrieval, а не максимальное заполнение окна. Фальсификация: factorial A/B по объёму и позиции memory evidence с заранее спрятанными дальними зависимостями.
|
||
|
||
#### Двухпроходное чтение без двух полных переводов
|
||
|
||
До перевода выполняется дешёвый структурный проход по всей книге: сегментация, кандидаты сущностей/терминов, граф упоминаний, смены POV/сцен, неопределённые кореференции и будущие раскрытия. Он **не утверждает** факты без provenance. Затем главы переводятся последовательно; подтверждённое человеком или источником состояние образует версионированный snapshot.
|
||
|
||
**PLAUSIBLE.** Предварительный индекс всей книги даст большую часть пользы «модель сначала прочла всё» при доле стоимости полного чернового перевода. Фальсификация: blind challenge set только из forward-reference, alias, gender и reveal cases; сравнить no-prescan / prescan / full-book-context.
|
||
|
||
### A2. Верность: дописывание, выпадения, подмена фактов
|
||
|
||
Верность нельзя отдавать тому же свободному генератору. Нужны независимые, преимущественно детерминированные сигналы:
|
||
|
||
1. сохранить взаимно-однозначный ledger входных и выходных блоков;
|
||
2. получить source↔target alignment и проверить непокрытые source-spans, числа, даты, кавычки, имена, отрицания, модальность и структуру реплик;
|
||
3. выполнить reverse entailment/QA только по подозрительным местам: что утверждает перевод, чего нет в источнике; что утверждает источник, чего нет в переводе;
|
||
4. при флаге не «автоматически улучшать», а маршрутизировать: локальный retry с evidence, альтернативная модель или человек;
|
||
5. никогда не принимать гладкость как свидетельство верности.
|
||
|
||
**CONFIRMED.** HalOmi вручную размечает частичные/полные галлюцинации и пропуски на словном и предложенческом уровнях в 18 направлениях; выводы детекторов с одной языковой пары плохо переносятся на другие. Значит, один универсальный порог без калибровки zh/ja/en→ru недопустим. Источник: Dale et al., EMNLP 2023, **peer-reviewed**, 2023-12, https://aclanthology.org/2023.emnlp-main.42/.
|
||
|
||
**CONFIRMED.** Исследование word alignment для LLM-MT связывает покрытие выравниванием с пропусками/галлюцинациями и использует alignment как обучающий preference-сигнал. Это поддерживает alignment как один сигнал, но не как доказательство семантической эквивалентности. Источник: Wu et al., EMNLP 2024, **peer-reviewed**, 2024-11, https://aclanthology.org/2024.emnlp-main.188/.
|
||
|
||
**PLAUSIBLE.** Каскад дешёвых инвариантов → alignment → дорогая семантическая проверка только хвоста даст лучший recall критических ошибок на доллар, чем LLM-судья каждого сегмента. Фальсификация: precision/recall и $/detected-critical-error на вручную размеченном adversarial set.
|
||
|
||
### A3. Литературность без «улучшательства» оригинала
|
||
|
||
Перевод делится на два контракта:
|
||
|
||
- **adequacy pass** создаёт максимально верный, но уже естественный русский черновик с alignment;
|
||
- **literary edit pass** может менять синтаксис, ритм, абзацирование и идиоматику, но обязан сохранять semantic ledger и возвращать edit rationale для крупных перестроек.
|
||
|
||
Редактор получает не роль «сделай красивее», а спецификацию функции: дистанция рассказчика, регистр, ритм сцены, идиолект, комическое/угрожающее действие реплики, допустимая степень доместикации. Слабость исходника не исправляется молча: режимы `faithful`, `light-edit`, `adaptation` — разные продукты и юридически/редакционно разные обещания.
|
||
|
||
**CONFIRMED.** Систематическое исследование шести LLM и семи языковых пар нашло, что refinement улучшает главным образом fluency, а adequacy — ограниченно; поведение похоже на проекцию текста в распределение редактора, а не точечное исправление ошибок. Самый стабильный рецепт в их условиях — документный перевод и сегментная редактура. Источник: Tan et al., ACL 2026, **peer-reviewed**, 2026-07, https://aclanthology.org/2026.acl-long.268/.
|
||
|
||
**CONFIRMED.** Существующие литературные метрики склонны ставить машинный перевод выше профессионального, потому что переоценивают механическую точность и недооценивают голос, культурное понимание и художественные приёмы. Источник: Zhang et al., EMNLP 2025, **peer-reviewed**, 2025-11, https://aclanthology.org/2025.emnlp-main.1482/.
|
||
|
||
**PLAUSIBLE.** Редакторский проход без повторной проверки semantic delta будет систематически повышать fluency и скрытно портить редкие авторские решения. Фальсификация: человек размечает adequacy до/после refinement отдельно от fluency, с особым набором намеренно шероховатых оригиналов.
|
||
|
||
### A4. Консистентность на тысячах глав
|
||
|
||
Консистентность — constraint problem с областью действия, не similarity search:
|
||
|
||
- жёсткие утверждённые constraints (имя, титул, термин) проверяются морфологически после генерации;
|
||
- мягкие варианты имеют контекстные правила и допустимое множество;
|
||
- обращения моделируются на ребре `(speaker, addressee, time interval)`, а не как свойство персонажа;
|
||
- смена имени/титула — событие с границей действия;
|
||
- неизвестность хранится явно, а не заполняется наиболее вероятным значением;
|
||
- правка канона создаёт impact set зависимых сегментов, а не полный пересчёт книги.
|
||
|
||
**CONFIRMED.** Документная оценка романов отдельно выявляет проблемы сущностей, терминологии, кореференции и цитирования; корпус содержит 15 095 размеченных упоминаний сущностей. Источник: Jiang et al., ACL 2023, **peer-reviewed**, 2023-07, https://aclanthology.org/2023.acl-long.435/.
|
||
|
||
**CONFIRMED.** Terminology constraints применялись в промышленной NMT и улучшали попадание терминов, но сами авторы отмечают проблему морфологической адаптации; простая вставка строки глоссария для русского недостаточна. Источник: Bergmanis & Pinnis, EAMT 2020, **peer-reviewed**, 2020-11, https://aclanthology.org/2020.eamt-1.29/.
|
||
|
||
**PLAUSIBLE.** Для серии temporal knowledge graph + dependency index важнее векторной «памяти»; embeddings остаются retrieval-механизмом, но не источником истины. Фальсификация: synthetic saga с переименованиями, ложными алиасами и изменением отношений; измерить violation rate и стоимость инвалидации.
|
||
|
||
### A5. Спойлеры механикой русского языка
|
||
|
||
Спойлер — это информационная утечка относительно состояния читателя в данной точке, а не просто неверный термин. Для каждого сегмента prompt строится из **time-sliced canon**. Нерешённые referents отмечаются как constraints: не раскрывать пол/личность/число сверх исходника; при невозможности естественного русского — выбрать синтаксическую перестройку и поднять флаг.
|
||
|
||
Перед переводом нужен `reveal ledger`: где читатель впервые узнаёт пол, имя, родство, истинный титул, тождество алиасов. После перевода минимальные пары проверяют, не возник маркер раньше границы: род прошедшего времени, прилагательные, местоимения, формы профессий, одушевлённость.
|
||
|
||
**PLAUSIBLE.** Универсальной автоматической трансформации, сохраняющей всякую неопределённость zh/ja→ru, нет; нужен constrained generation + human queue для синтаксически трудных случаев. Фальсификация: профессионально размеченный набор 100–200 reveal cases, оценка premature disclosure и naturalness отдельно.
|
||
|
||
### A6. 18+, цензура и этическая граница
|
||
|
||
Пайплайн до отправки провайдеру классифицирует **не «моральность»**, а маршрут: допустимый взрослый контент, контент с неопределённым возрастом, запрещённый sexual-minor content, и прочие ограничения конкретного провайдера. Sexual content с несовершеннолетними не обрабатывается вообще; сомнение в возрасте означает stop/human policy review, а не попытку обхода.
|
||
|
||
Для законного взрослого контента: capability probe на лицензированных синтетических фрагментах, versioned provider policy matrix, явное согласие пользователя, локальная/разрешающая модель только если её лицензия и эксплуатационная политика допускают задачу. Отказ не маскируется retry-циклом: это типизированный terminal outcome. Текст и логи минимизируются и шифруются; внешнему веб-поиску не передаются узнаваемые фрагменты книги.
|
||
|
||
**PLAUSIBLE.** Маршрутизация по заранее проверенной матрице снизит ложные отказы и бессмысленные повторы, но не гарантирует стабильность, потому что политика и модель меняются. Фальсификация: еженедельный canary suite по model snapshot/provider/категории с учётом false refusal и policy violation.
|
||
|
||
### A7. Себестоимость: сначала бюджет, потом роли
|
||
|
||
Стоимость книги задаётся формулой, а не числом агентов:
|
||
|
||
`C = Σ_passes (fresh_input × P_in + cached_input × P_cache + output × P_out + tools) + retries + human_minutes × rate`.
|
||
|
||
Для примера планирования, а не тарифа проекта: книга 120k source tokens, русский выход 150k, один основной проход с 30% дополнительного контекста и один выборочный refinement 20% текста — это порядка 186k input + 180k output до проверок. Даже при $2/$10 за миллион это около $2.17 за генерацию; десять полных «агентов» умножат не качество, а spend. Реальная доминанта может перейти в человеческую проверку.
|
||
|
||
**CONFIRMED (арифметика на vendor list price, не независимый benchmark).** Anthropic указывает для Claude Sonnet 5 вводную цену $2/$10 за миллион input/output tokens до 2026-08-31 и $3/$15 после; приведённый расчёт: `0.186×2 + 0.180×10 = $2.172`, без retries, cache, поиска и труда. Источник: Anthropic, **vendor**, опубликовано 2026-07, https://www.anthropic.com/news/claude-sonnet-5.
|
||
|
||
Архитектурные следствия: per-stage token caps; hard book budget; batch/caching только после проверки семантики; escalate-on-uncertainty; дедупликация по content-addressed request key; дорогая модель работает на хвосте риска, а не читает всю книгу; стоимость пишется рядом с каждым quality delta.
|
||
|
||
**PLAUSIBLE.** Цель «единицы долларов за книгу» достижима по API-токенам для одного-двух проходов дешёвой модели, но «издательское качество за единицы долларов all-in» неправдоподобно без измеренного человеческого труда. Фальсификация: end-to-end ledger на трёх книгах разных языков с post-editing time и accepted words/hour.
|
||
|
||
### A8. Оценка качества без веры LLM-судье
|
||
|
||
Нужна пирамида, где ни один слой не является oracle:
|
||
|
||
1. **детерминированные инварианты:** completeness, порядок, числа, имена, markup, повтор/эхо, длина и язык;
|
||
2. **alignment/learned metrics:** COMET/COMET-QE и детекторы как triage, с калибровкой по языковой паре;
|
||
3. **challenge suites:** omissions, additions, negation, coreference, reveal, honorifics, voice, poetry/wordplay, weak source, prompt injection;
|
||
4. **слепая человеческая оценка:** профессиональные билингвы, side-by-side pairwise preference + span-level MQM, отдельно adequacy/fluency/style;
|
||
5. **production:** редакторские действия, время, reopen/revert rate, critical escapes на 10k слов, а не пользовательский «лайк».
|
||
|
||
**CONFIRMED.** Side-by-side human judgment повысил согласие аннотаторов; S×S MQM улучшил согласованность разметки ошибок в среднем на 38.5% для прямо сравниваемых систем, а упрощённый pairwise ranking был более дешёвой стабильной альтернативой. Источник: Song et al., ACL 2025, **peer-reviewed**, 2025-07, https://aclanthology.org/2025.acl-long.1002/.
|
||
|
||
**CONFIRMED.** COMET обучен на человеческих DA/HTER/MQM и лучше коррелировал с людьми на WMT 2019, но это корреляционный измеритель, не гарантия отсутствия конкретной критической ошибки. Источник: Rei et al., EMNLP 2020, **peer-reviewed**, 2020-11, https://aclanthology.org/2020.emnlp-main.213/.
|
||
|
||
**CONFIRMED.** Практическая надёжность LLM-as-judge не установлена: у изученных MT-судей обнаружены label bias и неспособность надёжно оценивать почти безошибочные переводы. Источник: Kim, ACL Industry 2025, **peer-reviewed**, 2025-07, https://aclanthology.org/2025.acl-industry.12/.
|
||
|
||
**PLAUSIBLE.** Release gate должен опираться на верхнюю доверительную границу critical-error rate и минимальный practically significant improvement, а не на средний aggregate score. Фальсификация: bootstrap CI на независимых книгах/авторах; решение заранее фиксируется в preregistration.
|
||
|
||
### A9. Отказоустойчивость, повторы и недетерминизм
|
||
|
||
Единица исполнения — immutable job `(book_version, segment_id, stage, model_snapshot, prompt_version, memory_snapshot, params)`. Её content hash — idempotency key. Состояния: `pending/running/succeeded/failed_retryable/blocked_policy/needs_human/cancelled/superseded`; output сначала пишется как кандидат, затем атомарно принимается. Retry повторяет тот же ключ, а не создаёт новый счёт.
|
||
|
||
Нужны: persisted queue; leases; exponential backoff+jitter; rate-limit aware scheduler; circuit breaker по провайдеру; budget reservation до вызова; reconciliation фактического usage; сохранение raw response metadata; детерминированные seed/snapshot где доступны; resume от последнего принятого артефакта; cancellation token; dead-letter queue. Timeout после отправки — «исход неизвестен», поэтому сначала reconciliation/provider idempotency, затем повтор.
|
||
|
||
**PLAUSIBLE.** Content-addressed DAG устраняет двойную оплату при crash/restart и позволяет точечный пересчёт после изменения памяти. Фальсификация: fault injection на каждом переходе — kill процесса, duplicate delivery, timeout-after-commit, 429/5xx — с инвариантом `accepted output ≤1` и ограничением billed duplicate rate.
|
||
|
||
### A10. Дополнительные оси, которых не было в обязательной девятке
|
||
|
||
#### A10.1. Provenance, авторское право и утечка рукописи
|
||
|
||
Права на исходник, референс-перевод, обучение/дообучение и публикацию — разные разрешения. Каждая книга получает rights manifest; пользователь подтверждает основание обработки. Нельзя считать доступность текста в интернете лицензией. Внешние API, телеметрия и web retrieval образуют отдельные каналы раскрытия неопубликованной рукописи.
|
||
|
||
**PLAUSIBLE.** Отсутствие rights/provenance ledger станет продуктовым блокером раньше качества для профессионального рынка. Фальсификация: интервью с 10 издателями/агентствами и legal review целевых юрисдикций; измерить required controls и willingness-to-pay.
|
||
|
||
#### A10.2. Prompt injection из книги и веба
|
||
|
||
Книга и найденные страницы — untrusted data, никогда инструкции. Переводчик не имеет tools/секретов; retrieval выполняет отдельный процесс с allowlist и возвращает цитаты/метаданные, а не команды. Детерминированный preflight ловит encoding, скрытый текст, аномалии разметки и смену языка, но не обещает полноту. Любое действие с внешним эффектом проверяется кодом/человеком против исходной задачи.
|
||
|
||
**CONFIRMED.** OWASP описывает прямую и косвенную prompt injection, включая инструкции в документах/веб-страницах, и рекомендует разделение недоверенного контента, least privilege, input/output filtering и human approval для высокорисковых действий; guardrail-LLM сам уязвим и является лишь слоем защиты. Источник: OWASP Cheat Sheet, **security guidance**, актуальная версия на 2026-07-10, https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html.
|
||
|
||
#### A10.3. Ошибка сегментации и структурная верность
|
||
|
||
EPUB/HTML/PDF ingestion может потерять сноски, руби, акценты, смену говорящего, иллюстрацию или порядок ещё до LLM. Поэтому нужен round-trip manifest: число глав/блоков/знаков, hierarchy, anchors, unparsed regions, визуальный diff для сложной вёрстки и запрет silently drop.
|
||
|
||
**PLAUSIBLE.** Для реальных книг ingestion defects дадут не меньше критических выпадений, чем генератор. Фальсификация: corpus разных форматов с инъецированными footnotes/ruby/vertical text/illustration captions; byte/span accounting и ручная сверка.
|
||
|
||
#### A10.4. Загрязнение памяти и каскад ошибки
|
||
|
||
Автоматически извлечённая догадка не может стать каноном только потому, что повторилась. Evidence aggregation должен сохранять конфликтующие версии; auto-promotion требует независимых подтверждений и отсутствия противоречия, high-impact изменения — человек. Иначе одна ранняя ошибка массово размножится retrieval-ом.
|
||
|
||
**PLAUSIBLE.** Ошибка memory write имеет больший expected loss, чем ошибка одного сегмента; пороги принятия должны зависеть от fan-out. Фальсификация: inject one false alias/fact и измерить число заражённых сегментов с/без quarantine и provenance gating.
|
||
|
||
#### A10.5. Model drift, contamination и честный eval
|
||
|
||
API alias может сменить snapshot; популярные книги могли быть в обучении. Golden set включает лицензированные новые тексты, синтетические минимальные пары и авторские nonce-слова; model snapshot и prompt hash фиксируются. Тестовые книги не входят в style memory. Релиз сравнивается на book-level split, не случайных соседних сегментах.
|
||
|
||
**PLAUSIBLE.** Random segment split существенно переоценит переносимость памяти/стиля из-за утечки одной книги между train/dev/test. Фальсификация: сравнить ranking решений при segment-level и held-out-book/held-out-author splits.
|
||
|
||
#### A10.6. Human-loop как очередь решений, а не «потом редактор посмотрит»
|
||
|
||
Каждый флаг обязан иметь owner, severity, evidence bundle, suggested actions, SLA и downstream impact. UI показывает source, draft, alignment, релевантный canon и точную причину; решение человека типизировано и переиспользуется. Нужны метрики precision флагов, minutes/flag, defer rate, overturn rate, propagation prevented. Иначе валидаторы создадут alert fatigue и скрытую стоимость.
|
||
|
||
**PLAUSIBLE.** Оптимизация recall без учёта нагрузки ухудшит конечное качество из-за пропуска очереди человеком. Фальсификация: моделировать/измерять очередь при разных thresholds; quality gate включает максимальный backlog age и critical-alert precision.
|
||
|
||
#### A10.7. Наблюдаемость причин, а не только токенов
|
||
|
||
На каждый accepted span хранится lineage: source IDs → retrieved evidence IDs → prompt/model/params → candidate outputs → checks → human decision. Privacy-safe telemetry считает latency, tokens, cache hit, retries, flags и edit distance; содержимое не должно быть обязательным полем централизованного лога.
|
||
|
||
**PLAUSIBLE.** Без span-level lineage нельзя отличить ошибку retrieval от ошибки генерации и доказать пользу архитектурного слоя. Фальсификация: incident drill — для 20 planted errors инженер должен локализовать виновный stage и blast radius за заданное время.
|
||
|
||
### A11. Минимальный MVP по собственной карте
|
||
|
||
1. Один язык (предпочтительно en→ru как контроль) и один основной провайдер + один fallback; никаких автономных tools у переводчика.
|
||
2. Lossless ingestion, stable IDs, paragraph/scene chunks, immutable source ledger.
|
||
3. Prescan сущностей/терминов/reveals; candidate state с provenance; human approval для high-impact канона.
|
||
4. Один translation pass с локальным контекстом и time-sliced memory.
|
||
5. Deterministic validation + alignment; risk-based retry/escalation.
|
||
6. Небольшой literary edit только на части текста, затем повторная adequacy-проверка.
|
||
7. Blind held-out human S×S MQM и учёт post-editing time/cost.
|
||
8. Только после доказанного инкремента — judge, debate, writer, web consultant или fine-tuning как отдельные экспериментальные ветви.
|
||
|
||
**PLAUSIBLE.** Этот MVP быстрее выявит, является ли узким местом модель, память, редактура или ingestion, чем сразу построенный multi-agent pipeline. Kill-criterion: если при одинаковом human-time система не снижает critical errors и не повышает pairwise preference относительно single-pass baseline на held-out books, архитектурные усложнения не добавлять.
|
||
|
||
## §B. Дифф с архитектурой TextMachine
|
||
|
||
### B0. Сводный вердикт после снятия анти-якорения
|
||
|
||
#### B0.1. Постревью 2026-07-10
|
||
|
||
После первой версии §B–§D проведено независимое постревью тремя параллельными треками: проверка первоисточников, repo-wide аудит документации и архитектурный red-team рекомендаций. Отдельно выполнен поиск по китайским и японским источникам (CNKI-порталы, CiNii/ANLP/J-STAGE и связанные peer-reviewed публикации). Код `backend/` и `eval/` не аудировался — это по-прежнему вне мандата. Результат постревью: центральный вывод выдержал, но первоначальный §C был слишком уверен как roadmap; ниже риск, локальный gap и предлагаемый механизм разведены явно.
|
||
|
||
**Errata к замороженному §A (сам §A не изменён):**
|
||
|
||
- В A1 источник `2025.findings-emnlp.1264` правильно атрибутировать **Du et al.**, не Levy et al.; тезис 13.9–85% подтверждён. Findings of EMNLP 2025, **peer-reviewed**, 2025-11, https://aclanthology.org/2025.findings-emnlp.1264/.
|
||
- В A4 источник `2020.eamt-1.29` правильно атрибутировать **Exel et al.**, не Bergmanis & Pinnis; промышленная работа и морфологическая оговорка подтверждены. EAMT 2020, **peer-reviewed**, 2020-11, https://aclanthology.org/2020.eamt-1.29/.
|
||
|
||
**CONFIRMED.** Проект не пошёл по наивной исходной колее «побольше агентов». Его сильное фактическое ядро — конфигурируемый runner, детерминированный hot path памяти, disposition/post-check, temporal windows, денежный ledger и durable resume. По этим пунктам стек совпал с картой §A, а в нормализации CJK, морфологии `decl`, provider-wire quirks и mutation-проверках ушёл глубже. Локальные основания: `docs/architecture/01-decisions.md:23-44,72-99`, `docs/architecture/05-decisions-log.md:77-86,277-285`, `docs/architecture/06-memory-risk-registry.md:20-40`. Jiang et al. подтверждают только необходимость отдельного контроля документных сущностей, терминов, кореференции и цитирования, не конкретный runner/ledger TextMachine; ACL 2023, **peer-reviewed**, https://aclanthology.org/2023.acl-long.435/.
|
||
|
||
**CONFIRMED.** Главная незакрытая проблема — отсутствие доказанного контура издательской верности end-to-end. Проект сам признаёт: после черновика в Фазе 1 same-length mistranslation не контролируется и критерия верности в инфраструктурной приёмке нет (`docs/architecture/05-decisions-log.md:72-75`); quality-решение сознательно перенесено в пилот Ф2.5 (`docs/archive/prompts/ACCEPTANCE_SESSION_PROMPT_v1_2026-07-10.md:14`). В протестированной Karpinska & Iyyer постановке GPT-3.5 на литературных абзацах критические ошибки/пропуски сохранились, а сохранение авторского голоса требовало человека; это не универсальное доказательство для всех моделей 2026 или book-scale pipeline. WMT 2023, **peer-reviewed**, https://aclanthology.org/2023.wmt-1.41/.
|
||
|
||
**PLAUSIBLE, не приор против multi-agent как класса.** Следующий центр тяжести — измерить fidelity и human load на реальной книге, а затем добавлять только слои с положительным Δ качества/доллар/человеко-минуту. Китайско-английский journal study 2026 показывает, что LLM-capability-driven multi-agent workflow может улучшать стиль и иногда предпочитаться человеку, но также добавлять лишний контент; Target 2026, **peer-reviewed**, https://doi.org/10.1075/target.25081.wan. ACL Industry 2026 также показывает пользу multi-aspect refinement/training для en→zh, но это fine-tuned 8B/14B, не наш stateless API-контур: https://aclanthology.org/2026.acl-industry.22/. Следовательно, роли не отвергаются — они остаются экспериментальными arms после фиксации fidelity baseline.
|
||
|
||
### B1. (а) Пропуски относительно карты §A
|
||
|
||
#### B1.1. Semantic coverage ledger отсутствует как продуктовый инвариант
|
||
|
||
**CONFIRMED с уточнением скоупа.** Есть lossless ingestion, структурные счётчики, length/sentence coverage и glossary post-check, но нет source-span evidence contract, который связывает подозрение с конкретным участком оригинала/перевода. D1 фиксирует, что coverage не ловит same-length mistranslation (`docs/architecture/05-decisions-log.md:72-75`). При этом весь fidelity-stage не является net-new: Ф2 уже планирует билингвального судью узких вопросов, quality sidecar и fidelity regression suite (`docs/architecture/02-mvp-plan.md:41,45,49`). HalOmi обосновывает multilingual calibration; Wu et al. показывают корреляцию alignment с omission/hallucination в исследованных MT-настройках, но не валидируют source-span ledger и не дают semantic oracle. Источники: https://aclanthology.org/2023.emnlp-main.42/ (2023-12), https://aclanthology.org/2024.emnlp-main.188/ (2024-11), оба **peer-reviewed**.
|
||
|
||
**PLAUSIBLE.** Alignment+atom checks полезны сначала как shadow triage, не hard gate: проверять нужно все flagged и стратифицированную случайную выборку unflagged, иначе каскад создаст невидимую слепую зону. Фальсификация: 100–150 естественных и контрфактуальных минимальных ошибок; считать скорректированные recall/precision, critical escapes и review-minutes/error.
|
||
|
||
#### B1.2. «Флаг → человек» признан, но не спроектирован как система производства
|
||
|
||
**CONFIRMED.** Реестр честно называет человеческую ёмкость недоказанной петлёй и не имеет flag-rate×throughput (`docs/architecture/06-memory-risk-registry.md:77-82`); стратегический обзор отмечает отсутствие реализованной очереди (`docs/architecture/07-strategic-review.md:120-128`). Но продуктовый слот не отсутствует полностью: активный Reader-IDE мандат уже проектирует annotations, красные чанки и `human_override` (`docs/READER_IDE_RESEARCH_SESSION_PROMPT.md:11-15,35-36`). Не ратифицирован именно persistent state/ownership contract.
|
||
|
||
**PLAUSIBLE.** Начать следует не с нового домена `ReviewTask`, а с минимального экспортируемого review bundle поверх flags/disposition: reason, evidence, typed resolution, seconds, reviewer. На 5–10 реальных главах измерить повторяемость решений, backlog и multi-reviewer contention; полноценный persistent domain вводить только если данные его оправдывают.
|
||
|
||
#### B1.3. Prompt injection и trust boundary книги отсутствуют
|
||
|
||
**CONFIRMED.** Стартовый бриф ставит анти-абьюз, но стратегический обзор фиксирует отсутствие механизма (`docs/architecture/07-strategic-review.md:34-39`). Сейчас translator tool-less, а webfetch/tools запланированы на Ф3 (`docs/architecture/02-mvp-plan.md:60`), поэтому текущий риск — прежде всего task drift/токены; action-security gate становится обязательным перед Ф3. OWASP описывает прямые/косвенные инъекции через документы, least privilege и action approval; **mutable security guidance**, проверено 2026-07-10, https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html.
|
||
|
||
**PLAUSIBLE.** Для текущего переводчика без tools основной ущерб — task drift и сжигание токенов; после webfetch/agent tools риск станет security boundary. Фальсификация: adversarial EPUB/TXT с plain, Unicode-obfuscated, quoted-fiction и false-positive инструкциями; измерить task-drift, false-positive и отсутствие внешних действий.
|
||
|
||
#### B1.4. Rights/data manifest слабее инженерного provenance
|
||
|
||
**CONFIRMED.** Проект дисциплинированно держит корпуса вне git, различает data-sharing аккаунты и уже формулирует warranty/confidentiality/zero-retention политику (`docs/research/08-legal.md:145-152`), но стратегический обзор оставляет EU-hosting и warranty-chain открытыми (`docs/architecture/07-strategic-review.md:169-177`). Gap — не отсутствие политики, а отсутствие per-book machine-readable enforcement manifest для обработки, референса, хранения, внешнего API, обучения и публикации.
|
||
|
||
**PLAUSIBLE.** Для B2B этот manifest станет обязательным раньше fine-tuning. Фальсификация: legal review двух целевых юрисдикций + 10 интервью издателей; go/no-go поля определяются не архитектурной фантазией, а требованиями договоров.
|
||
|
||
#### B1.5. Полная себестоимость не включает человеческий труд
|
||
|
||
**CONFIRMED.** `exp08` тщательно считает API COGS, но человеческие минуты находятся в другом контуре пилота; «$0.69/ранобэ» — не all-in cost (`docs/experiments/08-cost-model-v2.md:7-26`, `docs/experiments/09-pilot-protocol.md:39-66`). Следовательно, сравнение с человеческим переводом по одной API-цене не доказывает маржу издательского продукта.
|
||
|
||
**PLAUSIBLE.** После введения L3-review, glossary approval и fidelity flags человеческий MTPE станет доминирующей статьёй. Фальсификация: на трёх книгах логировать active editing seconds, flags, glossary decisions и accepted words/hour; публиковать API-only и all-in COGS раздельно.
|
||
|
||
#### B1.6. Для будущего резюме нет claim-level provenance contract
|
||
|
||
**CONFIRMED.** Резюме ещё не реализовано (`docs/architecture/07-strategic-review.md:28,44`), а план Ф2 уже связывает его с fact gate (`docs/architecture/02-mvp-plan.md:47`). Реестр правильно называет propagation ошибки первоклассным риском (`docs/architecture/06-memory-risk-registry.md:50-57`). Незакрыта спецификация provenance/conflicts и acceptance criterion fact gate; утверждать, что сегодня существует авторитетный канал, было ошибкой первой версии отчёта.
|
||
|
||
**PLAUSIBLE.** До постройки typed claim store сравнить более дешёвые варианты: source/local retrieval, prose summary с цитатами и typed claims на 20–30 дальних зависимостях. Source span не гарантирует entailment; если summary не даёт lift по downstream correctness/human-minutes, отдельный store не строить.
|
||
|
||
### B2. (б) Развилки: где решения различаются
|
||
|
||
| Развилка | Мой путь §A | Путь проекта | Чей сильнее и когда |
|
||
|---|---|---|---|
|
||
| Ядро | Evidence-preserving compiler; генеративные роли только после доказанного Δ | C0–C3 configurable graph, пилот выбирает | **CONFIRMED: почти конвергенция.** Проект сильнее по исполнимому runner/durability; §A сильнее как порядок доказательства. Но multi-agent не следует считать априори слабым: Target 2026 получил stylistic lift с occasional additions в zh→en. Источники: `docs/architecture/01-decisions.md:23-44`; Tan et al. ACL 2026, https://aclanthology.org/2026.acl-long.268/; Wang et al. Target 2026, https://doi.org/10.1075/target.25081.wan. |
|
||
| Редактор | Билингвальный adequacy-preserving literary edit; semantic delta re-check | D1 монолингвальный editor ради борьбы с кальками; статус понижен D17 | **CONFIRMED: мой путь сильнее как продуктовая гипотеза, не как уже доказанный winner.** Проект добавил правильный same-model arm; до результата D1 допустим как инфраструктурный default. Источники: `docs/architecture/05-decisions-log.md:200-202`; Tan et al. 2026, URL выше. |
|
||
| Память | Temporal canon/translation memory/term graph/voice раздельно; embeddings не authority | AC-hot-path + disposition + decl + windows; voice/address/reveal зарезервированы | **CONFIRMED: проект сильнее по CJK/ru деталям; карта сильнее по разделению typed facts и prose views.** Источник: `docs/architecture/06-memory-risk-registry.md:20-82`. |
|
||
| Спойлер | Reader-time reveal ledger до перевода | since/until + `gender=hidden`, reveal aliases в Ф2 | **CONFIRMED: конвергенция; проект сильнее по конкретной ru-морфологии, но механизм ещё не release gate.** Источник: D21.3, `docs/architecture/05-decisions-log.md:248-252`. |
|
||
| LLM-судья | Triage only; human pairwise/MQM — якорь с измеренным IAA | Панель 2–3 семейств, ≥11 повторов, human BWS **только для пилота** | **PLAUSIBLE:** повторы измеряют sampling/position instability, но не устраняют systematic bias. Критиковать надо cost/power пилота, не несуществующий production-контракт. Kim подтверждает label bias/near-perfect weakness, но не 1/3/11 protocol. Источники: `docs/architecture/05-decisions-log.md:166-173`; https://aclanthology.org/2025.acl-industry.12/. |
|
||
| 18+ | Policy routing, canary suite, terminal refusal; minors never | Mistral channel B, Grok escalation/judge, ратифицированная L3 frame | **CONFIRMED: проект сильнее эмпирически по adult L2; §A добавляет policy version/canaries.** Эксперименты 10–11 не валидируют L3-classifier. Источники: `docs/experiments/11-erotica-benchmark.md:81-170`, D22.6–7 (`docs/architecture/05-decisions-log.md:270-271`). |
|
||
| Resume | Content-addressed DAG по фактическим входам каждого stage | Snapshot correctness first; D15.2 selective reuse ещё не реализован | **CONFIRMED:** D15 уже гейтит D15.2 реализацией Ф1.5 до онгоинга; это подтверждение принятого blocker, не новая находка. Источник: `docs/architecture/05-decisions-log.md:184-190,265-266`. |
|
||
| Эхо | Общий groundedness/coverage каскад, другая модель на флаге | Отдельный CJK echo class + prompt probes + re-gate | **CONFIRMED: проект сильнее по открытию отказа.** Prompt mitigation — cost optimization; invariant — calibrated detector+route. Источник: D19.2/D22.5, `docs/architecture/05-decisions-log.md:229,269`. |
|
||
| Голос | Compact voice/address/reveal state, только после измерения | D21 voice profiles/exemplars + Annotator | **PARTIAL prior-art correction.** Character-aware MT уже существует: speaker embeddings улучшили сохранение speaker-specific traits в En→Ja относительно fine-tuning; WMT 2025, **peer-reviewed**, https://aclanthology.org/2025.wmt-1.10/. Метод требует trainable decoder и не переносится напрямую на stateless API, но опровергает широкую формулу «voice-aware MT не изучалась». Японский speaker attribution LLM >87% также опубликован в IEICE 2026: https://cir.nii.ac.jp/crid/1390589221586227968. |
|
||
|
||
### B3. (в) Дыры в гипотезах и дешёвые фальсификации
|
||
|
||
#### B3.1. D1/D17: «инфраструктурная приёмка без верности» слишком легко станет продуктовым фактом
|
||
|
||
**CONFIRMED, но текущая Фаза 1 уже корректно ограничена инфраструктурой.** D1 признаёт нулевой fidelity criterion (`docs/architecture/05-decisions-log.md:72-75`), D17 отдаёт выбор пилоту (`docs/architecture/05-decisions-log.md:200-202`), а acceptance prompt прямо запрещает трактовать Ф1 как художественную приёмку (`docs/archive/prompts/ACCEPTANCE_SESSION_PROMPT_v1_2026-07-10.md:14`). Риск возникает только перед экспортом читательского продукта: D2 продолжает книгу после флага (`docs/architecture/05-decisions-log.md:77-86`), поэтому нужен отдельный release-state contract.
|
||
|
||
**Дешёвая фальсификация:** 100–150 сегментов: естественные ошибки + minimal perturbations (negation, agent/patient, number, gender, modality). Билингв проверяет все flags и случайную выборку unflagged. Метрики: upper CI miss-rate, review-minutes/error; требование «0 planted misses» без CI не использовать.
|
||
|
||
#### B3.2. D2: skip+flag — корректная runtime-стратегия, но неполный release-контракт
|
||
|
||
**CONFIRMED gap; PLAUSIBLE mechanism.** Продолжить прогон полезно, но надо развести `run complete`, `artifact structurally complete`, `quality reviewed`, `publishable`. Детерминированно блокируются empty/skip/refusal/structural hole/policy violation; semantic suspicion допускает только явный severity-policy waiver с audit trail. Локальный источник: `docs/architecture/05-decisions-log.md:77-86`; HalOmi подтверждает тяжесть omissions, не конкретный release gate: https://aclanthology.org/2023.emnlp-main.42/.
|
||
|
||
**Дешёвая фальсификация:** contract table `disposition × severity × waiver`; export fail-closed для структурных дыр. После redrive source/input manifest неизменен, но output artifact обязан получить новую версию/hash.
|
||
|
||
#### B3.3. D13: 11 повторов судьи измеряют нестабильность, но не создают независимость
|
||
|
||
**CONFIRMED limitation; инженерная гипотеза о повторах.** Проект уже знает bias/self-preference и валидирует против людей (`docs/architecture/05-decisions-log.md:166-173`). Kim подтверждает label bias и слабость на near-perfect translations; то, что коррелированные повторы не устраняют systematic bias, — статистически мотивированная гипотеза отчёта, не результат Kim. Источник: https://aclanthology.org/2025.acl-industry.12/.
|
||
|
||
**Дешёвая фальсификация:** на BWS items сравнить агрегаты первых 1/3/5/11 вызовов с full-11 и человеческим subset; bootstrap кластеризовать по item. Проверить sequential stopping: 3 вызова, расширение до 11 только при disagreement. Это оптимизация мощности/цены пилота, не production.
|
||
|
||
#### B3.4. D15.2: спецификация не снимает блокер, пока reuse не исполнен и не fault-tested
|
||
|
||
**CONFIRMED и уже принято проектом.** D15 воспроизводит полную переоплату и гейтит онгоинг реализацией Ф1.5 (`docs/architecture/05-decisions-log.md:184-190`); D22 требует v3.1 до реализации (`docs/architecture/05-decisions-log.md:265-266`). Это не новая рекомендация внешнего критика, а подтверждение правильного sequencing проекта.
|
||
|
||
**Дешёвая фальсификация:** 2 чанка × 2 каскадные стадии, pairwise axis flips и mutation/property tests declared dependency closure; затем 10–20 глав для сверки preflight rebill estimate. Не требовать невычислимой «semantic impact closure».
|
||
|
||
#### B3.5. D19.2: «регистр» пока объяснение после наблюдения, не предиктор
|
||
|
||
**CONFIRMED.** D22 уже сужает клейм и признаёт малый N/неразличимость части сравнений (`docs/architecture/05-decisions-log.md:269`). Поэтому «архаичный плотный Han» нельзя кодировать как корневую причину; detector должен смотреть на результат, а не угадывать жанр.
|
||
|
||
**Дешёвая фальсификация:** для production detector достаточно накопленных echo-failures + 30–50 чистых выходов на язык + synthetic partial/tail echoes; threshold выбрать при фиксированном FP budget. Полный причинный factorial нужен только если команда хочет публиковать causal клейм о регистре, не для гейта.
|
||
|
||
#### B3.6. D21: voice/reveal правильны, но приоритет должен идти от измеримого вреда
|
||
|
||
**PLAUSIBLE.** Проект ратифицировал address/reveal/voice как раздельные arms (`docs/architecture/05-decisions-log.md:248-252`); полный профиль основан на малых локальных пробах (`docs/research/15-voice-and-state.md:66-88`). WMT 2025 даёт прямой prior art speaker-aware MT, поэтому voice нельзя автоматически понижать ниже reveal. Приоритет определяет частота eligible errors конкретного корпуса; speaker attribution дополнить fidelity/over-stylization, иначе метрика вознаградит карикатуру.
|
||
|
||
**Дешёвая фальсификация:** три отдельных paired challenge sets: ambiguous T/V, реальные pre-reveal spans, speaker-rich dialogue. Не делать общую ladder — arms действуют на разных eligible cases.
|
||
|
||
#### B3.7. L3 pre-screen: текущая рамка не определяет доказательство возраста
|
||
|
||
**CONFIRMED.** D22 задаёт lexicon+local classifier, fail-closed и FN metric, но пока это «рамка, не дизайн» (`docs/architecture/05-decisions-log.md:271`). Эксперимент 11 показывает, что определение adult-only требовало per-participant контекстного аудита, а keyword density не решала возраст (`docs/experiments/11-erotica-benchmark.md:22-60`). Отказ провайдера также не является сигналом категории.
|
||
|
||
**Дешёвая фальсификация:** сначала ратифицировать policy/version и допустимую FN bound. Shadow-classifier тестировать на explicit и cross-chunk age, aliases, negation, quotation/backstory и uncertain participants; первые adult-production книги требуют human confirmation всех релевантных сцен. Для ≥99% sensitivity при нуле промахов нужно порядка 300 positive cases; evidence spans помогают аудиту, но не доказывают класс.
|
||
|
||
#### B3.8. Memory-eval доказывает over-trust, но пока не качество книги
|
||
|
||
**CONFIRMED.** M3 уронил judge-fidelity 94.6→49.0 на пяти Ah-Q чанках, но проект сам маркирует это индикативом на PD-классике и LLM-судье (`docs/experiments/09-pilot-protocol.md:100-114`). Это хорошая демонстрация механизма, не оценка production error rate.
|
||
|
||
**Дешёвая фальсификация:** на held-out webnovel построить естественные wrong-sense, alias, window, decl и omission cases; слепые билингвы отмечают span/severity, LLM judge только triage. Отдельно измерить false flags post-check, потому что noisy gate разрушит human-loop.
|
||
|
||
## §C. Рекомендации по признанным дырам
|
||
|
||
Постревью разделяет приоритет по условию, а не складывает всё в один P0. `$0 API` ниже не означает бесплатную реализацию: engineering, local compute, retries и human time считаются отдельно.
|
||
|
||
| Приоритет | Механизм | Слот в архитектуре | Цена | Как измерить / kill-criterion | Вердикт и грунт |
|
||
|---|---|---|---|---|---|
|
||
| До reader-export | **Release state contract:** `run_complete` / `structurally_complete` / `quality_reviewed` / `publishable`; hard block structural/policy holes, audited waiver для semantic flags | Существующие disposition/status/report + export gate | `$0` API; engineering не оценён | Contract table `disposition × severity × waiver`; source manifest стабилен, output version меняется после redrive | **CONFIRMED gap; PLAUSIBLE mechanism.** D2: `docs/architecture/05-decisions-log.md:77-86`; HalOmi подтверждает severity, не gate: https://aclanthology.org/2023.emnlp-main.42/. |
|
||
| После статичной приёмки, shadow | **Fidelity evidence cascade:** alignment/atoms → narrow bilingual questions; обязательная случайная выборка unflagged | Расширяет уже запланированные Judge/sidecar/fidelity suite; новый artifact `coverage_evidence` | `$0` внешнего API для local alignment, но compute/engineering есть; judge-цена определяется измеренным хвостом. Planning assumption 10% не подтверждён | 100–150 pairs; corrected recall/precision, upper CI miss-rate, review-minutes/error. Gate только после доказанного utility | **PLAUSIBLE.** Источники мотивируют signals/calibration, не каскад: https://aclanthology.org/2023.emnlp-main.42/, https://aclanthology.org/2024.emnlp-main.188/. |
|
||
| До первой ongoing-книги | **D15.2 v3.1:** conservative declared dependency closure + rebill consent | Существующая snapshot/request-hash machinery | Marginal token overhead может быть `$0`; engineering/stale risk существенны | 2×2 stage/chunk property+mutation tests; 10–20 глав для preflight rebill estimate | **CONFIRMED, уже принято.** `docs/architecture/05-decisions-log.md:184-190,265-266`. |
|
||
| После 5–10 реальных глав | **Minimal review bundle:** flag, evidence, typed resolution, seconds, reviewer, reuse marker; persistent domain — только по данным | Flags/disposition + Reader-IDE annotations; новый domain пока не обязателен | `$0` API; human minutes — главная метрика | flags/chapter, precision, minutes/flag, repeats, backlog. Эскалировать дизайн при multi-reviewer/reuse/росте backlog | **CONFIRMED capacity gap; PLAUSIBLE workflow.** `docs/architecture/06-memory-risk-registry.md:82`; Reader-IDE slot: `docs/READER_IDE_RESEARCH_SESSION_PROMPT.md:11-15,35-36`. |
|
||
| До первой adult-production книги | **Усилить ратифицированный D22.7:** versioned policy + book/entity context + `adult/prohibited/uncertain`, terminal uncertainty, human-confirm first books | Принятый ingest pre-screen + escalation guard | Local API marginal `$0`; classifier compute и full human confirmation первых книг не оценены | Отдельно cross-chunk age, alias, negation, quotation/backstory; upper FN CI. ~300 positive cases для демонстрации ≈99% sensitivity при 0 misses | **CONFIRMED gap, PLAUSIBLE extension.** D22.7: `docs/architecture/05-decisions-log.md:270-271`. NIST поддерживает lifecycle testing, не схему: **voluntary government risk profile**, 2024-07, https://doi.org/10.6028/NIST.AI.600-1. |
|
||
| Текущий контур | **Echo gate calibration:** source overlap + CJK share + loop/entropy; prompt mitigation только экономит fallback | Расширение disposition/re-gate | `$0` API на чистом; local compute + fallback flagged | Existing failures + 30–50 clean outputs/язык + synthetic partial/tail echo; threshold при fixed FP budget | **CONFIRMED need.** `docs/architecture/05-decisions-log.md:229,269`; причинная модель регистра не нужна для gate. |
|
||
| Пилот Ф2.5 | **Judge sequential-repeat experiment:** 1/3/5/11, expand-on-disagreement, human subset | Существующий pilot harness | Цена измеряется, а не предполагается; production-контракта нет | Cluster bootstrap by item; changed decisions and cost/corrected decision | **CONFIRMED limitation; PLAUSIBLE optimization.** Kim подтверждает bias, не repeat protocol: https://aclanthology.org/2025.acl-industry.12/. |
|
||
| Ф2 experiments | **Раздельные address/reveal/voice arms** на eligible cases; voice дополнить fidelity/over-stylization | D21 reserved slots + Annotator | Address ~10–20 tokens/active pair; остальные цены измерить | Три challenge sets: ambiguous T/V, real pre-reveal, speaker-rich dialogue | **PLAUSIBLE.** Direct prior art по voice: WMT 2025 En→Ja speaker embeddings, https://aclanthology.org/2025.wmt-1.10/. Конкретный stateless mechanism не доказан. |
|
||
| Ф2 decision gate | **Summary baseline comparison:** source retrieval vs prose+citation vs typed claims; не делать summary authoritative по умолчанию | Будущий summary/fact gate | Не оценено; typed store создаёт extraction/coreference/conflict/human costs | 20–30 дальних зависимостей, несколько planted error classes; downstream correctness + human minutes | **PLAUSIBLE.** Gap: `docs/architecture/06-memory-risk-registry.md:56`; long-context источник лишь мотивирует риск: https://aclanthology.org/2024.tacl-1.9/. |
|
||
| Сейчас policy; hard gate до Ф3 tools | **Trust boundary:** translator физически без tools/secrets/outbound actions; web retrieval изолирован; action guard появляется вместе с tools | Render/security policy сейчас; tool gateway в Ф3 | Engineering, не `$0` | Task-drift на literary/Unicode injections; capability test физического отсутствия actions | **CONFIRMED risk class; PLAUSIBLE architecture.** OWASP, проверено 2026-07-10: https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html. |
|
||
| До B2B | **Machine-readable rights/data manifest + all-in COGS** поверх существующей legal policy | Per-book metadata + human-event telemetry | Engineering/legal/human costs не оценены | Contract completeness; API-only vs all-in margin; accepted words/hour | **PLAUSIBLE product blocker.** `docs/architecture/07-strategic-review.md:176`; существующая policy: `docs/research/08-legal.md:145-152`. |
|
||
|
||
### C1. Исправленный порядок работ
|
||
|
||
1. Завершить статичную инфраструктурную приёмку и получить реальный flag-rate; не подменять её художественной приёмкой.
|
||
2. До reader-export определить четыре release-state и structural hard gates.
|
||
3. Запустить fidelity cascade только в shadow mode и измерить human review minutes, включая unflagged sample.
|
||
4. Начать с minimal review bundle; persistent workflow проектировать после данных.
|
||
5. D15.2 реализовать до ongoing, L3 policy/screen — до adult production.
|
||
6. Judge, address/reveal/voice и summary — раздельные экспериментальные ветви, не общий P0.
|
||
7. Зафиксировать trust boundary сейчас; action machinery — непосредственно перед tools/webfetch.
|
||
|
||
## §D. Вопросы команде
|
||
|
||
### D1. Ответы, найденные постревью (больше не открытые вопросы)
|
||
|
||
1. **Фаза 1 — строго инфраструктурная приёмка;** художественное качество решает Ф2.5 (`docs/archive/prompts/ACCEPTANCE_SESSION_PROMPT_v1_2026-07-10.md:14`). Поэтому fidelity/release gate не блокирует текущую приёмку, но обязателен до reader-export.
|
||
2. **D15.2 — Ф1.5 и гейт до онгоинга;** v3.1 должна быть внесена до реализации (`docs/architecture/05-decisions-log.md:184-190,265-266`).
|
||
3. **11+ judge repeats — протокол пилота, не production** (`docs/architecture/05-decisions-log.md:166-173`).
|
||
4. **Summary ещё не реализована и уже запланирована с fact gate** (`docs/architecture/02-mvp-plan.md:47`); вопрос — в спецификации gate, не в наличии намерения.
|
||
|
||
### D2. Реально открытые вопросы
|
||
|
||
1. **Кто даст билингвальную человеческую верность для zh→ru и ja→ru?** Английский фан-перевод как мост добавляет третий переводческий шум; без квалифицированного якоря главный продуктовый клейм останется judge-mediated.
|
||
2. **Какой допустимый human budget:** минут на главу, максимальный backlog, доля `uncertain`, допустимый waiver? Это определяет thresholds и all-in margin.
|
||
3. **Что именно означает `publishable` при `skip+flag+continue`?** Какие severity блокируют export, какие допускают audited human waiver, и кто его подписывает?
|
||
4. **Каков machine-enforced правовой контур книги:** основание обработки исходника/референса, retention у каждого провайдера, human review и публикация производного текста?
|
||
5. **Кто владеет L3 policy и апелляцией `uncertain`,** и какая sensitivity/FN bound требуется до первой adult-production книги?
|
||
6. **Какова схема provenance/conflicts и acceptance criterion future summary fact gate?** Source citation сама по себе не доказывает entailment.
|
||
7. **Когда и кем будет закрыта G1-автопопуляция глоссария, B6 Палладий/Поливанов и gender-leak morph gate?** Эти признанные оси (`docs/architecture/06-memory-risk-registry.md:39,47,77-82`) могут дать больший fidelity lift, чем новые agent roles.
|
||
8. **Кто владеет устранением doc drift?** `02-mvp-plan` всё ещё содержит следы старой ja-приёмки, хотя D18 сменил книгу на zh; в doc-driven multi-session проекте это самостоятельный regression risk (`docs/architecture/07-strategic-review.md:130-132`).
|
||
|
||
---
|
||
|
||
### Итог
|
||
|
||
**CONFIRMED после постревью.** Архитектура TextMachine не требует разворота: детерминированное ядро памяти, durable execution и денежная дисциплина — сильные решения. Исправленный ближайший центр тяжести: **измерить end-to-end fidelity и человеческую нагрузку на реальной книге, затем превратить только доказавшие precision/utility сигналы в release gates и persistent workflow**. D15.2 блокирует ongoing, L3 — adult production; voice, summary и judge остаются раздельными экспериментальными ветвями. Multi-agent роли не отвергаются: свежие zh/en и en/zh исследования дают положительные сигналы, но также подтверждают риск лишнего контента и непереносимость результата на stateless zh/ja→ru API без собственного пилота.
|