heaven/textmachine
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
textmachine/docs/research/20-bank-mining.md

94 KiB
Raw Permalink Blame History

research/20 — Авто-формирование банка памяти книги из черновиков (W1.5 / банк-майнинг)

РЕВЬЮ-ШАПКА ОРКЕСТРАТОРА (17.07, лендинг D39.6). Верификация: §A-хеш воспроизведён байт-в-байт (awk-команда отчёта → 7687d56a… MATCH); несущие репо-клеймы спот-проверены по file:line (injectivityCollisions memory.go:809+, rubyToCandidates memseed.go:314+, isFinal-only санитайзер, final_hash→сырой-чекпоинт на OK-пути — все сошлись с моим собственным чтением кода); конфаунд глоссарий-инъекции в records.json corroborated (PROGRESS:151: rerun шёл с selective-инъекцией сида v2) — это несущая находка отчёта, cold-start срез в §D обязателен. Внутренняя дисциплина сессии: свой пост-хок адверсариал (~50 клеймов, 1 WRONG + 9 IMPRECISE исправлены ДО сдачи), claim-fidelity §A по первоисточникам. Отклонение HOLD-гейта ПРИНЯТО (запуск прямым указанием владельца; рационал гейта — фокус полигона — не нарушен: exp15 ещё не стартовал, полигон-стадия §D по-прежнему гейтится его завершением). Вердикт: ACCEPT. §E-владельцу (мини-голд алиасов · бюджет ≤$5 · политика канона · жанр-паки · реплика ja→ru) вынесены владельцу отдельно; §E-бэкенду — слоты дизайна, НЕ строить до итогов §D (ратифицировано D39.6).

Сессия-ресёрчер, 2026-07-17. Исполнение docs/RESEARCHER_BANK_MINING_SESSION_PROMPT.md (D39.3). Не закоммичено — лендит оркестратор.

⚠ ОТКЛОНЕНИЕ HOLD-ГЕЙТА (фиксирую честно): промт требовал запуск ПОСЛЕ пре-рег фриза exp15 (первый коммит полигон-сессии). На момент старта сессии (2026-07-17) в истории git НЕТ ни одного коммита полигон-сессии exp15 и нет eval/exp15/ (проверено: git log --oneline --all | grep exp15 — только оркестраторские коммиты выдачи промтов; ls eval/ — папки exp15 нет). Сессия запущена прямым указанием владельца («Работай по этому промту»). Рационал гейта — «не разбавлять фокус полигона» — работой отдельной ресёрч-сессии не нарушается; полигон-стадия §D по-прежнему гейтится завершением exp15 (без изменений). Оркестратору при лендинге: подтвердить, что отклонение принято.

Протокол анти-анкоринга (как research/18/19)

  1. §A (внешняя фактура) собран ДО чтения репо-стека сверх промта сессии. Источники — только веб (WebSearch/WebFetch), мульти-агентно: 6 тем × (ресёрчер → адверсариальный верификатор claim-fidelity по первоисточникам, author≠reviewer). До заморозки §A из репо прочитано ТОЛЬКО: промт сессии, CLAUDE.md/MEMORY (системный контекст), git log/ls eval + греп exp15 в PROGRESS.md (гейт-чек, одна строка статуса — не фактура).
  2. Заморозка: sha256 блока §A — от строки ## §A. до строки-маркера <!-- END §A (frozen) --> включительно: awk '/^## §A\./,/^<!-- END §A \(frozen\) -->/' docs/research/20-bank-mining.md | sha256sum. Хеш зафиксирован ниже ДО чтения прайор-арта репо.
  3. Несущие клеймы §A прошли адверсариальную верификацию исполнением (агент-верификатор фетчил первоисточники); вердикты CORRECTED/REFUTED отражены в тексте, инфляция рамок срезана.

§A-хеш (sha256, заморожен до чтения репо-стека): 7687d56a9f8a07cff000ef8337ada09435614a93e7e6026c61b7106fe831cf08 (248 строк блока §A; зафиксирован 2026-07-16T23:01:46Z UTC, до открытия любого файла прайор-арта).

§A. Внешняя фактура (заморожено)

A0. Метод сбора и статус верификации

Собрано веб-only (WebSearch/WebFetch), 6 тем × независимый ресёрч-агент → адверсариальный верификатор claim-fidelity по первоисточникам (author≠reviewer; охота на овер-атрибуцию: верное число не из той статьи, реальный источник с завышенной рамкой). Статус: тема A1 (ATE-ядро) — первый верификатор вернул заглушку, проведена повторная независимая верификация отдельным агентом: 9/11 CONFIRMED, 2 CORRECTED (Velardi: 3.2M слов — общий объём коллекции, включая 200k туризма, т.е. ~3.0M вне-доменных; Marciniak: «SOTA 0.59» — овер-атрибуция, 0.59 в статье = Kappa аннотаторов). Темы A2–A6 — 49/54 несущих клеймов CONFIRMED дословно по первоисточникам, 5 CORRECTED, 0 REFUTED. Все цифры ниже — в пост-коррекционном виде.

A1. Статистическое ATE: меры и измеренный потолок

  • Unithood vs termhood (Kageura & Umino 1996, Terminology 3(2)): каноническая декомпозиция — unithood (устойчивость последовательности; PMI/LLR/вложенность) и termhood (доменная специфичность; контраст с референс-корпусом). $0-экстрактор должен скорить их раздельно.
  • C-value/NC-value (Frantzi, Ananiadou & Mima 2000, Int. J. Digital Libraries 3(2):115–130): C-value(a) = log₂|a|·f(a) для невложенных; для вложенных — log₂|a|·(f(a) − (1/P(Tₐ))·Σ_{b∈Tₐ} f(b)). Вклад — обработка вложенных многословных термов (дисконт частоты подстроки на среднюю частоту содержащих кандидатов). Оригинальная оценка (глазная патология, 810 719 слов, порог частоты 3): +6–8% precision против частотного ранжирования глобально, +31–38% на вложенных кандидатах; NC-value (0.8·C + 0.2·контекст-веса) добавляет ~5% в топ-интервалах. Всё ниже частоты 3 не скорится вовсе.
  • PMI-патология (Church & Hanks 1990, CL 16(1)): сами авторы объявили меру нестабильной и исключили пары с f(x,y) ≤ 5 — канонический предел снизу. LLR (Dunning 1993, CL 19(1)): count-based MI систематически переоценивает связь редких событий; G²-тест валиден на малых счётчиках — стандартная замена PMI для низкочастотных кандидатов.
  • Контрастные меры termhood: weirdness = (w_s/t_s)/(w_g/t_g) (Ahmad, Gillam & Tostevin, TREC-8 1999) — у контент-слов частота в общем корпусе «low or potentially zero», т.е. OOV-имена и неологизмы попадают в вырожденный режим бесконечной weirdness (для именного фикшн-майнинга это скорее эксплуатируемая фича, чем баг — но требует сглаживания). Domain Relevance (нормированная условная вероятность против контраст-корпусов) + Domain Consensus (энтропия распределения терма по документам домена) — Velardi, Missikoff & Basili 2001 (ACL W01-1005; контраст ~200k-словного туристического корпуса против мульти-доменной коллекции ~3.2M слов total, из них ~3.0M вне-доменных).
  • Измеренный потолок (ACTER/TermEval 2020, Rigouts Terryn et al., CompuTerm 2020**):** 3 языка (en/fr/nl), 4 домена, 119 455 аннотаций термов+NE (19 002 уникальных) на ~596k слов. Протокол против подгонки порогов — кросс-доменный holdout (тюнинг на 3 доменах, финальный скор только на отложенном heart-failure). Итог: классическая статистическая система (e-Terminology/TBXTools) F1 ≈ 0.14–0.21; лучший BERT-классификатор кандидатов 0.467 (en) / 0.481 (fr); Dutch-победитель 0.187. Sequence-labeling XLM-R позже поднял до 0.583 (en) / 0.576 (fr) / 0.698 (nl; трансфер en→nl), +11.6 F1 против кандидат-классификации в тех же условиях (Lang et al., Findings of ACL-IJCNLP 2021). Аудит Marciniak, Rychlik & Mykowiecka (Natural Language Processing, CUP; онлайн 08.2025, том 32/2026): ATE не «решён» и трансформерами — их лучшее 0.58 F1 с NE (0.46 без NE) на ACTER heart failure, что авторы называют сопоставимым с диапазоном ~0.6; но режим ошибок инвертирован — трансформеры извлекают редкие в тексте термы (где частотные меры слепы по построению), а ошибки концентрируются на частых общеязыковых частях термов и run-to-run нестабильности (+10% трейн-данных иногда значимо ухудшали результат).
  • Калибровка к нашей задаче: цифры ACTER — для исчерпывающей выгрузки всех термов корпуса против полной аннотации; банк книги таргетирует существенно более узкий класс (салиентные повторяющиеся сущности), т.е. это floor-калибровка «чистый статистический ATE = шумный список кандидатов, не глоссарий», а не прямой прогноз нашего recall/precision.

A2. Билингвальный терм-майнинг из параллельных пар

  • Статистическое выравнивание слабо именно на zh-en: fast_align/IBM Model 4 дают AER 44.1/45.8 на FBIS zh-en против ~10–17 на fr-en в той же работе (Dyer, Chahuneau & Smith, NAACL 2013). Нейральные выравниватели втрое лучше: awesome-align — zh-en AER 18.1 без файнтюна / 13.4 с мультиязычным файнтюном (Dou & Neubig, EACL 2021; тест TsinghuaAligner — с fast_align напрямую не сопоставим). SimAlign (Jalili Sabet et al., Findings of EMNLP 2020) работает вовсе без параллельного обучения (en-de F1 0.81 против eflomal 0.76), но zh-en не оценивался.
  • Терм-пары из выровненного корпуса: TExSIS (Macken, Lefever & Hoste 2013, Terminology 19(1)) — точность выравнивания есть критическая зависимость всего пайплайна; двусторонняя (билингвальная) фактура даёт precision выше монолингвальной. TermEnsembler (Repar et al. 2019, Terminology 25(1), en→sl — морфологически богатый славянский таргет): precision >96% на топ-400 ранжированных пар — верхняя планка ранжированного списка на чистых человеческих параллельных данных.
  • Без выравнивания: Champollion (Smadja, McKeown & Hatzivassiloglou 1996, CL 22(1)) — Dice ко-оккуренция, 65–78% точности (среднее 73%). Транслитерационный майнинг имён en-zh без параллельности: фонетика одна — CoreMRR 0.637, корреляция частоты по времени — 0.824, комбинация — 0.875 (Tao et al., EMNLP 2006) — фонетическое сходство юзабельно только как вторичный сигнал в комбинации с частотно-распределительным.
  • Comparable corpora — не наш масштаб: Rapp (ACL 1999): 72% top-1 на 100 словах потребовали 135M+163M слов моноязычных корпусов и сид-словарь 16 380 статей.
  • Сегментация zh — конфаунд: Chang, Galley & Manning (WMT 2008) — сегментер с более высокой собственной F даёт худший MT из-за неконсистентной сегментации того же слова по контекстам; char-level хуже word-level (30.28 vs 32.09 BLEU); оптимальна гранулярность короче CTB (+0.73). Для новелл сегментация деградирует из-за книго-специфичного словаря сущностей, и майнинг сущностей улучшает сегментацию (связь двусторонняя — Qiu & Zhang, AAAI 2015, в A4).
  • Русская сторона — лемматизация значима: морфо-осведомлённое выравнивание даёт наибольший выигрыш на малых корпусах и простых моделях (IBM-1 AER 27.5→24.8 на 0.5k предложений; Popović & Ney, COLING 2004) — агрегировать пары надо по леммам таргета.
  • Дыра в литературе: работ, майнящих терминологию именно из ЧЕРНОВИКОВ MT (не человеческих референсов), не найдено — «шум черновика ломает/не ломает выравнивание» внешне не установлено.

A3. Разброс переводов как сигнал — и его слепая зона

  • LTCR (Lyu, Li, Gong & Zhang, EMNLP 2021): доля совпадающих пар среди C(k,2) переводов источника, повторённого k раз в документе. Референсы консистентны: 74.24% zh→en (существительные 80.98%; прилагательные 81.77% — формально чуть выше, вопреки прозе статьи), sentence-level NMT — 43.13% (сущ. 50.74%), т.е. ~половина повторных вхождений переводится по-разному уже на новостном корпусе (LDC2015T06).
  • One translation per discourse (Carpuat, SEW-2009): в человеческих переводах >80% лемм имеют один перевод на документ, >98% — не более двух; нарушения гипотезы «can reveal lexical choice errors» (предварительное исследование, не масштабная валидация).
  • Слепая зона задокументирована (Carpuat & Simard, WMT 2012): (1) ~40% неконсистентно переведённых типов фраз вовсе не потребовали постредактуры — benign-вариативность, т.е. ложноположительные для детектора; (2) более слабая zh-en система (23.6 BLEU) оказалась БОЛЕЕ консистентной, чем сильная (27.2) — «consistency can signal a lack of coverage»: стабильность ≠ правильность, стабильно-неверный перевод структурно невидим для сигнала разброса. Дополнительно LREC-COLING 2024 (310 статей zh→en): аннотаторам пришлось делить консистентность на true/false — наивный детектор «тот же источник ⇒ тот же перевод» систематически оверфлагает.
  • Именно на вебновеллах сигнал обилен: DelTA (Wang et al., ICLR 2025, arXiv:2410.08143) вводит LTCR-1 (совпадение с ПЕРВЫМ переводом имени собственного в документе): sentence-by-sentence LLM-бейзлайны на GuoFeng zh→en — 37.00 (Qwen2-7B) / 58.00 (Qwen2-72B) / 58.82 (GPT-4o-mini) / 61.58 (GPT-3.5), т.е. 38–63% повторных упоминаний имён расходятся с первым переводом; память имён поднимает до 85.5–88.9 и улучшает COMET (+3.14/+3.16). Издержка неверного первого перевода НЕ измерялась; пост-хок глобальная реконсиляция НЕ тестировалась.
  • Жанровая валидация класса ошибки: WMT23 Discourse-Level Literary Translation (GuoFeng Webnovel: 1.9M пар, 179 новелл, 22.6K глав, 14 жанров; Wang et al., arXiv:2311.03127) кодифицирует «Terminology / Inconsistent» как MQM-класс с примером 斗罗大陆 → «Douluo Land» в первых главах, затем «Soul Land». WMT24 добавил zh→ru (GuoFeng V2: 122 книги, ~20.0K глав, 23.5M слов; цитировать arXiv:2412.11732 — ACL-версия усечена), но zh-ru «референсы» = GPT-4 doc-level + человеческая пост-редактура, и human error-analysis для zh-ru не проводился — опубликованной энтити-эмпирики zh-ru вебновелл НЕТ.
  • Метрики терм-точности WMT требуют готового словаря: WMT21 — lemmatized exact match, window overlap, 1-TERm; WMT23 — fuzzy search с порогом 90% (регэксп-матчинг явно отвергнут, лемматизация не описана) + предостережение: выигрыш от словаря сопоставим с «утечкой» эквивалентного объёма информации из референса (Semenov et al., WMT 2023).
  • Контекст уменьшает, но не убирает: Karpinska & Iyyer (WMT 2023): paragraph-level LLM-перевод даёт меньше mistranslations/стилевых инконсистентностей, чем sentence-level, но критические ошибки (включая пропуски) остаются (18 языковых пар, литературные фрагменты).
  • Дыра в литературе: «стабильно-неверный перевод редких неологизмов» (класс 蛊→«гусеницы») как отдельно изученный феномен не найден — ближайшее это generic rare-word/NE-mistranslation и hallucination-детекция; готового внешнего решения для слепой зоны (г) нет.

A4. NER на литературном zh/ja

  • Трансфер news→fiction проваливается с числами: LitBank (Bamman, Popat & Shen, NAACL 2019): ACE/news-модель 45.7 F1 на литературе vs 68.3 при in-domain обучении (>20 пунктов). Китайские новеллы (Zhao et al., arXiv:2311.15509: 260 новелл, 13 жанров, 263 135 сущностей): in-domain BERT-BiLSTM-CRF MicroF1 86.73 (PER 87.72 / LOC 85.41 / ORG 79.09), но People's Daily→новеллы — MicroF1 42.91 и ORG F1 0.47%; OOV LOC даже in-domain — 31.63. Кросс-жанрово тоже лосси (ORG на Reality: 39.13 при обучении на Xianxia vs 31.44 на Wuxia). GenWebNovel (Zhao et al., COLING 2025; 400 глав, XuanHuan/History): сущности между жанрами «share few overlaps».
  • Инструменты из коробки — news-trained и без фикшн-цифр: HanLP zh-NER — все модели MSRA (in-domain F1 95.16, фикшн не мерился); spaCy zh_core_web_lg — OntoNotes 5, ENTS_F 71.39 in-distribution. Т.е. деградация на новеллах у вендоров не измерена, выводится из трансфер-работ выше.
  • Правила для китайских имён — высокий recall: surname-anchored правила + статистика (Cao et al., ISCSLP 2002): P 83.66 / R 93.50 (⚠ мягкие числа: внутренняя арифметика статьи неконсистентна, тест — People's Daily, не фикшн; но класс «фамильный якорь + bound words» как high-recall PERSON-канал поддержан). Структура эксплуатируема кодом: инвентарь фамилий (百家姓), титулы/гоноративы-суффиксы (公子/大人/前辈/长老), префиксы 老/小/阿 + порядковые.
  • Сегментация ↔ сущности связаны (Qiu & Zhang, AAAI 2015): сегментация деградирует на новеллах из-за книго-специфичного словаря; майнинг именных сущностей (double-propagation) и подача их в news-сегментер значимо улучшает точность, особенно OOV, на 5 новеллах.
  • Японский: GiNZA v5 — NER обучен на GSK2014-A (BCCWJ-издание БЕЗ газетных документов, т.е. книжные регистры в трейне), ENE 53.9–70.8 по вариантам; фикшн-детекция персонажей — активная, но proceedings-уровневая область (ANLP 2024, D3-6, Нагоя).
  • Малые локальные модели: GLiNER (50M–300M; NAACL 2024) бьёт ChatGPT zero-shot на en OOD (60.9 vs 47.5 avg F1), но zh MultiCoNER — всего 24.3 (мульти-вариант) / 6.59 (en-вариант) — не дроп-ин для китайского источника. UniversalNER 7B/13B (ICLR 2024): avg zero-shot F1 41.7/43.4 vs 34.9 у учителя gpt-3.5-turbo (43 датасета; «7–9 пунктов» аннотации покрывает оба размера).

A5. Кластеризация алиасов персонажей

  • BookNLP: правила только для PROP-слоя, by design. Генерация допустимых вариантов имени (Mr. Tom Sawyer → Tom/Sawyer/Mr. Sawyer/…) + жадная привязка к последней активной сущности (Bamman, Underwood & Smith, ACL 2014); common NP (титулы/эпитеты «the boy») в именные кластеры НЕ мержатся — полная свободная кореференция на масштабе книги «tends to erroneously conflate multiple distinct entities into one» (README BookNLP; собственный coref avg F1 76.4/79.0). ~74% упоминаний персонажей в книгах — местоимения (82.7% точность их резолюции, 10-fold CV).
  • Мера масштаба слепой зоны: в LitBank-кореференции (Bamman, Lewke & Mansoor, LREC 2020) PROP-упоминания — лишь 12.2%, NOM (титулы/эпитеты/роли — класс «四代族长») — 33.5%, PRON — 54.3%. Строковые правила по построению достают только PROP-слой. Потолки кореференции: OntoNotes-модель теряет 10.3 пункта на литературе (83.2→72.9 gold mentions); in-domain LitBank — 79.3 (gold) / 68.1 (predicted mentions, end-to-end).
  • Прецизионно-безопасный инвентарь правил (Vala, Jurgens, Piper & Ruths, EMNLP 2015): графовый алиас-резолвер — стриппинг гоноративов, газеттир гипокоризмов (1 859 форм / 560 имён), и главное НЕГАТИВНЫЕ констрейнты (разный инференс-пол; общая фамилия при разных именах; разные гоноративы; ко-презенция в сочинении/диалоге ⇒ не мержить). P&P: F1 0.758 vs BookNLP 0.502. Ролевые референты («the governor») потребовали отдельного bootstrap-этапа (2 073 глагол-зависимостных пар) — и это только ДЕТЕКЦИЯ, не привязка к именованному персонажу.
  • Линк-метрики льстят кластеризации: rule-sieve кореференция на 48 немецких новеллах (Krug et al., CLfL@NAACL 2015): MUC F1 85.5 — но entity-level B³ лишь 56.0; крупнейший класс ошибок (37%) — «semantic errors», требующие знания мира (ровно класс титул-идентичности). Их fuzzy-дистанция для прозвищ — прецизионно-рисковый проход.
  • zh-новеллы: оценённого бейзлайна не найдено. Характерная работа (Fan & Li 2022, Comput. Intell. Neurosci.: 红楼梦 265 персонажей, 三国演义 1 133, два романа Цзинь Юна) мержит 姓名/绰号/简称 неоценёнными ручными правилами — P/R алиас-мержа не репортится (обобщать «нигде в литературе нет» нельзя, но в найденном — нет). Ближайший якорь: in-domain NER китайской литературы (Xu et al., arXiv:1711.07010) — Person F1 85.00 (CRF-эра).
  • $0-строковое сходство: канонический бенч имён (Cohen, Ravikumar & Fienberg, KDD-WS 2003): SoftTFIDF «best overall», но ранжирование датасето-зависимо (на census Levenshtein 0.832 > SoftTFIDF 0.685) — метрику без валидации не выбирать; для коротких CJK-строк токенные компоненты вырождаются в перекрытие иероглифов (наш вывод, не источника).

A6. LLM-ATE, гибриды, консолидация

  • LLM ≈ но не > файнтюн-PLM на ATE: промптед 7–9B с retrieval few-shot — до F1 60.2 (Gemma-2) на кросс-доменном ACTER vs RoBERTa-large 61.2; in-domain PLM выше (Findings of ACL 2025, arXiv:2506.21222). На редких литературных сущностях (Zibaldone, arXiv:2505.20113): файнтюн-GLiNER 68.98 vs LLaMa3.1-8B generative 30.71 — LLM-ICL вдвое хуже файнтюна компактной модели.
  • Порядок «high-recall код → LLM-фильтр» поддержан, но слабо: RATE (arXiv:2507.21125): кандидаты с высоким recall + LLM-валидация по мульти-дефинициям — F1 91.27 vs BERT 53.73 (голд всего 70 статей, BCI+XR — сигнал о порядке стадий, не переносимая цифра).
  • Иерархическая консолидация > инкрементальной — с оговорками: BooookScore (Chang, Lo, Goyal & Iyyer, ICLR 2024; 100 книг, 1 193 аннотации): когерентность GPT-4 89.1 (hierarchical) vs 82.5 (incremental), НО по детальности инкрементальная предпочтена 83% vs 11% (overall — лишь 54/44, и Claude-2 на 88K-чанках — исключение: 90.9 incremental). Мерилась когерентность САММАРИ — к реконсиляции глоссария переносится аналогией, с явным recall-риском на верхних уровнях мержа.
  • First-wins работает онлайн, пост-хок реконсиляция не проверена: DelTA (см. A3) фиксирует первый перевод имени и этим ПОДНИМАЕТ и консистентность, и COMET — но цену неверного первого выбора не мерил никто, и глобальный пост-хок пересбор не тестировался. Внешней эмпирики «глобальная реконсиляция качественно бьёт first-wins» НЕТ — это остаётся нашей проверяемой гипотезой, а не заимствованным фактом.
  • In-band разметка от переводчика не валидирована внешне: опубликованных воркфлоу, где переводчик-LLM сам эмитит терминологические сноски in-band с измеренными echo/leakage-рейтами, не найдено. Ближайшее предостережение: жёсткие форматные констрейнты измеримо деградируют качество генерации, чем строже — тем хуже (Tam et al., EMNLP 2024 Industry, arXiv:2408.02442). Инжекция терминологии в MT (Dinu et al. 2019 и линия WMT21) — про ВХОД, не про эмиссию.
  • Дыры: количественного hallucinated-term rate для LLM-ATE на ACTER не найдено (только качественные упоминания); prompt-sensitivity-исследования ATE существуют (TSD 2024, LlamATE), но их дельты за пейволлом — не верифицированы.

A7. Сводка ориентиров для дизайна (из внешней фактуры)

  1. Чистый статистический ATE даёт шумный список кандидатов, не глоссарий: на честном кросс-доменном протоколе статистика = F1 0.14–0.21, и даже SOTA seq-labeling ~0.58–0.70. Но это floor-калибровка исчерпывающей выгрузки; таргет «салиентные повторяющиеся сущности книги» заведомо легче.
  2. Частотные меры структурно слепы к редкому (C-value порог 3, PMI f≥5): редкие алиасы и одноразовые реалии — не их зона; там нужны паттерны/seq-labeling/сигнал разброса/LLM.
  3. Сигнал разброса переводов внешне валидирован и на вебновеллах обилен (38–63% повторных имён расходятся с первым переводом; MQM-класс WMT23). Его две измеренные слабости: ~40% инконсистентностей benign (оверфлаг) и полная слепота к стабильно-неверному переводу.
  4. NER news-инструменты на новеллах рушатся (ORG 0.47%); правила «фамильный якорь + титульный суффикс» — high-recall PERSON-канал; OOV-реалии (LOC/ORG/артефакты) — главная дыра recall. GLiNER — не дроп-ин для zh (24.3); UniversalNER-класс (7B+) на грани 8GB-GPU.
  5. Кластеризация алиасов распадается на два слоя: PROP-слой (общие иероглифы/токены, титул-стрип, негативные констрейнты) — решаемо правилами с известной ошибкой; zero-overlap слой (титулы, эпитеты, «四代族长») — NOM-класс, за пределами строковых правил by design, кореференция end-to-end ~68 F1 in-domain и хуже кросс-доменно.
  6. Для zh-ru пар: статистическое пословное выравнивание слабо на zh-* (AER 44–46), нейральный выравниватель или co-occurrence (Dice) предпочтительнее; сегментация zh — конфаунд; русскую сторону агрегировать по леммам (наибольший эффект именно на малых корпусах).
  7. Иерархическая/глобальная консолидация поддержана аналогией (BooookScore) с recall-оговоркой; first-wins-банк уже помогает онлайн (DelTA), но превосходство пост-хок реконсиляции над first-wins эмпирически не установлено нигде — требует нашей собственной проверки.
  8. Гибрид «дешёвые high-recall кандидаты кодом → дорогая точная фильтрация» согласуется с внешней фактурой (RATE; инверсия ошибок статистика↔трансформеры у Marciniak 2025: они закрывают слепые зоны друг друга). Малая локальная модель как экстрактор/фильтр валидна для en, для zh — без in-domain адаптации не подтверждена.
  9. In-band сноска переводчика — внешне не валидированный канал; форматные констрейнты имеют измеренную цену качества. Echo/leakage-рейты придётся мерить самим.

§B. Дифф §A↔репо · варианты детектора · алиас-кластеризация · канал сноски

B0. Дифф внешней фактуры и репо

Что в репо уже есть (сторона ПОТРЕБЛЕНИЯ банка — построена и захардена): детерминированный матчер Aho-Corasick по нормализованным src+алиасам (memory.go:535-635, floors Han≥2/фонетика≥3 memory.go:57-69), трёхходовая диспозиция CONFIRMED/AMBIGUOUS/REJECT (memory.go:89-93), trust-gated longest-match (memmatch-v4, memory.go:699-724), статусы auto|draft|approved с фейл-лаудами на полисемию/коллизии ключей (memseed.go:161-181, 201-237), пост-чек с decl-формами (mempostcheck.go:77-117), телеметрия retrieval_state. И готовый ja-аналог майнинга: ruby→auto-кандидаты (memseed.go:314-359) — детерминированная генерация, класс-хинт, status=auto без dst (в автомат не входит — инертно), промоушен только через гейт (батч-судья/человек), никогда автоматически. Майнинг zh из черновиков — ровно недостающий зеркальный канал; его выход ложится в СУЩЕСТВУЮЩУЮ схему (store.GlossaryEntry: Source, Confidence, RubyClass-аналог — store/glossary.go:18-48) без изменения дисциплины сида.

Дифф по пунктам:

Внешняя фактура (§A) Репо Следствие для дизайна
Статистический ATE исчерпывающе слаб (F1 0.14–0.21 кросс-доменно), но наш таргет — узкий класс салиентных повторяющихся сущностей (§A1) Сид v2 = 57 термов на 25 глав; ~62.5% document-level ошибок вебновелл — сущности/термины, все банко-адресуемы (research/19:559-568) Гипотеза №1 владельца правдоподобна именно из-за узости таргета; мерить против сида, не против «всех термов корпуса»
Сигнал разброса валидирован: 38–63% повторных имён расходятся с первым переводом на вебновеллах (§A3) records.json: 57 чанков (source, draft, final), черновики deepseek-v4-flash ⚠ КОНФАУНД: черновики генерились С инъекцией сида (budget 800, pipeline-rerun.yaml:19-24) — разброс на GT-термах подавлен самим банком; см. §D-поправку (cold-start срез)
Слепота разброса: ~40% инконсистентностей benign; стабильно-неверный невидим (§A3) Реестр рисков это предвидел: B1 «first-wins порождает drift» ❌, F5 коррелированный судья (06-memory-risk-registry.md:36,77) Зона (г) без внешнего готового решения — нужна своя эмпирика; спред-сигнал = recall-канал, не пруф корректности
Алиасы: правила достают только PROP-слой; zero-overlap = NOM-класс вне правил by design (§A5) B3 реестра: типизированный alias-граф + name-tables; сид хранит алиасы как поверхности терма (2 fullname-алиаса всего) Двухъярусная граница §B2; ГТ алиасов в сиде ТОНКИЙ (2 шт.) — для замера а-бис нужен мини-голд (§E-1)
Выравнивание: статистическое слабо на zh (AER 44–46), нейральное лучше; лемматизация ru-стороны критична на малых корпусах (§A2) Пар (source, draft) на чанк уже даёт грубое выравнивание бесплатно (границы чанков); exp06: спот=локаль/рендер=облако+таблица Палладия (G1, 06-memory-risk-registry.md:83) Для книги хватает чанк-уровневой ко-оккуренции (Dice/LLR) + Палладий-детектор на ru-стороне; пословный алайнер — оверкилл, в дизайн не тащим
Пост-хок реконсиляция vs first-wins эмпирически НЕ доказана внешне (§A6) research/19:550-553 выводит W1.5 из LTCR-отравления + BooookScore (аналогия) Честный статус: W1.5-превосходство — НАША проверяемая гипотеза; §D меряет её суррогат (canon-recovery)
LLM-ATE ≈ но не > файнтюна; гибрид high-recall-код → LLM-фильтр поддержан слабо (RATE) (§A6) exp06: локальный спот recall 0.98–1.0, halluc 0 ($0 на стенде); рендер zh локально 0.26 Маршрут зон (г): локальная 9B = верификатор/споттер, облако = рендер/адъюдикация топ-N, человек = подпись (§B4)
In-band разметка от переводчика внешне не валидирована; форматные констрейнты имеют цену (§A6) Санитайзер v6: trailing-note класс — прямой блокер (sanitizer.go:236-251 worktree); прецеденты: gloss-whitelist v6, derived-checkpoint tm-sanitized-v1 (stagerun.go:225-242) Канал сноски проектируем как «срез кодом ДО всех гейтов + derived checkpoint» (§B3); echo/parse-rate мерим сами (§D-арм)
H15-рычаги: query-time context-recording и жанр-кондиционирование нигде не диспозиционированы Жанр есть только как brief-var перевода (H15-верификатор, 08-sync-audit-ledger.md:473) Детерминированная версия обоих рычагов встроена в §C: KWIC-контексты в evidence-карту кандидата; жанровые лексикон-паки как конфиг детектора V-C
Web-fetch тир для трудных термов (V4-п4) За trust boundary D25.5 (Ф3), 05-decisions-log.md:311 В схеме кандидата — флаг-слот needs_external_lookup, НЕ строим

B1. Три варианта детерминированного детектора (арм-лестница для §D)

Общий субстрат всех вариантов ($0, Go или Python-полигон): кандидаты = символьные n-граммы 1–6 Han по источнику (НЕ пословная сегментация — она сама деградирует на новеллах и вносит конфаунд, §A2/Qiu&Zhang; вложенность разруливаем c-value-дисконтом; ⚠ для |a|=1 длиновой множитель log₂|a| вырожден в 0 — использовать log₂(|a|+1) либо чистый частотный nested-дисконт без длинового множителя, иначе одночарные кандидаты (蛊, 转) зануляются и катастроф-скрин §D4-в непроходим by construction; вдобавок вхождения 蛊 почти всегда вложены в 蛊师/蛊虫/月光蛊 — nested-дисконт по нему бьёт сильнее всех, скрин это специально проверяет), нормализация memnorm-симметричная (memnorm.go:104-124); частотный floor=3 (§A1: ниже — не скорится, это осознанная слепота варианта, закрываемая V-C-паттернами и зоной (г)); подсчёт вхождений GT-термов — Aho-Corasick БЕЗ suppressContained (урок D24.2: вложенный алиас не должен проглатываться при подсчёте).

V-A «частотно-контрастный минимум». Сигналы: freq × контраст с общим zh-корпусом (weirdness-класс, §A1; референс — открытый частотник zh, версионируется как артефакт детектора) × c-value-дисконт вложенных n-грамм × LLR вместо PMI для редких (§A1: PMI нестабилен при f≤5). Выход: ранжированный список src-кандидатов без dst. Порог: top-K + floor.

  • Ожидание по §A: высокий recall на частотном ядре (蛊师/古月/元石-класс), шум на частых свободных сочетаниях; редкое и zero-overlap — мимо; dst не даёт.

V-B = V-A + разброс переводов в черновиках (новый сигнал пакета). Для каждого кандидата X: чанки-вхождения {i}; на ru-стороне черновиков этих чанков ищем сверхпредставленные (Dice/LLR против остальных чанков) леммы/биграммы — лемматизация ru обязательна (§A2 Popović&Ney; pymorphy3 на полигоне); доминантный кандидат-рендеринг на чанк → LTCR-стиль разброс между чанками. Скор V-B = V-A-скор × (1 + λ·spread). Выход дополнительно: список dst-вариантов с частотами — сырьё канона §C.

  • Ожидание по §A: +recall на сущностях, которые модель переводит нестабильно (38–63% имён); оверфлаг benign-вариативности (~40% внешне) — режется на консолидации, не в детекторе; слеп к стабильно-неверному (зона Z1). Спец-мицигация вездесущих термов (方源 почти в каждом чанке — контраст «чанки с X vs без X» вырождается): внутричанковое пропорциональное выравнивание предложений (черновик идёт по порядку источника — грубое соответствие предложение↔предложение достаточно для со-оккуренции).

V-C = V-B + NER-паттерны и структурная морфология (жанровый рычаг). Каналы: (1) фамильный якорь — инвентарь 百家姓 + окно 1–2 Han справа (§A4 Cao: high-recall PERSON); (2) титульные суффиксы/префиксы (公子/大人/长老/前辈/族长/嬷嬷; 老/小/阿/порядковые 四代-класс); (3) топо-суффиксы (山/寨/村/疆/谷); (4) продуктивная морфология книги: Han-символ, комбинирующийся с ≥m разными n-граммами (蛊 в 蛊师/蛊虫/月光蛊… — авто-обнаружение доменного форманта, не хардкод 蛊); (5) Палладий-детектор на ru-стороне: токены черновика, распознаваемые слог-таблицей Палладия (фан/юань/гуюэ…) = модель сочла это именем → обратный маппинг в источник-чанк (высокоточный спот имён С ГОТОВЫМ dst-вариантом); (6) жанровый лексикон-пак как конфиг (сянься/уся/исекай-паки суффиксов; детерминированное жанр-кондиционирование = H15-рычаг). Кандидаты типизируются (name/title/place/term) — ложится в поле type сида.

  • Ожидание по §A: закрывает частотно-слепые классы (редкие алиасы с фамильным якорем, одноразовые реалии с типовым суффиксом); цена — инвентари правил (поддержка) и точность паттернов; zh-специфично by design (для ja уже есть ruby-канал — паритет архитектурный).

Trade-off таблица (ожидания до замера; recall/precision — предмет §D, не обещание):

Критерий V-A V-B V-C
Ожид. recall на сиде (частотное ядро) средний средний+ высокий
Ожид. recall на редком (f<3) ~0 ~0 частичный (паттерны)
Ожид. precision топ-списка низк.-средн. средняя (спред режет случайные фразы) средняя+ (типизация)
Даёт dst-кандидатов нет да да (+Палладий-канал)
Сырьё для алиас-кластеров нет ru-сторона (общий рендеринг) обе стороны
Сложность/поддержка ~1 экран кода +лемматизация ru, +выравнивание +инвентари правил, жанр-паки
Хрупкость порогов 2 порога (floor, top-K) +λ спреда +m форманта; пороги паттернов булевы (устойчивее)
Зависимости частотник zh +pymorphy3 +百家姓/суффикс-листы (версионируемые файлы)
Слепые зоны редкое, стабильно-неверное, zero-overlap, полисемия те же минус нестабильное остаются Z1, Z2, Z4, Z5; Z3 — частично (якорные редкие закрыты паттернами) (§B4)

Выбор по данным §D (армы A1–A3), не по элегантности; V-C — прайор фаворита (единственный закрывает частотную слепоту), но если V-A/V-B дают ≥90% его recall на сиде — побеждает простота.

B2. Алиас-кластеризация — отдельная подзадача (а-бис): честная граница

Кластер = сущность сида с алиас-поверхностями (модель данных уже такова: research/19:189-195 «кластеры алиасов на СУЩНОСТЬ», entryFiringKeys memseed.go:243-261). Три яруса:

Ярус 1 — код (PROP-слой, прецизионно-безопасные правила):

  • R1 «вложение поверхности»: X строго содержится в Y при |X|≥2 (方源 ⊂ 古月方源) — предлагает ребро «fullname/расширение»;
  • R2 «фамильный якорь + композиция»: общий фамильный префикс из инвентаря (方 в 方源/方正/方公子) — предлагает СЕМЕЙНЫЙ суперкластер, НЕ тождество;
  • R3 «общий рендеринг ru-стороны»: разные src-поверхности с одинаковой доминантной леммой рендеринга в черновиках (古月方源 и 方源 оба → «Фан Юань») — сильное ребро тождества; обратный GROUP BY dst уже существует как диагностика (memory.go:809-834);
  • R4 НЕГАТИВНЫЕ констрейнты (перенос Vala §A5, адаптация zh): (i) общая фамилия + РАЗНЫЕ имена ⇒ НЕ мержить (方源≠方正 — ровно наш кейс; 方公子 остаётся амбигуальным членом семейного суперкластера до яруса 2/3); (ii) разный подтверждённый пол; (iii) разные approved dst; (iv) ко-презенция в одном предложении/диалоговом обмене ⇒ НЕ мержить (детектится по source-чанку $0); (v) титул-вложение при разных dst сида (族长 ⊂ 四代族长) ⇒ разные сущности — негативный урок уже оплачен (D38 §3, 05-decisions-log.md:499).
  • Ожидаемая ошибка яруса: по внешним якорям (Vala P&P F1 0.76 на свободном тексте; у нас проще — закрытый список кандидатов, не весь текст), но мерить entity-уровнево (B³-класс), НЕ парно-линковым MUC: внешний урок Krug (MUC 85.5 при B³ 56.0) — линковые метрики льстят.

Ярус 2 — слепая зона (г), LLM/локаль: алиасы с нулевым поверхностным пересечением И без общего рендеринга: чистые титулы-в-роли-референции (四代族长 как сущность сцены), эпитеты, прозвища класса 花酒行者→«Монах Цветочного Вина» (dst-сторона вообще не транслитерационная), ру-сторонние описательные алиасы («четвёртый Фан»-класс). Это кореференция (§A5: NOM-слой, end-to-end ~68 F1 даже in-domain en) — код может только ПРЕДЛОЖИТЬ кандидатов на связь (со-оккуренция в окне + согласование типов) с явной меткой link_evidence:weak. Дёшево ли это детектится локальной 9B — неизвестно (exp06 мерил экстракцию, не кореференцию) → §D-A6b.

Ярус 3 — человек: подпись кластера при W1.5-консолидации; спорные рёбра остаются раздельными draft-записями (дисциплина сида: дешевле расклеить два терма потом, чем расщепить один ошибочно слитый — мерж только по подписи).

Гэп ground truth: в сиде v2 всего 2 алиас-поверхности (古月方源, 古月方正) — recall кластеризации на таком голде не меряется. §D предусматривает мини-голд алиасов от владельца (§E-1); без него ярус-1 меряется только по precision предложенных рёбер.

B3. Канал «сноска переводчика» (б): спека и ВСЕ интеграционные точки

Формат (banknote-v1, версионируется): после перевода — строка-разделитель ⟦TM-BANK-v1⟧ (не встречается в естественном тексте; НЕ слова «Примечание/Сноска» — они зарезервированы trailing-note классом санитайзера), далее ≤N строк src<TAB>dst<TAB>type. Инструкция в промпте: только НОВЫЕ термины, отсутствующие в инжектированном глоссарий-блоке; нет новых — разделитель не эмитится вовсе.

Срез КОДОМ на границе волны — точка и механизм: parse+strip сразу после получения ответа модели в стадии draft, ДО classify()/санитайзера/coverage/пост-чека (chunkrun.go:32-80). Чекпоинт с сырым ответом сохраняется как есть (детерминизм оплаченного байта), очищенный черновик — derived-checkpoint по прецеденту tm-sanitized-v1 (stagerun.go:225-242): tm-banknote-v1: + sha256(reqHash + stripped); распарсенные кандидаты — отдельный артефакт-файл (evidence-карты §C), НЕ в store до W1.5.

Интеграционные точки (все, по мандату D39.3):

  1. Санитайзер, класс trailing-note (sanitizer.go:232-268 worktree): важное уточнение — санитайзер по draft-стадии не гоняется ВОВСЕ (isFinal-only, chunkrun.go:48), так что trailing-note класс — лишь ВТОРОЙ рубеж на финале, если редактор протащит остаток малформенного блока (модель написала «Примечание:» вместо разделителя). Первый рубеж — телеметрия п.10: banknote_parse_fail обязан флагать резидуал ДО редактуры, иначе черновиковый мусор доходит до редактора незамеченным.
  2. Санитайзер, класс cjk_leak (v6): src-колонка сноски — Han по построению; без среза каждый чанк с блоком флагался бы. После среза чистый черновик блока не содержит; gloss-whitelist v6 не трогаем.
  3. classify()/echo-детект (disposition.go:268-289, порог cjkShare 0.15): считать по ОЧИЩЕННОМУ тексту. По сырому: ~10 строк × 2–6 Han ≈ 30–60 Han на ~4000-знаковый черновик ≈ 1–2% — под порогом, но короткий чанк + жирный блок может ложно флагаться как echo. Порядок жёсткий: срез → classify(stripped).
  4. Coverage-гейт (coverage.go:158-203; translator-only энфорсится в chunkrun.go:64-75): числитель len_ratio — по очищенному тексту (сноска ≠ перевод, в числитель не входит); sent_cov не затронут; знаменатель (source) не меняется.
  5. max_tokens-сайзинг (stagerun.go:82-99): +бюджет блока (≤N строк × ~12 ток). Перевод идёт ПЕРВЫМ, блок хвостом ⇒ трункация бьёт по блоку, не по переводу; парсер обязан толерантно обрезать недописанную последнюю строку и флагать banknote_truncated (лауд).
  6. request_hash/детерминизм (render.go:221-251): инструкция сноски — часть промпта ⇒ prompt SHA256 + константа banknote-v1 фолдятся в снапшот (snapshot.go:96-234) — включение канала = громкий --resnapshot, как любой wire-инвариант. Парсер — детерминированный версионированный код; derived-hash неймспейсит версию.
  7. Чекпоинт/резюм (stagerun.go:66-80): resume передоказывает derived-артефакты из сырого чекпоинта бесплатно (прецедент sanitized_export).
  8. «Редактор её не видит»: на свежем прогоне редактор читает in-memory текст предыдущей стадии (chunkrun.go:162) — хук подменяет его на очищенный; НО на chunk_status-резюме стадия N+1 берёт текст чекпоинта по final_hash, а для OK-пути final_hash сегодня указывает на СЫРОЙ attempt-чекпоинт (stagerun.go:168-169; re-point на derived существует только для flagged-пути, stagerun.go:170-185). Требование спеки: final_hash OK-стадии draft перенаправляется на tm-banknote-v1 derived-чекпоинт (расширение прецедента с flagged- на ok-путь) — иначе резюм отдаёт редактору сырой блок. Только с этим re-point гарантия — конструкцией.
  9. Пост-чек глоссария (mempostcheck.go): работает по финалу редактора — канал не влияет; но глоссарий-блок переводчика (renderGlossaryBlock) обязан идти в промпте ДО инструкции сноски («новые = не из этого списка») — иначе модель дублирует известное.
  10. Телеметрия: per-chunk n_banknote_lines, banknote_parse_fail, banknote_truncated — лауд, в retrieval_state-стиле.
  11. Провайдер-квирки: DeepSeek thinking-ON неизменен (echo-мина, models.go:352-377); формат-цена (§A6 Tam: констрейнты деградируют генерацию) — риск качества САМОГО перевода от инструкции ⇒ §D-арм меряет дельту качества черновика с/без инструкции, это гейт канала.
  12. Экспорт/полигон: tmctl export (worktree) отдаёт final_text без сноски автоматически (срез раньше); полигонный экстрактор кандидатов читает артефакт-файл, не текст.

Цена канала (пере-верификация оценки ресёрчера-19 «~$0.004/ранобэ»): параметрически — Δ$ ≈ chunks × avg_lines × ~12 ток × price_out. На слайсе-25 (57 чанков): при 5 строках/чанк в среднем ≈ 3.4k выходных токенов. Экстраполяция на ранобэ зависит от размера книги и дисциплины «только новое» (эмиссия падает по мере насыщения банка: первые главы 5–10 строк, хвост 0–2); при 2–5k чанков/книга и 1–3 строках/чанк в среднем — 25–180k ток ⇒ порядок $0.01–0.1/ранобэ по flash-ценам выходных токенов: оценка $0.004 выглядит заниженной в разы, но класс «копейки» подтверждается; точные числа — §D по живому прайсу providers.json. Код-канал $0 подтверждён (всё на существующих артефактах); гибрид = код + сноска ⇒ та же дельта, что сноска.

B4. Слепые зоны кода (г): маршрутизация спот=локаль / рендер=облако / человек

Зона Детектируется дёшево ($0/локаль)? Облачный судья Человек
Z1 стабильно-неверный перевод (蛊→«гусеницы»: высокий термхуд, НУЛЕВОЙ спред, dst — обычное слово) $0-эвристика: high-score кандидат + spread≈0 + dst не-Палладий/не-заглавный → класс suspicious_stable; локальная 9B — ВЕРИФИКАЦИЯ пары («src-предложение + рендеринг → верно?») — exp06 мерил экстракцию, НЕ верификацию: нужен мини-бенч (§D-A6b) топ-N suspicious дешёвому облачному судье (центы; кросс-семейный к драфт-модели — F5 реестра) подпись канона с evidence-картой
Z2 полисемия 转-класса $0-симптом: спред dst НЕ падает после лемматизации И KWIC-контексты расслаиваются на кластеры → sense_split_candidate; сам сплит кодом не решается (матчер keys-only-src, D16.1) LLM-адъюдикация сплита по двум KWIC-пулам sense/окна в сиде — только человек (D16.1 fail-loud уже защищает)
Z3 редкие реалии (f<3) частотно слеп by construction (§A1); частично закрывают паттерны V-C (типовой суффикс) и канал сноски (переводчик видел контекст); локальная 9B: полный спот-проход по источнику $0 (exp06 recall 0.98–1.0 — НО на PD-классике; вебновелл-ре-замер = §D-A6, заодно закрывает оговорку eval/README) рендер dst редких — облако + таблица Палладия (B6: даже облако 0.75 на zh) как всегда
Z4 пол персонажа $0: счётчики 他/她 в окне вхождений; эмитить СЧЁТЧИКИ-evidence, не вердикт: класс gender:hidden (白凝冰 — текст говорит 他, канон female) невыводим из текста нет смысла пол = подпись владельца (D19.3)
Z5 zero-overlap алиасы (ярус-2 §B2) код предлагает слабые рёбра (со-оккуренция + тип); решения нет LLM-кореференция на паре KWIC-пулов; локальная 9B — неизвестно, пробовать в §D-A6b подпись кластера

Рамка G1 (06-memory-risk-registry.md:83) сохраняется дословно: спот — локаль/код, рендер dst — облако/человек + детерминированная таблица Палладия, промоушен только через статус-машину auto→draft→approved.

B5. Инвариант общности слоя 4 (по вводной владельца 17.07): движок vs языковые плагины

Бэкенд обязан переводить с любых популярных языков на любые популярные; языковая заточка изолируется и выносится. Это распространение инварианта общности research/19 §0.1 (чанкер) на слой банка. Прецеденты идиома в коде уже есть: pair-keyed промпт-паки с fail-loud (runner.go:148-158), пер-язычные floors матчера (Han=2/фонетика=3, memory.go:57-69), ruby-канал как ja-специализация майнинга (memseed.go:314-359).

Языко-агностический движок (не параметризуется языком): сигналы частота×контраст и разброс переводов между чанками; чанк/предложение-уровневая ко-оккуренция; каркас алиас-кластеризации (типизированные рёбра + негативные констрейнты + ярусы код/LLM/человек); консолидация «канон по всем вхождениям»; статус-машина auto→draft→approved и карта подписи с KWIC; канал сноски (формат/срез/derived-checkpoint/телеметрия); метрики и гарды §D.

Шесть плагин-интерфейсов (данные/конфиг per язык или пара, НЕ ветки в коде — идиом промпт-паков):

Интерфейс Ключ zh ja ko en (источник)
P1 генератор кандидатов src-язык Han-n-граммы 1–6, без сегментации ruby-канал (ПОСТРОЕН) + kanji-n-граммы; катакана-раны само-маркируют заимствованные имена пробелы есть, но агглютинация — стемы-токены токены; Капитализация = бесплатный NER-сигнал
P2 контраст-корпус src-язык частотник zh частотник ja частотник ko частотник en
P3 паттерн-пак (язык×жанр) src-язык + жанр 百家姓, титулы 公子/大人/长老, топо 山/寨 гоноративы さん/様/殿, имя-паттерны 3-слоговые hangul-имена, -님/-씨 Mr./Lady/-son, газеттир гипокоризмов (Vala, §A5)
P4 таблица транслитерации ПАРА (src,dst) →ru Палладий; →en пиньинь (вариативнее — dst-детектор слабее) →ru Поливанов; →en Хэпбёрн →ru Концевич →ru практическая транскрипция
P5 лемматизатор цели dst-язык — — — ru: pymorphy3; флективные цели обязателен (§A2), аналитические — тривиален
P6 гендер-евиденс src И dst 他/她-счётчики 彼/彼女 (реже, эллипсис) 그/그녀 he/she

К P6 общий трюк для флективных целей: морфология самого ЧЕРНОВИКА («пошёл/пошла») выдаёт, что предположила драфт-модель — target-side гендер-сигнал для любой пары X→ru/pl/cs, движковый.

Политика отсутствия плагина — degrade-with-flag, НЕ fail-loud (отличие от промптов, где missing pair = стоп: там неверные конвенции опасны, здесь потеря recall допустима, если видима): нет P3 → детектор деградирует до V-A/V-B с громкой пометкой в карте подписи; нет P4 → из скоринга канона выпадает член конформности (лауд); нет P5 → поверхностное сравнение форм с известным ударом по recall (лауд). Единственный fail-loud — P1: без генератора кандидатов майнинг для языка не заявляется вовсе.

Честная разметка текущего инстанса: §D-эмпирика — одна пара zh→ru; её вердикты — про инстанс, не про движок. zh — стресс-инстанс (нет сегментации, OOV-композиты, худший NER-трансфер §A4), а Палладий — самая регулярная из P4-таблиц: положительный результат на zh→ru переносим с осторожностью «на en-источнике легче, на en-цели транслит-детектор слабее». Тест общности = репликация на второй паре (§E-владелец-7).

§C. Консолидация W1.5: алгоритм и поток данных до сида

C1. Место в волновой архитектуре

W1.5 — снапшот-граница между W1 (параллельные черновики) и W2 (параллельная редактура), НЕ mid-run-append (research/19:548-553). Это согласовано с механикой снапшота: банк входит в memoryVersion → в snapshotID (snapshot.go:79-93), значит изменение банка между волнами — штатный (и единственный законный) момент; W2 работает уже на новом снапшоте с обогащённым банком. Замечание по экономике: при gate OFF в memoryVersion фолдятся только approved-строки (memory.go:258-285) — вливание auto/draft-кандидатов само по себе снапшот не двигает; двигает его подпись владельца (draft→approved), что и есть смысловая граница W1.5.

C2. Алгоритм консолидации (детерминированный код + человек, LLM только в зонах §B4)

Вход: (source, draft) пары всех чанков W1 + артефакты канала сноски (если включён) + текущий сид (fan-конвенции / пустой на холодном старте).

  1. Майнинг кандидатов детектором V-x (§B1) → таблица кандидатов {src, occ, chapters[], kwic[], dst_variants{v:count}, type_hint, pattern_evidence, spread, flags(suspicious_stable|sense_split|needs_external_lookup)}.
  2. Алиас-кластеризация (§B2 ярус-1): рёбра R1–R3 при непротиворечии R4; выход — кластеры с типизированными рёбрами и меткой силы; слабые рёбра (ярус-2) — отдельным списком «предложения к связи», НЕ слитые.
  3. Выбор канона по ВСЕМ вхождениям (не первый-победил): скор dst-варианта = частота по всем чанкам × конформность (Палладий-таблица B6 для type=name/place; согласование с уже-approved соседями ряда — прецедент 元-ряда в сиде) × полнота падежной леммы. Побеждает вариант, а НЕ первое вхождение — прямая реализация анти-LTCR-отравления. Мажоритарность НИКОГДА не даёт approved: канон-предложение = draft.
  4. Пол: счётчики 他/她/контекст-гоноративов по кластеру → evidence-поле; gender проставляется только владельцем (класс hidden — D19.3 — из текста невыводим).
  5. Спойлер-окна: since_ch = первая глава вхождения кластера (автоматически, по source); until_ch — только человек.
  6. Пре-валидация против фейл-лаудов загрузчика: зеркально loadGlossarySeed — дубликаты (src,sense,window), D16.1-полисемия, shared-key коллизии (memseed.go:91-99, 161-181, 201-237), иначе W1.5 упадёт на ровном месте при загрузке; выход линта — часть карты подписи.
  7. Эмиссия сид-дельты: YAML в схеме seedTerm (memseed.go:30-57), БЕЗ новых полей: новые термы — status: auto (без dst — инертны в автомате) или status: draft (с канон-предложением — инъекция ⟨проверить⟩); алиасы — поверхностями терма; Source-класс кандидата и evidence — в отдельной карте подписи (сайдкар-markdown, прецедент diag/glossary_v2_signoff.md из exp13_seed_v2.py), НЕ в схеме сида.
  8. Подпись владельца: карта подписи = per-кластер: канон-предложение, dst-варианты с частотами, топ-KWIC контексты (детерминированный context-recording — H15-рычаг), счётчики пола, флаги зон §B4, слабые рёбра яруса-2. Владелец: approve / правка / оставить draft / расклеить кластер. Только после этого — resnapshot и W2.

Дисциплина сида НЕ меняется: approved-инвариант (D30.5/D34.1), «тихий промоушен = откат» действует и для майнера — майнер по построению не умеет писать approved.

C3. Поток данных (ASCII)

W1 drafts (par.)  chunks (source zh)               сид_т0 (fan-конвенции|пусто)
      │                 │                                  │
      ▼                 ▼                                  │
  [срез сноски]   [детектор V-x: n-граммы×контраст×спред×паттерны]
      │banknote         │кандидаты+KWIC+dst-варианты       │
      └────────┬────────┘                                  │
               ▼                                           │
     [алиас-кластеризация R1–R4]                           │
               ▼                                           │
     [канон по всем вхождениям + пол-evidence + окна]      │
               ▼                                           │
     [линт против фейл-лаудов memseed]                     │
               ▼                                           ▼
     сид-дельта YAML (auto/draft) + карта подписи ──► ВЛАДЕЛЕЦ подписывает
                                                           │
                                                           ▼
                                              сид_т1 → seedGlossary (replace)
                                                           │
                                              resnapshot (снапшот-граница W1.5)
                                                           ▼
                                                    W2 edit (par., банк-enforce)

Слот web-fetch (V4-п4): флаг needs_external_lookup в карте подписи; исполнение — Ф3+ за trust boundary D25.5, в W1.5 НЕ строится.

§D. Пре-рег дизайн полигон-эмпирики (исполняет полигон ОТДЕЛЬНЫМ промтом ПОСЛЕ exp15)

D0. Рамка

Автор дизайна ≠ исполнитель (author≠reviewer). Бюджет: армы A1–A3, A6 — $0 (код + стенд); платные A4/A5 + cold-start срез — оценка ≤$3–5, отдельное подтверждение владельца (§E-2). Мандат самопроверки исполнением (CLAUDE.md, решение владельца 12.07) — в промт полигона обязательно: ревью своего кода детектора, своих запросов к моделям, своих результатов.

D1. Ground truth и его честные ограничения (пре-регистрируется ДО запуска)

  • GT = сид v2, отфильтрованный по фактическому вхождению в слайс-25: термы с ≥1 вхождением src/алиаса в source (счёт Aho-Corasick-эквивалентом БЕЗ suppressContained — D24.2). Проверено исполнением при самопроверке: ВСЕ 57 термов проходят фильтр — blurb-термы since_ch 47/193 (血颅蛊, 一气金光虫, 青丝蛊) встречаются по 1 разу в аннотации (гл.1/чанк0) ⇒ GT=57, blurb-термы попадают в страту f<3. Полигону решить в пре-реге: считать ли blurb-регион вхождением (спойлер-семантика since_ch говорит «нет» — тогда явное правило исключения аннотации, отдельным пунктом пре-рега, не следствием фильтра).
  • Recall против сида — чистая метрика. Precision против сида — НЕ метрика: сид не исчерпывающая разметка (кандидат вне сида ≠ ошибка). Вместо неё: (а) pseudo-precision@K (доля топ-K в сиде) как грубый ориентир И (б) адъюдицированная precision@K — топ-30 не-сидовых кандидатов победившего арма размечает владелец по карте (минуты) или кросс-семейный судья с ручной подвыборкой (F5-защита). Пре-регистрируются обе.
  • ⚠ Конфаунд инъекции (несущий): черновики records.json генерились С глоссарий-инъекцией сида (budget 800) — спред-сигнал на GT-термах системно подавлен, canon-recovery на них тривиализован. Разрез арм-метрик: (i) на существующих черновиках — НИЖНЯЯ граница спред-сигнала (бесплатно); (ii) cold-start срез: свежий черновик 5 глав слайса flash-ом БЕЗ glossary-инъекции (10–14 чанков: 14, если срез включает гл.1 — в ней 6 чанков против 2–3 у остальных; выбор глав фиксируется в пре-реге; копейки-доллары) — экологически валидный вход W1.5 (новая книга без банка). Несущие выводы по спреду/канону — по (ii); (i) — только как подтверждение направления.
  • Порог-дисциплина (анти-подгонка, §A1-протокол): главы слайса делятся 60/40 (напр., 1–15 тюнинг / 16–25 тест; фикс в пре-реге); все пороги (floor, top-K, λ, m) выбираются на тюнинг-половине, замораживаются, репортится ТОЛЬКО тест-половина + кривые чувствительности (±50% порога → recall/precision) для оценки хрупкости.

D2. Армы

Арм Что Цена
A1 V-A частотно-контрастный $0
A2 V-B (+спред) $0
A3 V-C (+паттерны/Палладий-канал/жанр-пак) $0
A3-абл V-C минус спред (паттерны без черновиков) — вклад каждого сигнала честно $0
A4 канал сноски: cold-start срез 5 глав × 2 конфига (с/без инструкции banknote) ~$1–2
A5 гибрид: A3 ∪ A4-кандидаты — маржинальный recall сноски над кодом $0 поверх A4
A6 локальная 9B споттер по source слайса (exp06-паттерн на вебновелл-тексте) $0 (стенд)
A6b локальная 9B как ВЕРИФИКАТОР пары (Z1) и линкер слабых рёбер (Z5) — мини-бенч 30–50 пар с ручным голдом $0 (стенд)

A4 меряет одновременно: маржинальный recall; parse_fail/truncated-рейты; дельту качества перевода от форматной инструкции (детерминированно: coverage/пост-чек/style-флаги/длина + при сигнале — дешёвый судья); фактическую цену токенов по providers.json.

D3. Метрики (все детерминированные, $0, кроме адъюдикации)

  1. recall@сид по типам (name/title/place/term/nickname) и по частотным стратам GT (f≥10 / 3–9 / <3 — где какой арм слеп);
  2. pseudo-precision@K и адъюдицированная precision@K (D1);
  3. canon-recovery (только cold-start срез): для GT-термов — совпала бы канон-процедура §C2 с подписанным dst владельца (нормализация memnorm, лемма-уровень)? Прямой суррогат гипотезы №1 на выбор канона;
  4. алиас-precision предложенных рёбер R1–R3 (entity-уровнево, B³-класс — не MUC; урок §A5); recall — только при мини-голде §E-1;
  5. квантификация слепых зон: список GT-термов, не пойманных лучшим армом, с РУЧНОЙ классификацией по зонам Z1–Z5 — это главный вход бэкенд-дизайна (что доверить коду);
  6. стабильность порогов (кривые ±50%);
  7. A6b: accuracy верификации Z1-пар и линковки Z5 против мини-голда.

D4. Гарды методологии (D32.4-адаптация + уроки D37/exp13)

  • (а) сигналы армов репортятся РАЗДЕЛЬНО, сведение «N сигналов сходятся» запрещено без leave-one-out по сигналам (память: manufactured convergence exp12/exp13);
  • (б) судьи (если используются) — leave-one-judge-out; судья ≠ драфт-модель (F5);
  • (в) катастроф-скрин: ядровые термы (方源, 蛊, 蛊师, 古月) обязаны быть в топ-50 победителя; промах ядра = провал арма независимо от агрегатов;
  • (г) все таблицы кандидатов/скоры/пороги — персистентные артефакты (eval/exp16/ или следующий номер);
  • (д) пер-колл бюджет-кэп на платные вызовы; счёт спенда с первого запроса;
  • (е) код детектора детерминирован (сортировки, версия miner-v1, фиксированные словари-файлы); повторный прогон = байт-в-байт;
  • (ж) 18+ гардрейл: майнер оперирует поверхностями/счётчиками; refusal_corpus не трогать;
  • (з) пре-рег фриз: SHA кода детектора + пороги с тюнинг-половины объявляются коммитом ДО прогона тест-половины и платных армов;
  • (и) D32.4(е): если облачным судьёй адъюдикации выбирается grok — сверка reasoning-token wire-квирка с docs.x.ai ДО платных вызовов; D32.4(ж) — разовая бухгалтерская правка exp13, здесь N/A.

D5. Решающие правила (пре-регистрируются)

  • Гипотеза №1 подтверждена для частотного слоя, если лучший $0-арм даёт recall ≥85% на GT-страте f≥3 И canon-recovery ≥70% на cold-start срезе. Тогда LLM зовётся только в зоны из метрики-5 (список слепых), маршрутами §B4.
  • Канал сноски оправдан, если его маржинальный recall над лучшим $0-армом ≥10 п.п. НА СТРАТЕ f<3 (редкое — его единственная ниша) И дельта качества перевода неотличима от нуля И parse_fail <5%. Иначе — код-детектор + локальная 9B в зонах, сноска в архив идей.
  • Порядок исполнения: A1–A3+абл ($0, существующие данные) → A6/A6b (стенд) → cold-start срез → A4/A5 (платные, последними; отменяемы решением владельца без потери $0-результатов).

§E. Открытые вопросы

Владельцу:

  1. Мини-голд алиасов для замера а-бис: подписать список алиас-поверхностей сущностей слайса-25 (методом: код предлагает кандидатов рёбер, вы вычёркиваете/дополняете; ~20–30 мин). Без него ярус-1 меряется только по precision.
  2. Бюджет платных армов §D (A4/A5 + cold-start срез): ≤$5. Подтвердить (отдельно от ≤$15 exp15).
  3. Политика канона: подтвердить, что майнер НИКОГДА не пишет approved (только auto/draft
    • карта подписи) — заложено в §C2-дисциплину; и что «канон по всем вхождениям» с Палладий-конформностью (не мажоритарность черновиков) — правильная целевая функция.
  4. Жанровые лексикон-паки (детерминированное жанр-кондиционирование, H15-рычаг): жанр берём из brief книги как селектор пака суффиксов/титулов? (сянься-пак — первый).
  5. W1.5 человеческий гейт в середине прогона — уже ваш вопрос №1 к research/19 §E.1; решение «после Q3» (16.07). Этот пакет добавляет аргумент ЗА гейт: карта подписи §C2 — компактная (кластеры, не термы), UX-стоимость ниже, чем казалось.
  6. Оценки цены каналов ресёрчера-19 пере-верифицированы: код $0 ✅; сноска — скорее $0.01–0.1/ранобэ, чем $0.004 (§B3-формула, живой прайс в §D); гибрид ≈ цене сноски.
  7. Слот репликации на второй паре (тест инварианта общности §B5): после zh→ru-инстанса §D — реплика движка на ja→ru, где P1 = уже построенный ruby-канал (репликация почти бесплатна: ja-приёмочная книга в репо, кандидаты уже генерятся). Одобрить как след-за-§D шаг полигона?

Бэкенду (слоты дизайна, НЕ строить до итогов §D):

  1. Source: "mined" в GlossaryEntry + конвенция сайдкара карты подписи; tmctl seed-lint (сухой прогон фейл-лаудов loadGlossarySeed по дельте) — дёшево и снимает риск §C2-6. Плагины P1–P6 (§B5) — файлы данных/конфиг по идиому промпт-паков (pair/lang-keyed), НЕ ветки в коде майнера.
  2. Канал сноски: derived-checkpoint tm-banknote-v1 + телеметрия (§B3 п.5/10) — только если §D-правило «сноска оправдана» сработает.
  3. Экспорт (source, draft) пар: полигону хватает records.json; для продакшн-W1.5 — режим tmctl export --pairs (source уже джойнится в Export, export.go:115).
  4. Транспорт поля gender (exp15-преп, уже в плане) — консолидация §C2-4 на нём висит.
  5. Ruby↔mined конвергенция: единая схема кандидата (Source=ruby|mined, Confidence, class-хинт) — при лендинге дизайна унифицировать, не плодить второй формат.
  6. Открытый вопрос D30.1-редактора (src→dst вместо голых dst-форм, memory.go:505-511) станет острее с майненым банком (больше AMBIGUOUS-строк у переводчика) — решить до W2-дизайна.

Самопроверка сессии (мандат 12.07)

  • §A: мульти-агентный сбор + адверсариальная верификация по первоисточникам (author≠reviewer); заглушка верификатора ate-core обнаружена и закрыта повторной верификацией (9/11 CONFIRMED, 2 CORRECTED — внесены). Хеш §A зафиксирован ДО чтения репо.
  • §B–§E: несущие репо-клеймы грунтованы file:line через независимых ридеров; сид v2, memseed.go и ядро memory.go перечитаны автором лично; конфаунд глоссарий-инъекции в records.json и GT-фильтр по вхождению найдены при этой проверке и внесены в §D как несущие поправки.
  • Пост-хок адверсариальный проход по готовому отчёту ВЫПОЛНЕН (3 независимых верификатора: citation-fidelity §B–§E, промт-комплаенс+целостность §A-хеша, опровержение несущих механик): ~50 проверенных клеймов, 1 WRONG (GT-фильтр: blurb-термы встречаются в аннотации гл.1 ⇒ GT=57, не ~54) и 9 IMPRECISE — все исправлены в тексте, в т.ч. два несущих: вырожденность c-value на одночарных кандидатах (§B1) и обязательный re-point final_hash OK-стадии на derived-чекпоинт для канала сноски при резюме (§B3 п.8). Комплаенс промта: все требования (а)/(а-бис)/(б)/(в)/(г)/структура §A–§E — CONFIRMED верификатором. Git: отчёт не закоммичен, сессия коммитов не делала.