diff --git a/docs/architecture/components.puml b/docs/architecture/components.puml index 126f576..2a5ba27 100644 --- a/docs/architecture/components.puml +++ b/docs/architecture/components.puml @@ -1,9 +1,9 @@ @startuml components -title TextMachine — компоненты бэкенда (v3 2026-07-09, синхронизировано с 05-decisions-log D1–D17)\nПометки: [OK] = построено · [Ф1*] = остаток Фазы 1 · [Ф2]/[Ф3] = планово +title TextMachine — компоненты бэкенда (2026-07-12, синхронизировано с 05-decisions-log D1–D38.1)\nПометки: [OK] = построено · [Ф1*] = остаток Фазы 1 · [Ф2]/[Ф3] = планово skinparam componentStyle rectangle skinparam wrapWidth 200 -actor "Владелец / редактор\n(очередь флагов, подтверждение\nтерминов, BWS-оценка пилота)" as HUMAN +actor "Владелец / редактор\n(очередь флагов, подтверждение терминов,\nподпись сида v2 = approved-инвариант (D34),\nарбитр читаемости слепых прогонов [2 претензии, D35],\nBWS-оценка пилота)" as HUMAN package "Интерфейсы" { component "CLI tmctl: translate / report [OK]\n+ status / redrive [Ф1*]" as CLI @@ -20,7 +20,7 @@ package "Оркестратор" { package "Агентные роли (промпт-конфиги)" { component "Translator: черновик [OK]\n(C2: N ГЕТЕРОГЕННЫХ кандидатов [Ф2])" as ROLE_TR - component "Stylist/Editor [OK]\nмонолингвальный D1 (оспорен — пилот-арм D13.1),\ndst-констрейнты CONFIRMED" as ROLE_ED + component "Editor [OK] БИЛИНГВАЛЬНЫЙ (флип D1→D30.1)\n(вход = черновик + ИСХОДНИК + CONFIRMED dst-констрейнты);\nдискурс-reflow-промпт (Ван Цуй) + репараграфизация 1:N;\nкандидат glm-5, свап→mistral/deepseek-pro (D38.1);\nomission/inversion-гард (D34.3); пилот-арм D13.1 = ПОДТВЕРЖДАЮЩИЙ" as ROLE_ED component "Analyst: book brief [Ф2]" as ROLE_AN component "Terminologist / автопопуляция\nглоссария [Ф1*/Ф2]\n(спот=локаль, рендер=облако — exp06)" as ROLE_TERM component "Annotator: пре-пасс [Ф2]\n(speaker-ID, регистр, чэнъюй-маски)" as ROLE_ANN @@ -32,23 +32,24 @@ package "QA-гейты (без LLM)" { component "Intrinsic classify [OK]\n(refusal/CJK-echo ДО length, loop-детект)" as QA_CJK component "Coverage / excision [OK, opt-in]\n(sent_cov + len_ratio, порт оракула)" as QA_COV component "Глоссарный post-check [OK]\n(decl-aware, CONFIRMED-only;\nфлаггер по умолчанию, гейт opt-in)" as QA_GLOS - component "Дешёвые гейты Ф1 [Ф1*]:\nтире-линтер, ёфикатор,\nтранслит-междометия, число-гейт" as QA_CHEAP + component "Output-санитайзер [OK, opt-in c1] (D30.3/D33)\n(ведущие преамбулы / хвостовые «Основные правки» —\ngemini-утечка 6/6 / латиница-врезки / markdown-###;\nCJK-Han-в-выходе — в стройке D38.1); flag+skip D2" as QA_SANITIZE + component "Дешёвые гейты Ф1 [Ф1*]:\nтире-линтер, ёфикатор,\nтранслит-междометия, число-гейт\n+ диалог-парность-флаггер (D29.1д) + omission-гард (D38)" as QA_CHEAP component "Морфо-гейт рода + канцелярит\n+ T-index [Ф2] (Python-сайдкар)" as QA_MORPH component "Валидатор Палладия/Поливанова B6 [Ф2]\n(ruby-reading = ground truth)" as QA_TRANSLIT } package "pkg/llm" { component "Роутер роль -> модель [OK]" as LLM_RT - component "Capability-слой [OK]\n(budget_field/temperature/reasoning;\nэхо-мина DeepSeek fail-fast)" as LLM_CAP + component "Capability-слой [OK]\n(budget_field/temperature/reasoning;\nэхо-мина DeepSeek fail-fast;\nper-model флор min_max_tokens 8000/kimi 16000, D24.3;\ngpt-5.4 reasoning=low в редакторе — medium режет вывод, D38.6)" as LLM_CAP component "NSFW-классификатор 0-3 [Ф2]\n(НЕ специфицирован — нужна метрика приёмки;\nуровень 3 = скип чанка + флаг)" as LLM_NSFW component "Failover [OK, НЕ подключён]\nтолько local->cloud для local-ролей (D4);\nоблачные draft/edit: пауза+resume, НЕ своп" as LLM_FO - component "Адаптеры OpenAI-совместимые [OK]:\nDeepSeek / GLM / Kimi / xAI / OpenAI /\nllama-server; нативный Gemini [Ф2]" as LLM_AD + component "Адаптеры OpenAI-совместимые [OK]:\nDeepSeek / GLM / Kimi / xAI / OpenAI / Mistral /\nllama-server; нативный Gemini [Ф2]" as LLM_AD component "Кэш-раскладка префикса [OK]\n+ Batch (только Gemini-судья/QA) [Ф2]" as LLM_BC } package "Банк памяти книги (SQLite на книгу) [OK: v2]" { - component "Глоссарий v2 [OK]\n(sense, alias-граф, decl, gender=hidden,\ntranslit_policy, ревизии)" as MEM_GLOS - component "Горячий путь [OK]: Aho-Corasick,\nнормализация NFKC/trad2simp/kana/ignorables,\nспойлер-окна since/until (hard-reject),\ndisposition CONFIRMED/AMBIGUOUS/REJECT,\nsticky; фиксы границ D16 [Ф1*]" as MEM_HOT + component "Глоссарий v2 [OK]\n(sense, alias-граф, decl, gender=hidden,\ntranslit_policy, ревизии);\nсид v2 ПОДПИСАН владельцем (57 терминов, D34);\nstatus:draft НЕ инъектится в editor-констрейнт\n(CONFIRMED-only) — reseed промоут грейдов (корень терм-дрейфа, D38)" as MEM_GLOS + component "Горячий путь [OK]: Aho-Corasick,\nнормализация NFKC/trad2simp/kana/ignorables,\nспойлер-окна since/until (hard-reject),\ndisposition CONFIRMED/AMBIGUOUS/REJECT,\nsticky; фиксы границ D16 [OK]" as MEM_HOT component "Ruby-захват [OK] -> сид auto-кандидатов;\nreading как матч-поверхность [Ф1*, D16.4]" as MEM_RUBY component "retrieval_state per-chunk [OK]\n(наблюдаемость инъекции/вытеснений)" as MEM_RS component "Резюме глава->арка->книга [Ф2]\n+ гейт фактичности резюме (реестр D1)" as MEM_SUM @@ -63,16 +64,17 @@ package "Деньги и наблюдаемость [OK]" { } package "Eval / Полигон (зона eval/)" { - component "Пилот-харнесс Ф2.5\n(BWS, memory-eval M0-M3, судья-панель;\nчинится до прогона — D13.5)" as EV_PILOT - component "Refusal/excision-бенчмарк\n(18+ часть ждёт explicit-корпус — critical)" as EV_RB + component "Пилот-харнесс Ф2.5\n(BWS, memory-eval M0-M3, судья-панель;\nчинится до прогона — D13.5;\nблокеры: корпус вне претрейна, аннотаторы ≥3,\nбилингв-якорь, судья-дублёр 18+ — чистый ключ снят D27)" as EV_PILOT + component "Refusal/excision-бенчмарк [OK]\n(18+ эмпирика ПОЛНА: violence exp10 + erotica exp11;\nканал B v2 собран, D14.4 закрыт)" as EV_RB + component "Диагностик-харнесс качества\n(exp12→14b: нарезка×промпт, слепые читки,\nfidelity re-gate; трек «мерить→строить» D26–D38.1)" as EV_DIAG } cloud "LLM-провайдеры" { - component "DeepSeek V4 (draft; thinking ON —\nэхо-мина; для explicit ЗАПРЕЩЁН ToS, D14.1)" as P_DS - component "xAI Grok 4.3 (редактор SFW, канал B,\nсудья 18+; AUP без запрета adult-текста)" as P_XA - component "Gemini 3.1 Pro (апекс/судья [Ф2])" as P_GM - component "GLM / Kimi / OpenAI\n(альтернативы/эскалация)" as P_OTH - component "Mistral — кандидат-фолбэк\nканала B [проба, D14.2]" as P_MI + component "DeepSeek V4: -flash = draft (thinking ON —\nэхо-мина; сохранён exp13/D32) · -pro = escalate-хоп\n(флор min_max_tokens 8000, D24.3);\nexplicit ЗАПРЕЩЁН ToS, violence OK (D14.1)" as P_DS + component "xAI Grok 4.3: эскалация канала B (reasoning-ON),\nпервичный судья эротики; НЕ редактор\n(reasoning-off из редакторских ролей снят = no-op, D30.1);\nключ единый С data-sharing, off перед продом (D27)" as P_XA + component "gemini-3.1-pro-preview (голый слаг→404):\nсудья SFW/violence, но fail-closed на эротике\n(PROHIBITED_CONTENT); премиум-эскалация редактора\nТОЛЬКО за санитайзером (D30.1); billing additive_total (D22.3)" as P_GM + component "GLM (glm-5 = ДЕФОЛТ билингв-редактор, D30.1) /\nKimi (НЕПРИГОДЕН как редактор — обрезки/таймауты) /\nOpenAI (GPT-5 фронтир-арм — в дефолт НЕ нужен, D38)" as P_OTH + component "Mistral — переводчик-ДЕФОЛТ канала B (18/18, D19.1);\nкандидат СМЕНЫ дефолт-редактора (чинит инверсии,\nкоторые glm валит, дешевле) — бейк-офф прозы (D38.1)" as P_MI component "llama-server (GPU 8GB: скрининг,\nabliterated канала B, эмбеддинги,\nСПОТ-экстракция)" as P_LL } @@ -94,6 +96,7 @@ RUNNER --> ROLE_LE RUNNER --> QA_CJK RUNNER --> QA_COV RUNNER --> QA_GLOS +RUNNER --> QA_SANITIZE RUNNER --> QA_CHEAP RUNNER --> QA_MORPH RUNNER --> QA_TRANSLIT @@ -130,6 +133,7 @@ HUMAN --> CLI : запуск, флип гейтов (за подписью) HUMAN <-- EXP : отчёт, паспорт качества, флаги HUMAN --> MEM_GLOS : подтверждение терминов auto->approved\n(безлюдный режим = осознанный риск G1/G2) HUMAN <.. EV_PILOT : BWS-оценка (пилот Ф2.5) +HUMAN <.. EV_DIAG : слепая читка-арбитраж (2 претензии, интерим) LLM_RT --> OBS_LG OBS_LG --> OBS_QB diff --git a/docs/architecture/pipeline.puml b/docs/architecture/pipeline.puml index edbbe81..588a5e8 100644 --- a/docs/architecture/pipeline.puml +++ b/docs/architecture/pipeline.puml @@ -1,17 +1,19 @@ @startuml pipeline -title TextMachine — поток перевода книги (v3 2026-07-09, синхронизировано с D1–D17)\nПометки: [OK] = построено · [Ф1*] = остаток Фазы 1 · [Ф2] = планово +title TextMachine — поток перевода книги (2026-07-12, синхронизировано с D1–D38.1)\nПометки: [OK] = построено · [Ф1*] = остаток Фазы 1 · [Ф2] = планово skinparam wrapWidth 260 start :Импорт книги [OK]: txt / epub по spine, -ruby-захват, spine-reconciliation fail-loud +ruby-захват, spine-reconciliation fail-loud, +GB18030-детект/конверсия (реальные zh .txt — не UTF-8, D18/D20) (тихая потеря главы невозможна); :Сегментация [OK]: главы -> чанки ~1-2k токенов (sentence-pack, quote-depth, lossless); :Сид глоссария [OK]: ручной YAML + ruby-кандидаты (ja-книга: kana-написания имён — aliases руками, D16.4) -· автопопуляция G1 [Ф1*/Ф2]: -спот=локаль / рендер=облако; +· сид v2 ПОДПИСАН владельцем (57 терминов, D34) +· status:draft НЕ инъектится в editor-констрейнт — reseed промоут грейдов (D38) +· автопопуляция G1 [Ф1*/Ф2]: спот=локаль / рендер=облако; :Analyst: book brief (map-reduce) [Ф2]; :Terminologist: глоссарий + style sheet до перевода [Ф2]; note right @@ -35,11 +37,11 @@ while (Остались главы?) is (да) (книга продолжается); else (нет) if (Уровень 2: explicit?) then (да) - :Канал B [интерим D14]: Grok 4.3 - + локальная abliterated - · Mistral — после пробы - · DeepSeek ЗАПРЕЩЁН (ToS) - · OpenAI/Gemini — нет; + :Канал B v2 [D19.1/D22.1]: переводчик-ДЕФОЛТ Mistral (18/18) + → эскалация Grok 4.3 (reasoning-ON) + → локальная abliterated 8b (скрин/фолбэк) + · DeepSeek explicit ЗАПРЕЩЁН (ToS), violence OK + · судьи 18+ Grok+Gemini (эротика→Grok primary, Gemini fail-closed); else (0-1) :Канал A [OK]: DeepSeek V4 Flash (thinking ON — эхо-мина); @@ -63,7 +65,8 @@ while (Остались главы?) is (да) elseif (контент-провал: echo/excision/refusal) then (детерминированный) if (escalate_to задан И бюджет есть?) then (да) :Single-hop эскалация [OK]: на ДРУГУЮ модель - (ровно 1 хоп, editor pinned); + (ровно 1 хоп, editor pinned) — хоп ограничен + per-model флором min_max_tokens 8000 (D24.3); :РЕ-ГЕЙТ фолбэка [OK]: classify + coverage заново — не прошёл, значит флаг остаётся; else (нет) @@ -71,11 +74,18 @@ while (Остались главы?) is (да) endif else (ok) endif - :Editor [OK]: монолингвальная редактура D1 - (вход = черновик + CONFIRMED dst-констрейнты, - D17: оспорено внешним замером — решает пилот-арм); + :Editor [OK]: БИЛИНГВАЛЬНАЯ редактура (флип D1→D30.1) — + вход = черновик + ИСХОДНИК + CONFIRMED dst-констрейнты · + дискурс-reflow-промпт (Ван Цуй) + репараграфизация 1:N · + кандидат glm-5, свап→mistral/deepseek-pro (D38.1) · + omission/inversion-гард (D34.3); + :Output-санитайзер [OK, opt-in c1] (D30.3/D33) — + ведущие преамбулы / хвостовые «Основные правки» (gemini-утечка 6/6) / + латиница-врезки / markdown-### / CJK-Han-в-выходе [в стройке D38.1] — + flag+skip (D2), вердикт-ось; :Post-check финала [OK]: decl-aware, - CONFIRMED-only — флаггер по умолчанию, + CONFIRMED-only (union: базовый dst ВСЕГДА в проверяемых формах, + D24.4 — закрывает nominative_gap) — флаггер по умолчанию, жёсткий гейт opt-in за подписью владельца; :Чекпоинт [OK]: settle + checkpoint одной tx (в TM коммитится только прошедшее гейты); @@ -98,7 +108,9 @@ endwhile (нет) --resnapshot ценой всей книги — D15); :Книжный QA-проход [Ф2]: консистентность по всей книге, регрессия ты/вы, морфо-гейт рода; -:Экспорт txt/epub + отчёт [Ф1*]: стоимость по стадиям, -флаги, журнал творческого вклада; +:Экспорт txt/epub/TMX + отчёт [Ф1*]: tmctl export (канон. ассемблер) ++ annotations.json · нормализация выхода (strip ведущий ###) +· флагнутый чанк НЕ дропать в пусто (export-фикс D35.4a) +· стоимость по стадиям, флаги, журнал творческого вклада; stop @enduml