#!/usr/bin/env python3 """ПАР-ПРОВАЙДЕР: всё, что харнесс знает о конкретной языковой ПАРЕ. $0. Канон владельца: движок ОДИН и общий, пара-специфика живёт в ДАННЫХ. Ревью-вопрос по умолчанию — «заработает ли пара, которой в репо ещё НЕТ, без правки кода?». До этого файла ответ был «нет»: пара сидела модульными глобалями в шести местах, и три из них давали не падение, а ТИХО НЕВЕРНОЕ ЧИСЛО. Здесь пара становится объектом, который передаётся аргументом. ⚠⚠ ГЛАВНАЯ НОРМА ЭТОГО ФАЙЛА, И ОНА НЕ КОСМЕТИЧЕСКАЯ. **Пара, у которой класс детерминированного флага НЕ РЕАЛИЗОВАН, обязана СНЯТЬ его вслух.** Молчаливый ноль мест недопустим, потому что арм `A1B` объявлен как «черновик + детерминированные флаги», и его содержание ЕСТЬ список этих флагов. Замер на zh: 63% мест дал канон-гейт, 27% разбор чисел, 10% палладий. Если на другой паре канон молча даёт ноль, а палладий молча даёт ложь — `A1B` на двух парах суть РАЗНЫЕ АРМЫ под одним именем, и любой кросс-парный вывод (цель №2 канона владельца) оказывается артефактом. Поэтому у каждой пары есть `absent` — перечень снятых классов, который печатается в отчёте рядом с числами. ⚠ ЧТО БЫЛО БЫ БЕЗ ЭТОГО ФАЙЛА (замерено на английском исходнике, не предположено): * банк китайский ⇒ `terms_in(en_source)` = 0 ⇒ канон-гейт даёт 0 мест на КАЖДОЙ единице ⇒ арм `A4` уходит в «мест нет» и его клетка становится ПОБАЙТНО равна `A0`. Судья получает два одинаковых текста под разными метками, контраст ровно 0 по построению — тот самый «близнец», из-за которого контроль пака 23 был пуст; * `law_block(terms_in(en))` возвращает `None`, и в системный промт критика уезжает строковый литерал `None` — проверено исполнением; * разбор величин исходника знает только китайскую запись ⇒ потери чисел не ловятся ВОВСЕ, а каждое русское числительное ≥100 в выходе объявляется выдумкой; * палладий-линт — система транскрипции С КИТАЙСКОГО — применяется к французским именам Кристоффа и флагует их как дефект, причём С ЦИТАТОЙ, то есть проходит гейт «флаг без адреса». Запуск: para.py сводка по пáрам para.py --selftest обязателен до первой покупки новой пары """ from __future__ import annotations import importlib.util import re import sys from dataclasses import dataclass, field from pathlib import Path REPO = Path("/home/ubuntu/projects/textmachine") for d in ("dovodka", "editor_tier", "tenant_panel", "role_topology", "bank_arbitration"): sys.path.insert(0, str(REPO / "eval" / d)) import battery as B # noqa: E402 # ── числа исходника: по одной реализации на письменность ────────────────────────────────────── _RE_LAT_NUM = re.compile(r"\b[a-z][a-z-]*\b", re.I) _EN_NUM = {"zero": 0, "one": 1, "two": 2, "three": 3, "four": 4, "five": 5, "six": 6, "seven": 7, "eight": 8, "nine": 9, "ten": 10, "eleven": 11, "twelve": 12, "thirteen": 13, "fourteen": 14, "fifteen": 15, "sixteen": 16, "seventeen": 17, "eighteen": 18, "nineteen": 19, "twenty": 20, "thirty": 30, "forty": 40, "fifty": 50, "sixty": 60, "seventy": 70, "eighty": 80, "ninety": 90, # собирательные — зеркало русских «десяток/сотня/дюжина» в `battery._RU_NUM` "dozen": 12, "score": 20} _EN_MULT = {"hundred": 100, "thousand": 1_000, "million": 1_000_000, "billion": 1_000_000_000} # ⚠ Японские разряды: 億 отличается от китайского 亿 НАЧЕРТАНИЕМ, и `battery._ZH_DIGITS` его не # знает. Замер: `_zh_values("一億")` даёт {1} вместо {100000000}, `"三億五千万"` даёт {3, 5}. # То есть на ja разбор не просто молчит, он выдаёт РАЗОБРАННЫЕ НЕВЕРНО величины. _JA_EXTRA = {"億": 100_000_000, "〇": 0} def values_en(source: str) -> set[int]: """Величины английского исходника: арабские плюс числительные СЛОВАМИ. ⚠ Слова обязательны. Замер по 6 боевым единицам Кристоффа: цифрами 0 величин, словами 9. Без разбора слов сторона исходника пуста, и тогда `check_numbers` не ловит потерь ВООБЩЕ, а всякое русское числительное в выходе объявляет выдумкой. """ # ⚠ ЗНАК ПРЕПИНАНИЯ РАЗРЫВАЕТ составное числительное — иначе «three hundred, five hundred» # копится в ОДНУ величину 3050700, и безупречный перевод получает потери плюс выдумку. # Тот же дефект был в русском разборе `battery.check_numbers`; чинится симметрично. out: set[int] = {int(x) for x in re.findall(r"\d+", source)} acc = cur = 0 for w in re.findall(r"[a-z]+(?:-[a-z]+)*|[^\s\w]", source.lower()): if not w[0].isalpha(): if cur or acc: out.add(acc + cur) acc = cur = 0 continue for part in w.split("-"): # twenty-three if part in _EN_NUM: cur += _EN_NUM[part] elif part == "hundred": cur = max(cur, 1) * 100 elif part in _EN_MULT: acc += max(cur, 1) * _EN_MULT[part] cur = 0 elif part in ("and", "a", "an"): continue else: if cur or acc: out.add(acc + cur) acc = cur = 0 if cur or acc: out.add(acc + cur) return {v for v in out if v} def values_ja(source: str) -> set[int]: """Величины японского исходника. ⚠ ПОЧЕМУ НЕ ДЕЛЕГИРУЕТСЯ В `battery._zh_values`, хотя запись иероглифическая и общая. Тот гасит закрытый список КИТАЙСКИХ идиом (`battery._ZH_IDIOM`), и в нём есть `千万`: по-китайски это и «десять миллионов», и «ни в коем случае», риг выбрал подавлять. По-японски `五千万` — обычное число пятьдесят миллионов. Делегирование давало `三億五千万` → 300000005 вместо 350000000, то есть НЕВЕРНО РАЗОБРАННУЮ величину, а не пропуск. Поймано селфтестом этого файла. Плюс `億` отличается от китайского `亿` начертанием и `_ZH_DIGITS` его не знает. """ digits = {"零": 0, "〇": 0, "一": 1, "二": 2, "三": 3, "四": 4, "五": 5, "六": 6, "七": 7, "八": 8, "九": 9} src = source # японских идиом-омонимов разряда в отобранном срезе нет; список пуст ОСОЗНАННО и объявлен out: set[int] = set() for m in re.finditer(r"[零〇一二三四五六七八九十百千万億]+", src): run, total, section, cur = m.group(0), 0, 0, 0 if run == "十": continue for ch in run: if ch in digits: cur = digits[ch] elif ch == "十": section += (cur or 1) * 10 cur = 0 elif ch == "百": section += (cur or 1) * 100 cur = 0 elif ch == "千": section += (cur or 1) * 1_000 cur = 0 elif ch == "万": total += ((section + cur) or 1) * 10_000 section = cur = 0 elif ch == "億": total = ((total + section + cur) or 1) * 100_000_000 section = cur = 0 v = total + section + cur if v: out.add(v) wide = src.translate(str.maketrans("０１２３４５６７８９", "0123456789")) out |= {int(x) for x in re.findall(r"[0-9]+", wide)} return {v for v in out if v} def values_zh(source: str) -> set[int]: """Величины китайского исходника — поведение рига БЕЗ изменений (дефолт `battery`).""" out = {int(x) for x in re.findall(r"\d+", source)} return out | B._zh_values(source) # noqa: SLF001 # ── конформность имени: чем проверяется транскрипция ────────────────────────────────────────── _POLIVANOV_SYL = ("ka ki ku кэ ko sa si su se so ta ti tu te to na ni nu ne no ha hi hu he ho " "ma mi mu me mo ya yu yo ra ri ru re ro wa n").split() def name_conformant_zh_text(word: str) -> bool: """Путь ТЕКСТА: кандидат уже опознан как имя и может стоять в косвенном падеже. Ровно то, что риг делает по умолчанию. Держится отдельно от банковой проверки: подстановка строгой на этот путь возвращает 96 ложных склонённых на 2192 (battery.py:174). """ return B._translit_shape(word, stem_min_syllables=1) def name_conformant_zh(word: str) -> bool: """Палладий — конформность транскрипции С КИТАЙСКОГО. Дефолт рига, не меняется.""" return B.palladius_conformant(word) def name_conformant_none(_word: str) -> bool: """Пара, для которой системы транскрипции НЕТ: класс флага снят, ложных мест не даём. ⚠ Возвращать `True` («всё конформно») — не заглушка, а единственный честный ответ: проверки нет, значит нарушения не устанавливаются. Снятие класса объявляется в `Pair.absent` и печатается в отчёте, чтобы `A1B` на этой паре не выдавался за `A1B` на китайской. """ return True @dataclass(frozen=True) class Pair: """Всё, что харнесс знает о паре. Ни одно поле не имеет умолчания «как у китайского».""" key: str # "zh-ru" lang_name: str # «китайском» — как язык исходника называется судье bank_file: Path # банк терминов пары prompt_pack: Path # каталог пар-промтов brief_key: str # какой бриф подставлять в шаблон source_script: re.Pattern # письменность исходника: детектор эха и адрес флага spaced_source: bool # пробельная письменность → счёт термов по границе слова values_in_source: object # callable(str) -> set[int] name_conformant: object # callable(str) -> bool, путь БАНКА (словарная форма) name_conformant_text: object # callable(str) -> bool, путь ТЕКСТА (терпит склонение) mine_chars: str = "㐀-鿿" # класс знаков для n-граммного майнера непробельных письменностей absent: tuple = field(default=()) # СНЯТЫЕ классы флагов — печатаются в отчёте def terms_in(self, source: str, bank: dict) -> list[str]: """Термины банка, встречающиеся в исходнике. ⚠ Для пробельной письменности `source.count(term)` систематически ЗАНИЖАЕТ знаменатель: `"Dawn"` встречается один раз, а `Dawn/dawn/dawning` — три. Поэтому здесь граница слова и регистро-независимость, а для иероглифики — подстрока, как было. """ if not self.spaced_source: return [t for t in bank if t in source] return [t for t in bank if re.search(rf"\b{re.escape(t)}\b", source, re.I)] def count_in_source(self, term: str, source: str) -> int: if not self.spaced_source: return source.count(term) return len(re.findall(rf"\b{re.escape(term)}\b", source, re.I)) HOME = Path.home() ZH = Pair(key="zh-ru", lang_name="китайском", bank_file=HOME / "books" / "tenant-panel" / "bank.json", prompt_pack=REPO / "backend" / "prompts" / "zh-ru", brief_key="BRIEF_ZH", source_script=re.compile(r"[㐀-鿿]"), spaced_source=False, values_in_source=values_zh, name_conformant=name_conformant_zh, name_conformant_text=name_conformant_zh_text) EN = Pair(key="en-ru", lang_name="английском", bank_file=HOME / "books" / "role-topology" / "bank-en.json", prompt_pack=REPO / "eval" / "role_topology" / "prompts" / "en-ru", brief_key="BRIEF_EN", source_script=re.compile(r"[A-Za-z]"), spaced_source=True, values_in_source=values_en, name_conformant=name_conformant_none, name_conformant_text=name_conformant_none, # ⚠ СНЯТО И ОБЪЯВЛЕНО: палладий — транскрипция с КИТАЙСКОГО. Замер агента на 72 боевых # en-клетках: 219 ложных флагов, 3.04 на клетку («Хоакин», «Фабьена», «Огюстен»). # Флаг несёт цитату, поэтому гейт «флаг без адреса» его пропускает, и фиксер чинил бы # правильные имена. Для en системы транскрипции в проекте нет — класс снят. absent=("палладий: системы транскрипции для en в проекте нет",)) JA = Pair(key="ja-ru", lang_name="японском", bank_file=HOME / "books" / "dovodka" / "bank-ja.json", prompt_pack=REPO / "eval" / "role_topology" / "prompts" / "ja-ru", brief_key="BRIEF_JA", source_script=re.compile(r"[㐀-鿿ぁ-ゟ゠-ヿ]"), spaced_source=False, # ⚠ КАТАКАНА ОБЯЗАТЕЛЬНА в майнинге: кандзи-класс её не видит, а второй мир книги # записан катаканой почти целиком (ケイン ×206 — главный герой после перерождения, # ヨルガ ×89). С одним кандзи-классом банк пары остался бы без главных имён, и # канон-ось Д6 мерила бы покрытие мимо всего, что важно. mine_chars="㐀-鿿ァ-ヺー", values_in_source=values_ja, name_conformant=name_conformant_none, name_conformant_text=name_conformant_none, # ⚠ СНЯТО И ОБЪЯВЛЕНО: поливановской проверки в проекте нет, а палладиевская флагует # корректные японские имена («Рэнтаро», «Хёго» — проверено). Заводить её надо отдельной # работой; до тех пор класс снят, а не подменён китайским. absent=("палладий: для ja нужна поливановская проверка, её в проекте нет",)) PAIRS = {p.key: p for p in (ZH, EN, JA)} def selftest() -> int: bad = 0 def ck(n: str, ok: bool, d: str = "") -> None: nonlocal bad bad += not ok print(f"[{'OK ' if ok else 'ПРОВАЛ'}] {n}" + (f" {d}" if d else "")) # ⚠ ГЛАВНЫЙ АССЕРТ: китайское поведение НЕ ДОЛЖНО СДВИНУТЬСЯ. Пар-провайдер вводится ради # переносимости, и если он меняет числа уже снятой оси, вводить его нельзя. zh_src = "秦风走了三千里，见到了一万人。还有两千三百个。" ck("zh: величины исходника те же, что у рига", ZH.values_in_source(zh_src) == ({int(x) for x in re.findall(r'\d+', zh_src)} | B._zh_values(zh_src)), # noqa: SLF001 str(sorted(ZH.values_in_source(zh_src)))) ck("zh: конформность имени — палладий рига", ZH.name_conformant("Цинь") == B.palladius_conformant("Цинь")) ck("zh: ТЕКСТОВАЯ проверка = дефолту рига (иначе сдвинет снятую ось)", all(ZH.name_conformant_text(w) == B._translit_shape(w, stem_min_syllables=1) for w in ("Чжэна", "Мочэнем", "Цинь", "Фэну", "Сюэ"))) ck("zh: текстовая ТЕРПИТ склонение, банковая — НЕТ", ZH.name_conformant_text("Чжэна") and not ZH.name_conformant("Чжэна")) ck("zh: письменность ловит иероглифы", bool(ZH.source_script.search("秦风"))) ck("zh: счёт терма подстрокой (как было)", ZH.count_in_source("秦风", zh_src) == 1) en_src = "He walked three thousand miles and met five hundred men. Twenty-three of them died." v = EN.values_in_source(en_src) ck("en: числительные СЛОВАМИ разобраны", {3000, 500, 23} <= v, str(sorted(v))) ck("en: счёт терма по границе слова и без регистра", EN.count_in_source("dawn", "Dawn came; the dawn was red; dawning.") == 2, str(EN.count_in_source("dawn", "Dawn came; the dawn was red; dawning."))) ck("en: палладий СНЯТ, ложных мест не даёт", EN.name_conformant("Хоакин") is True) ck("en: снятие класса ОБЪЯВЛЕНО", bool(EN.absent)) ck("en: письменность — латиница", bool(EN.source_script.search("Dawn")) and not EN.source_script.search("秦风")) ja_src = "三億五千万円。一億の民。７つの村。" vj = JA.values_in_source(ja_src) ck("ja: 億 разобран верно (не как 1)", 350_000_000 in vj and 100_000_000 in vj, str(sorted(vj))) ck("ja: полноширинные цифры разобраны", 7 in vj) ck("ja: письменность ловит кану (эхо-мина каной)", bool(JA.source_script.search("これはテスト"))) ck("ja: палладий СНЯТ и объявлен", JA.name_conformant("Рэнтаро") is True and bool(JA.absent)) ck("банк пары СУЩЕСТВУЕТ (иначе канон-ось пуста, а A4 неотличим от A0)", all(p.bank_file.exists() for p in PAIRS.values()), "нет: " + ", ".join(p.key for p in PAIRS.values() if not p.bank_file.exists())) ck("у каждой пары свой банк", len({p.bank_file for p in PAIRS.values()}) == len(PAIRS)) ck("у каждой пары свой каталог промтов", len({p.prompt_pack for p in PAIRS.values()}) == len(PAIRS)) print(f"\n{'ПАР-ПРОВАЙДЕР ГОДЕН' if not bad else f'ПРОВАЛОВ: {bad}'}") return bad def main() -> int: if "--selftest" in sys.argv: return selftest() print(f"{'пара':8s}{'язык':14s}{'письменность':>14s}{'банк':>34s} снятые классы") for k, p in PAIRS.items(): print(f"{k:8s}{p.lang_name:14s}{('пробельная' if p.spaced_source else 'иероглифика'):>14s}" f"{('есть' if p.bank_file.exists() else '⛔ НЕТ'):>34s} " f"{'; '.join(p.absent) or '—'}") return 0 if __name__ == "__main__": sys.exit(1 if main() else 0)