heaven/textmachine
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
textmachine/eval/bank_autonomy/README.md

3.6 KiB
Raw Permalink Blame History

eval/bank_autonomy — замеры и пробы арки автономности банка (01.08.2026)

Полигон-код к отчётам docs/archive/reports/POLYGON_BANK_RAWMATERIAL_2026-08-01.md ($0-замеры) и POLYGON_BANK_PROBES_2026-08-01.md (платные wire-пробы). Движок не пересобирается — питон по артефактам холодного прогона (D39.58) + сырой провод к DeepSeek.

Источники (durable, вне git)

  • Артефакты холодного прогона: ~/books/gu-zhenren/coldrun-a/ (БД + bank-stop + mined-signature + BANK-FULL). Читаются READ-ONLY. Переопределить: COLDRUN_A=/путь.
  • Сырьё платных проб: ~/books/gu-zhenren/bank-probes/*.json (21 запись, persist по правилу-1 полигона).

$0-замеры (parse_common + m*)

  • parse_common.py — парсеры terminologist-чекпойнтов, bank-stop, mined-signature, BANK-FULL.
  • m21_consistency.py/m21b.py — строка 21: консистентность терминолога по 3 вложенным проходам (n≥2=127, нестаб 43.3%).
  • m22_consolidation.py/m22b.py — строка 22: веса §C2-3 (n≥2=75; term-топ==частота 43/43; final≠топ 50/75).
  • m36_typeaudit.py/m36b_grade.py — аудит типов 36а (12–22% мис-тип; branch-harm 元石/元海; decl 142/142 null).
  • m_firstocc.py — first-occurrence-тест KWIC-консолидатора (дизайн-пак банка §7.7, 01.08): первое-вхождение-в-БАНКНОТУ (retrieval_state.banknote_detail, порядок (chapter,chunk_idx)) vs частотный-топ vs ФИНАЛ. Единицы печатаются ДО агрегата (норма «вывод на агрегате до вскрытия единиц»). Итог: гипотеза первенства ОПРОВЕРГНУТА (финал==первое 7 == финал==частота 7, большинство — ни то ни другое) ⇒ роль = контекстный ре-решатель, не выбиратель по порядку/частоте.

Платные пробы (term_probe.py, venv eval/.venv)

Реконструирует вход терминолога байт-близко к terminology.go:RenderBatch, бьёт в DeepSeek напрямую. Режимы: gate (empty-buy на 0731) · A0/A1rep/A0rep (等 порознь/вместе, temp 0.3 — эксплор) · A0faithful/A1faithful (等 при temp 0 + evidence: + полный ctx = движковые условия, ДЕЙСТВУЮЩИЙ PROBE-A) · Z0/Z1 (转) · expBclean (тип-классификатор 36а; expB — КОНТАМИНИРОВАН утечкой, не использовать). Запуск: eval/.venv/bin/python3 term_probe.py --mode <mode>. Итог: $0.027831 из потолка $0.10 (вкл. faithful ре-перегоны).

⚠ Два урока (оба из ревью): (1) expB-классификатор слил ответ в промте — поймано соло-самопроверкой, перегнано expBclean. (2) Первый PROBE-A был НЕ engine-faithful (temp 0.3, дропнут evidence:, ctx усечён) — поймано author≠reviewer (3 агента: recount+audit+skeptic), разрешено A0faithful/A1faithful. Числа PROBE-B исправлены 17/18→17/21, 83%→78.9%. Подробности — §2/§3/§5 отчёта docs/archive/reports/POLYGON_BANK_PROBES_2026-08-01.md.