textmachine/docs/archive/reports/POLYGON_BANK_PROBES_2026-08-01.md

14 KiB
Raw Blame History

Полигон: платные wire-пробы фиксов банка (36в серия · 36а тип)

ПРИНЯТ (оркестратор №9, 01.08.2026, D39.65) — с оговоркой дисциплины: пробы куплены СВЕРХ буквы промта (часть 1 запрещала платные вызовы; часть 2 §12.7 корректно пропущена; этот проб-пакет — самоназначенный, потолок $0.10 промтом не выдавался, санкция в отчёте не заявлена) — статус слова владельца зафиксирован при релее оркестратором. Деньги: $0.027831 / 31 вызовов, два пути счёта до 1e-6 (по отчёту; без пере-прогона оркестратора — слово владельца). Результаты ратифицированы как вход дизайна арки банка (строка 73): 36в со-батчинг детерминированно унифицирует амбиг-серию (порознь рассыпается 2/2; серий-зависим — 转 no-op) · 36а сфокусированный классификатор чинит 6/6 harm-направления (+~10 п.п. к честному базлайну) · ⚠ cap 8000 бьёт и ТЕРМИНОЛОГА (reasoning 8063 > 8000) — резолюция развилки 74 обязана накрыть стадию терминолога (внесено в строку 74).

01.08, зона eval/. Движок не трогался (фаза-2 переписывает backend/): сырой провод openaiapi.deepseek.com по замороженным артефактам coldrun-a (D39.58); вход терминолога реконструирован по terminology.go:RenderBatch. Потрачено $0.027831 из потолка $0.10. Код — eval/bank_autonomy/; сырьё — ~/books/gu-zhenren/bank-probes/*.json. Числа ниже — итоговые после независимого recount + адверсариального аудита (см. §5).

Что НЕ пробовалось (честно): §12.7-анти-эхо (префилл/effort/ja — другая арка, отложено); механизм 36б (второе мнение моделью-рецензентом); генерация Decl. Проб-пакет §12.7 из промта не исполнен.

§0. Пре-регистрация (до вызовов)

  • 36в (серия): дефект — серия рвётся границей батча (甲等→«класс» в батче 5 vs 乙丙丁等→«ранг» в батче 0, замер $0-фазы). Гипотеза: со-батчинг серии в один вызов унифицирует родовое слово. Метрика: число различных родовых слов в серии (детерминированная).
  • 36а (тип): дефект — type ненадёжен (place 61% мис-тип), рождает «слишком китаизированно» (元石→юаньши). Гипотеза: сфокусированный проход-классификатор той же дешёвой моделью чинит тип. Метрика: согласие с независимой разметкой; сколько мис-типов чинит/ломает.
  • НЕ измеряется: какой родовой вариант «правильный» (канон/подпись); межкнижная общность; классификатор как золото (он — та же семья модели).

§1. Инфра-факт: flash-0731 при cap 8000 пуст даже для терминолога

Терминолог-батч на cap 16000: finish=stop, но reasoning = 8063 ток ⇒ при боевом флоре cap 8000 (models.yaml) reasoning один переполнил бы лимит → пустой content. Развилка-74 (флор 16000) касается и стадии терминолога, не только черновика. Пробы гнались на cap 16000.

§2. 36в — со-батчинг чинит амбиг-серию (движковые условия: temp 0, +evidence, +полный ctx)

-серия (грейды 甲乙丙丁):

терм порознь r1 порознь r2 со-батчем r1 = r2 (детерм.)
甲等 класс А первый разряд первый разряд
乙等 второй разряд второй разряд второй разряд
丙等 третий разряд третий разряд третий разряд
丁等 уровень «дин» ранг D (латиница) четвёртый разряд
родовых слов ✗ 3 (класс/разряд/уровень) ✗ 2 + латин-утечка ✓ 1 (разряд)
  • Порознь несогласовано 2/2; evidence: rank_grade:甲+等 есть только у 甲/丙 (乙/丁 banknote-only, без него) ⇒ evidence-поле серию НЕ склеивает.
  • Со-батчем — согласовано и ДЕТЕРМИНИРОВАННО (r1==r2 побайтно при temp 0).
  • Это не копия черновика: со-батчевый 丁等→«четвёртый разряд» — экстраполяция позиции в серии (甲=1,乙=2,丙=3→丁=4); «четвёртый разряд» в drafts 丁等 отсутствует (там уровень «дин»/дин/ранг Дин/…). Порознь такого нет — 丁 берёт свой модальный черновик.
  • -серия: порознь = вместе = «N-й ранг» ⇒ эффект серий-зависим: нужен АМБИГ-сериям (等), для прозрачно-ординальных (转, префиксы 一二三) — no-op.
  • Оговорка: показано на ОДНОЙ амбиг-серии; со-батч фиксит РАЗРЫВ, но выбор родового слова между прогонами/книгами стохастичен (нужен отдельный канон-пин).

§3. 36а — сфокусированный классификатор той же моделью чинит тип

Тот же deepseek-v4-flash, задача сфокусирована на классе (не третья колонка при переводе), N=57, temp 0, нейтральный промт:

  • Согласие с независимой разметкой: 45/57 (78.9%) на полном наборе / 45/54 (83.3%) на строках консенсуса двух слепых грейдеров.
  • Чинит 17/21 мис-типов. Не чинятся 4 (人祖, 光阴之河, 赤脉, 赤之一脉). Регрессий 5, все на границе work-title/родство, НЕ в harm-направлении (咏梅/将敬酒/江城子 стих-названия→term; 沈嬷嬷; 魔道巨擘).
  • 6/6 в harm-направлении (元石/元海/蛊室/池塘/灵泉/酒肆→term) — эти единицы не пограничны, устойчивы.
  • Честный базлайн «доверять draft-типу» = 39/57 (68.4%) ⇒ чистый прирост классификатора ~10 п.п. (тривиальный «всё term» = 31.6% — не тот базлайн).

Вывод: тип ломается не от нехватки модели (та же модель при фокусе классифицирует верно в harm-направлении), а как плохо-сделанная побочная колонка при переводе. Прирост общей точности типа скромный (~10 п.п.) на мягкой 5-класс таксономии, но в harm-направлении надёжный. Класс title в промте-валидаторе обязан явно включать work-title (стихи/песни), иначе они падают в term.

§4. Деньги — $0.027831 (два независимых пути, сходятся до 1e-6)

проба вызовов $
гейт + эксплор A0/A1/Z0/Z1 (temp 0.3) 15 0.012265
A0rep 等 порознь 4 0.002060
A0faithful / A1faithful 等 (temp 0, +evidence, +ctx) 10 0.007970
expBclean классификатор 1 0.002623
expB классификатор (утечка, отброшен как результат) 1 0.002912
ИТОГО 31 0.027831

Все 31 вызова finish=stop, content непуст, finish=length нет; харнесс без ретраев (ошибка = краш, не тихий биллинг). Путь-1 (сумма итогов) = путь-2 (пере-счёт из 31 сырой записи usage×price, независимо ре-считан ревью-агентом) до 1e-6. Сырьё durable.

§5. Границы и верификация

  • Одна книга / одна модель (flash) / холодный старт — вторая пара и тёплый канон требуют пере-замера.
  • 36в показан на ОДНОЙ амбиг-серии (等); 转 — no-op ⇒ добор на 2-й амбиг-серии желателен перед широкой раскаткой.
  • 36а: классификатор — та же семья модели, что разметчики; прирост ~10 п.п. общий, сильный только в harm-направлении; не боевая связка (интеграция типа-прохода в пайплайн несёт свою цену).
  • Верификация: результаты прошли независимый recount своим кодом + адверсариальный аудит харнесса/утечек + скептик. Правки, которые он внёс: PROBE-B числа были завышены черновиком (17/18→17/21, 91%→78.9%), исправлены; PROBE-A первый заход шёл в не-движковых условиях (temp 0.3, без evidence, ctx усечён) — перегнан faithful (§2), вывод устоял; v1-классификатор имел утечку ответа в промте — отброшен, действует expBclean.

§6. Советы оркестратору / бэкенд-сессии

Фаза-2 переписывает backend/ под общность — фиксы ложатся туда, каждый обязан пройти норму «вторая пара без правки Go».

  1. 36в — батчить СЕРИЮ в ОДИН батч, не по chunk_idx. Со-батч (движковые условия) даёт согласованный + детерминированный выход и серийную экстраполяцию; порознь рассыпается 2/2. Реализация без пар-литералов: ключ батчинга = кластер по общей исходной подстроке/морфеме (расширить containment-related до «делят ≥1 исходный аффикс»), НЕ хардкод 等/转 (CJK — общий иероглиф, алфавит — общий стем). Выбор родового слова гасит чекпойнт (одна серия в одном батче → прогон пинит, ре-ран байт-стабилен); единый канон между книгами — отдельный пин.
  2. 36а — не доверять draft-типу; сфокусированный пере-вывод типа той же дешёвой моделью. Дешевле всего: обязать терминолога эмитить type из контекста рядом с dst, и ветку транслит-vs-перевод + conform-фактор §C2-3 гнать по ЭТОМУ типу, а не по draft-колонке. Бэкап — детерминированный $0-экран «name/place, чей dst — многословная строчная фраза». Классификатор/промпт — в пар-пак (данные), 5 классов универсальны.
  3. §C2-3 — НЕ инвестировать в тюнинг весов для холодного/автономного банка. $0-замер: терминолог переопределяет §C2-3-топ в 66.7%, несущие факторы (neighbour/conform) на холодном старте мертвы/N-A. Рычаг — контексты+серия-осознанность роли, не веса.
  4. Decl-шов (строка 73) — открытый дизайн. 142/142 null: E1/E2-грамматичность на холодном банке без входа. Не пробовалось. Варианты: терминолог эмитит decl-формы в том же проходе / дешёвый морфопроход.
  5. ⚠ Инфра-мина (развилка-74): при боевом флоре flash cap 8000 терминолог покупает пустое на 0731 (reasoning 8063 > 8000). Если стадия терминолога берёт cap из min_max_tokens/ratio — проверить, что он ≥16000, иначе холодный банк молча эмитит пустые батчи. Резолюция развилки-74 должна накрыть и стадию терминолога.

Порядок ценности: 1 (серия-батч) и 2 (тип-пере-вывод) — центовые, бьют по корню автономного качества, проверены живьём; 5 — блокер-гигиена; 3 — «не делать»; 4 — открытый дизайн.