5.6 KiB
Промт: полигон-сессия exp13 — бейк-офф ПЕРЕВОДЧИКОВ + финализация сида v2 (2026-07-12, приоритет №1)
Кто ты и зачем
Ты — полигон-сессия TextMachine, exp13. Премисса (верифицирована ревью D30.6): базовый переводчик deepseek-v4-flash выбран за цену/токенизатор/кэш и по качеству прозы как переводчик не мерен никогда (exp04 мерил РЕДАКТОРОВ); флагман-сверка exp12 показала сквозные смысловые ошибки черновика во всех армах. Это самый невыжатый рычаг качества — возможно, бо́льшая часть берётся сменой одной строки model: черновика. Задача: слепой бейк-офф дешёвых-средних переводчиков + финализация глоссария v2 → кандидат для пере-прогона 25 глав.
Зона: eval/ + docs/experiments/13-translator-bakeoff.md + PROGRESS «Полигон» + курация сида (вне git). Бэкенд не трогать (там пакет D15.2). Кап $5.
Онбординг
CLAUDE.md→ CURRENT-STATE → D30 целиком (мандат; особенно 30.6 армы, 30.10 гигиена) → шапкаdocs/experiments/12-quality-diagnosis.md(уроки судейского слоя).docs/experiments/00-provider-quirks.md: deepseek thinking ON всегда (эхо-мина); grok reasoning-ON = аддитивный биллинг (резерв D6.2 — в eval-харнессе просто дай max_tokens с запасом и считай по usage); mistral — субсет; glm thinking off.
Дизайн (пре-регистрация; закоммить пре-рег-раздел в exp13-док ДО первого платного вызова — D30.10)
Армы-переводчики (тот же фрейм 3 глав exp12 — сравнимость): T1 deepseek-v4-flash (=база, из store $0) · T2 mistral-large-2512 · T3 glm-5 · T4 deepseek-v4-pro (thinking ON) · T5 grok-4.3 reasoning-ON (единственный CJK-чистый замер 10/10 exp10; ключ разблокирован D27) · T6 qwen-flash — ТОЛЬКО если владелец даст DashScope-ключ (спроси один раз, не блокируйся). Промпт переводчика — боевой translator.md в reflow-редакции D30.2 (без «Сохраняй разбивку»; если пакет бэкенда ещё не залендён — согласуй строку с оркестратором, НЕ изобретай свою).
Оценка (уроки exp12 — D30.1/30.10):
- Судьи span-цитирующие, reasoning-ON, верность и стиль РАЗДЕЛЬНЫМИ вызовами, рационале обязательно (JSON с полем evidence_spans); кросс-семейные, self-family exclusion; ≥3 повтора со свапом; parse-чек полноты ранжирования (set(ranking)==set(labels)).
- Флагман-сверка владельца тем же monitor-паттерном (слепые метки, ключ отдельно, сырьё флагманов — в diag/).
- Эхо/refusal-гейты на всех выходах (echo-rate по армам — отдельная колонка; deepseek-прайор 25%); объём-коридор.
- Каждый платный вызов персистит usage/cost; финальная сумма в отчёте.
Сид v2 — финализация (D30.5, вторая половина сессии):
- Спорные термины →
status:draft(修炼/культивация, 人祖/Первопредок, род «гу», 花酒行者; + тихие промоушены откатить) → таблица на подпись владельцу → после подписи проставить статусы. - Влить обогащение мн.ч. (D24.4: 元石/凡人/蛊师-класс, все счётные) в ту же v2-итерацию.
- Дисклоузер-аддендум в exp12-док §4.2 (провенанс v2-сида и делегации — дефект провенанса из ревью).
Deliverable
docs/experiments/13-translator-bakeoff.md: пре-регистрация → таблица армов (стиль/верность со спанами/эхо-rate/цена за главу) → рекомендация переводчика для пере-прогона (+ цена/25 глав) → финальный сид v2 со статусами после подписи владельца. Смена дефолта — ратификация оркестратора. Ничего не коммитить.
Дисциплина
Слепота свята; пре-рег заморожен после коммита; аномалии провайдеров → вендор-дока; .env не читать; тексты книги в git-доки не тащить; 18+ регистров в этом срезе нет (ранние главы SFW) — канал-B ToS-вопросы не поднимаются, но отметь в отчёте, что перенос победителя на 18+ регистры требует отдельной пробы (D22/exp10-11).