37 lines
5.6 KiB
Markdown
37 lines
5.6 KiB
Markdown
# Промт: полигон-сессия exp13 — бейк-офф ПЕРЕВОДЧИКОВ + финализация сида v2 (2026-07-12, приоритет №1)
|
||
|
||
---
|
||
|
||
## Кто ты и зачем
|
||
|
||
Ты — **полигон-сессия** TextMachine, exp13. Премисса (верифицирована ревью D30.6): базовый переводчик deepseek-v4-flash выбран за цену/токенизатор/кэш и **по качеству прозы как переводчик не мерен никогда** (exp04 мерил РЕДАКТОРОВ); флагман-сверка exp12 показала сквозные смысловые ошибки черновика во всех армах. Это самый невыжатый рычаг качества — возможно, бо́льшая часть берётся сменой одной строки `model:` черновика. Задача: слепой бейк-офф дешёвых-средних переводчиков + финализация глоссария v2 → кандидат для пере-прогона 25 глав.
|
||
|
||
Зона: `eval/` + `docs/experiments/13-translator-bakeoff.md` + PROGRESS «Полигон» + курация сида (вне git). Бэкенд не трогать (там пакет D15.2). Кап **$5**.
|
||
|
||
## Онбординг
|
||
|
||
1. `CLAUDE.md` → CURRENT-STATE → **D30 целиком** (мандат; особенно 30.6 армы, 30.10 гигиена) → шапка `docs/experiments/12-quality-diagnosis.md` (уроки судейского слоя).
|
||
2. `docs/experiments/00-provider-quirks.md`: deepseek thinking ON всегда (эхо-мина); grok reasoning-ON = аддитивный биллинг (резерв D6.2 — в eval-харнессе просто дай max_tokens с запасом и считай по usage); mistral — субсет; glm thinking off.
|
||
|
||
## Дизайн (пре-регистрация; **закоммить пре-рег-раздел в exp13-док ДО первого платного вызова** — D30.10)
|
||
|
||
**Армы-переводчики (тот же фрейм 3 глав exp12 — сравнимость):** T1 deepseek-v4-flash (=база, из store $0) · T2 mistral-large-2512 · T3 glm-5 · T4 deepseek-v4-pro (thinking ON) · T5 **grok-4.3 reasoning-ON** (единственный CJK-чистый замер 10/10 exp10; ключ разблокирован D27) · T6 qwen-flash — ТОЛЬКО если владелец даст DashScope-ключ (спроси один раз, не блокируйся). Промпт переводчика — боевой `translator.md` **в reflow-редакции D30.2** (без «Сохраняй разбивку»; если пакет бэкенда ещё не залендён — согласуй строку с оркестратором, НЕ изобретай свою).
|
||
|
||
**Оценка (уроки exp12 — D30.1/30.10):**
|
||
1. **Судьи span-цитирующие, reasoning-ON**, верность и стиль РАЗДЕЛЬНЫМИ вызовами, рационале обязательно (JSON с полем evidence_spans); кросс-семейные, self-family exclusion; ≥3 повтора со свапом; parse-чек полноты ранжирования (set(ranking)==set(labels)).
|
||
2. **Флагман-сверка владельца** тем же monitor-паттерном (слепые метки, ключ отдельно, сырьё флагманов — в diag/).
|
||
3. Эхо/refusal-гейты на всех выходах (echo-rate по армам — отдельная колонка; deepseek-прайор 25%); объём-коридор.
|
||
4. Каждый платный вызов персистит usage/cost; финальная сумма в отчёте.
|
||
|
||
**Сид v2 — финализация (D30.5, вторая половина сессии):**
|
||
- Спорные термины → `status:draft` (修炼/культивация, 人祖/Первопредок, род «гу», 花酒行者; + тихие промоушены откатить) → таблица на подпись владельцу → после подписи проставить статусы.
|
||
- Влить обогащение мн.ч. (D24.4: 元石/凡人/蛊师-класс, все счётные) в ту же v2-итерацию.
|
||
- Дисклоузер-аддендум в exp12-док §4.2 (провенанс v2-сида и делегации — дефект провенанса из ревью).
|
||
|
||
## Deliverable
|
||
|
||
`docs/experiments/13-translator-bakeoff.md`: пре-регистрация → таблица армов (стиль/верность со спанами/эхо-rate/цена за главу) → рекомендация переводчика для пере-прогона (+ цена/25 глав) → финальный сид v2 со статусами после подписи владельца. Смена дефолта — ратификация оркестратора. Ничего не коммитить.
|
||
|
||
## Дисциплина
|
||
|
||
Слепота свята; пре-рег заморожен после коммита; аномалии провайдеров → вендор-дока; `.env` не читать; тексты книги в git-доки не тащить; 18+ регистров в этом срезе нет (ранние главы SFW) — канал-B ToS-вопросы не поднимаются, но отметь в отчёте, что перенос победителя на 18+ регистры требует отдельной пробы (D22/exp10-11).
|