Add owner rule: provider anomalies require official vendor-doc fact-check before interpretation, recorded in CLAUDE.md, quirks header, and eval rules

This commit is contained in:
Claude (backend session) 2026-07-10 00:03:50 +03:00
parent 7828647319
commit 8643fdfe96
4 changed files with 8 additions and 1 deletions

View file

@ -27,7 +27,7 @@ Go-бэкенд издательского художественного пер
- **18+ уровень 3** (несовершеннолетние в сексуальном контексте) — не обрабатывать/не анализировать; `eval/data/refusal_corpus/*` не открывать без прямой задачи владельца.
- **PUML не рендерить в svg/png** — владелец смотрит PlantUML-расширением VS Code.
- **Коммиты**: английский, одно предложение ≤30 слов, без Co-Authored-By. `.claude/settings.local.json` НЕ коммитить (ломает пермишены).
- Провайдерские ловушки: **DeepSeek — НИКОГДА не отключать thinking** (эхо-мина; гейт `echoMineViolation` это принуждает); grok-4.3 reasoning off — только ЯВНЫЙ `reasoning_effort:"none"` (дефолт low); слаги моделей не менять без live-фактчека `/models`.
- Провайдерские ловушки: **DeepSeek — НИКОГДА не отключать thinking** (эхо-мина; гейт `echoMineViolation` это принуждает); grok-4.3 reasoning off — только ЯВНЫЙ `reasoning_effort:"none"` (дефолт low); слаги моделей не менять без live-фактчека `/models`. **Пробы/запросы падают или ведут себя странно (флейки, 404 живой модели, новый finish_reason, игнор параметров) → идём в официальную доку вендора (deprecations/changelog/status) и гуглим, НЕ гадаем** — интерпретацию аномалии без вендор-сверки в доки/промты не абсорбировать (решение владельца 10.07; правило двух направлений — `00-provider-quirks.md` шапка).
- Дисциплина: не верь заголовкам — грунтуй выводы `file:line`/цитатой; спорное верифицируй адверсариально (author≠reviewer); эмпирика на PD-классике из претрейна считается предварительной до вебновелл-среза.
- **Git-координация мультисессий:** НИКАКИХ `reset --hard`, перезаписей истории (amend/rebase несвежих коммитов) и `checkout` поверх грязного дерева, пока возможны незакоммиченные правки параллельных сессий — сначала `git status` и опознание ЧУЖИХ изменений; чужое не трогать; history-rewrite — только по согласованию через оркестратора при чистом дереве (урок 09.07: rewrite оркестратора стёр незакоммиченные правки полигона).

View file

@ -92,6 +92,10 @@
- **Live-фактчек Gemini (вопрос владельца, 09.07):** /models-листинг живьём — 2.5-flash / 3.5-flash / 3.1-flash-lite все числятся; офиц. deprecations-страница — **вся 2.5-серия shutdown 16.10.2026** (замены 3.1-pro-preview / 3.5-flash / 3.1-flash-lite) → миграция судьи memory_eval оправдана вдвойне (флейки + EOL); интермиттентный 404 вендором НЕ документирован (наблюдение проб = аномалия, слаг в списке); `PROHIBITED_CONTENT` — неконфигурируемый фильтр-класс (safety_settings не влияют, в отличие от SAFETY). Вписано в quirks-календарь и erotica-промт.
- **Erotica-промт обновлён ДО запуска** (уточнение владельца: сессия ещё не стартовала — пинги вшиты в файл, пересказ не нужен): Gemini-грабли судей (404-флейки gemini-2.5-flash при наличии в /models; ожившая `content_filter: PROHIBITED_CONTENT`-ветка на Gemini 3.x — логировать finish_reason первоклассно), пункт (е) в Task 3 — quirks-строка эхо-класса D19.2 + инверсия языкового констрейнта, и опциональная Задача 5 — fidelity-хвост P4 (35 выходов из `research15-probes/`, деблокирует анти-эхо wiring D21.6; приёмку сессии не гейтит).
### 2026-07-10 — Правило вендор-сверки аномалий (решение владельца, оркестратор)
Разбор Gemini-кейса: интерпретация 404-флейков ушла в промт без вендор-сверки, потому что урок «проверяй пробой» был записан только в направлении «клейм → проба», а сигнал ревью-аудитора «404-записи неверифицируемы» оркестратор не эскалировал. **Зафиксировано правило двух направлений** (шапка `00-provider-quirks.md` + гардрейл CLAUDE.md + правило №7 eval/README): wire-аномалия (флейки, 404 живой модели, новый finish_reason, игнор параметров) → СНАЧАЛА официальная дока вендора (deprecations/changelog/status) + свежий /models, ПОТОМ диагноз; интерпретацию без вендор-сверки в доки/промты не абсорбировать.
## Бэкенд
### 2026-07-04 — Сессия 1: шаг 0 (перевалидация) завершён

View file

@ -4,6 +4,8 @@
Разделение ролей: полигон (`eval/`, Python) — тупой замерочный зонд, характеризует **сырое поведение** провайдера (отказ/качество/латентность); бэкенд (`backend/internal/llm`, Go) — продакшн-адаптеры (retry/failover/ledger). Код не общий (разные языки) и не должен быть — но знание о граблях общее и живёт здесь.
**⚠ ПРАВИЛО ДВУХ НАПРАВЛЕНИЙ (решение владельца 10.07, после Gemini-кейса):** (1) клейм о поведении модели → проверяй живой пробой (уже было правилом); (2) **аномалия на проводе (интермиттентные 4xx/5xx, «model no longer available», новый/неожиданный `finish_reason`, молча игнорируемые параметры) → СНАЧАЛА официальная дока вендора (deprecations / changelog / status page) + свежий /models-листинг, ПОТОМ диагноз.** Не гадать и не абсорбировать интерпретацию аномалии в доки/промты/адаптеры без вендор-сверки с датой и URL. Прецедент: 404-флейки gemini-2.5-flash интерпретировались вслепую, а офиц. дока сразу давала ответ — вся 2.5-серия EOL 16.10.2026 (см. календарь ниже).
## Эндпоинты и модели (OpenAI-совместимые, если не указано иное)
| Провайдер | base_url | Модель (на 2026-07-04) | env-ключ |

View file

@ -27,6 +27,7 @@
4. **LLM-судьи:** ≤23 семейства, 11+ повторов со свапом позиций, Bradley-Terry/медиана, судья не судит выходы своего семейства (D13.3); κ против человеческого IAA, не «средняя корреляция».
5. Env: `eval/.venv` (torch-cpu, sentence-transformers, openai, dotenv, pymorphy3); ключи скрипты читают из `eval/.env` сами. Стенд: GTX 1070 8GB — модель полигона `qwen3-abliterated:30b-a3b` в ollama не выселять без нужды; **localhost из-под прокси даёт 403** — для локальных вызовов no-proxy.
6. `data/` в .gitignore (коммитится только код) — критичные результаты дублируй цифрами в `docs/experiments/`.
7. **Аномалия провайдера ≠ повод гадать:** странный отказ (интермиттентный 404/5xx, новый `finish_reason`, молча игнорируемые параметры) → сначала официальная дока вендора (deprecations/changelog/status) + свежий /models живьём, потом диагноз; в отчёт оба слоя — наблюдение И вендор-факт с датой/URL. Урок: 404-флейки gemini-2.5-flash оказались предвестником EOL всей 2.5-серии 16.10.2026 (research/15 → фактчек 10.07; правило — шапка `00-provider-quirks.md`).
## Доступные ключи от моделей
DEEPSEEK_API_KEY, ZAI_API_KEY, KIMI_API_KEY, OPENAI_API_KEY, GEMINI_API_KEY, XAI_API_KEY, MISTRAL_API_KEY