textmachine/docs/research/12-consumer-feedback.md
Claude (backend session) 9bb00d49f2 Initial commit: documentation, eval polygon, backend step 0 verdict
TextMachine project repository (AI translation of literary books).
Includes: v2 architecture decisions, MVP plan, research 01-12,
polygon experiments 01-03, backend-session revalidation verdict
(03-implementation-notes.md).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-04 06:50:59 +03:00

41 KiB
Raw Permalink Blame History

Отзывы потребителей AI-переводов: систематический сбор по продуктам и площадкам

Дата: 2026-07-04. Метод: прямой парсинг old.reddit.com (обход блокировки краулеров через curl+browser-UA), NovelUpdates Forum (XenForo), комментариев DTF (публичный API), Хабра (API), Trustpilot/обзоров (через поисковые сводки). Все цитаты переведены на русский, оригинал в скобках. Ограничения: Discord WTR-LAB, ВК и закрытые Telegram-чаты недоступны краулингу — их картина восстановлена по перекрёстным упоминаниям; forum.ranobes.com за DDoS-Guard; форум Webnovel (forum.webnovel.com) мёртв (502).

TL;DR

  1. Жалоба №1 во всех языках и на всех площадках — нестабильность имён/терминов/рода на дистанции. Русский читатель DeepL: «постоянно меняются имена: Император птиц → Птица Император → Воробьиный Император → Император Воробей» — четыре варианта одного персонажа в одной сцене. Английский читатель WTR-LAB: «имена меняются время от времени, а ранги даже известных новелл часто неверны — и add-term не всегда срабатывает» — т.е. даже плоский глоссарий лидера ниши не решает проблему.
  2. Гендерные перескоки — уже мем: «это явно жанр гендер-бендер — персонажи меняют пол каждые несколько абзацев» (r/OtomeIsekai). Народный костыль: «заведи глоссарий женских персонажей и скажи ИИ считать всех остальных мужчинами» — фактически ТЗ на нашу графу пола в series bible.
  3. Вторая по частоте претензия — «мёртвый» текст: «перевод — это голос в твоей голове, а тут он как TikTok-озвучка ИИ» (о SSS-Class Suicide Hunter); «все персонажи говорят одинаково — машина сглаживает различия между голосами» (китайский автор о ChatGPT-переводе).
  4. LLM-специфичный режим отказа, которого не было у старого MTL: дописывание отсебятины. Эксперимент r/ReverendInsanity: ИИ «постоянно добавлял предложения-филлеры и переводил прилагательные неверно в половине случаев… добавляет и удаляет куски случайно, сочиняя собственную историю». Старый MTL врал словами, LLM врёт правдоподобно — читатель не видит подмены.
  5. Официальные AI-переводы вызывают ярость не качеством, а ценой: Novelous (Shogakukan) встречен «звучит как раскалённый мусор» (81 апвот); на Webnovel зафиксирован паттерн «проклятие 300-й главы» — качество падает именно в платной зоне. Продавать сырой MTL — репутационное самоубийство; продавать инструмент — нет.
  6. Хвалят за три вещи: доступ, скорость, глоссарные фичи. «Разница между старым MTL и нынешним ИИ — как между небом и землёй»; «ИИ-перевод прошёл путь от "у меня кружится голова" до 95% идеала. Термины и пол — неточны, но термины чинятся глоссарием». Границы похвалы точно очерчивают наше пространство дифференциации: последние 5% (голос, подтекст, эмоция) не решает никто.
  7. Ру-сегмент повторяет en-сцену с лагом: на Rulate «в платных главах можно наткнуться на машинный перевод» — топ-жалоба отзывов; MLate (машинный филиал Rulate) заслужил «Жуткий перевод, одни Тюлени вместо Печатей чего стоят» — печать (seal) переведена как животное. DIY-энтузиаст с Хабра сформулировал боль книжной длины: «больше 50100 страниц — голова лопнет от постоянных переключений имён, родов, полов».

1. Каталог режимов отказа (по отзывам читателей, с примерами)

Формат: пример → почему падают модели → чем детектировать → источник.

F1. Дрейф имени персонажа внутри книги и даже сцены. Пример (ru, DeepL, «Super God Pet Shop»): один персонаж в одном фрагменте — «Император птиц», «Птица Император», «Воробьиный Император», «Император Воробей» («я через него китайщину читаю… постоянно меняются имена») (DTF, комментарии). En-аналог: «я замечал, как MTL непереведённых новелл меняет имена или их написание» ("changing names or changing spellings") (r/LightNovels). Почему: составные китайские имена/титулы переводимы пословно, модель каждый раз «пересобирает» вариант; контекстное окно не хранит решения прошлых глав. Детект: детерминированный гейт — NER по выходу + точное сравнение с глоссарием (любая новая форма известной сущности = блок). Это самый дешёвый и самый ценный гейт продукта.

F2. Гендерные перескоки (he/she ← 他/她, pro-drop ja/ko). Пример: «это явно роман про гендер-бендер — персонажи меняют пол каждые несколько абзацев» ("It clearly is a gender bender novel where the characters change their gender every phew paragraphs") (r/OtomeIsekai); «даже с живыми переводчиками… они ПОСТОЯННО путают род» ("they would CONSTANTLY mess up the genders of things") (r/noveltranslations); Google Translate «часто путает местоимение персонажа при переводе с китайского» (r/MartialMemes). Народный костыль — прямое ТЗ: «сделай глоссарий женских персонажей и скажи ИИ считать всех мужчинами, если их нет в списке» (там же, 1tuf06r). Почему: 他/她 омофоничны, ja/ko опускают подлежащее; пол известен из глав, вышедших за пределами окна. Детект: поле глоссария (пол персонажа) + детерминированная сверка местоимений/родовых окончаний (для ru — глаголы прош. времени!) при атрибутированной реплике/фокале; остаток — судья.

F3. Коллапс терминосистемы: разные ранги → одно слово. Пример-мем: скриншот выбора «Immortal, immortal or immortal» — три разных ступени культивации переведены одинаково; совет бывалых: «просто читай дальше, если это не важно для сюжета» (r/noveltranslations). У WTR-LAB: «ранги даже известных новелл вроде Soul Land часто неверны… функция add-term не всегда работает даже внутри одной новеллы» (r/noveltranslations). Почему: жанровая терминосистема — упорядоченное множество; модель переводит элементы порознь. Детект: детерминированно — глоссарий с типом «ranked set» и проверка инъективности (два разных исходных терма не могут дать один целевой) + проверка порядка при перечислениях.

F4. Полисемия без доменного контекста. Пример (ru, MLate): «Жуткий перевод, одни Тюлени вместо Печатей чего стоят» — 印/seal как животное (Neolurk о Rulate/MLate). En-пример: критичное для сюжета различие warrior/soldier в Attack on Titan «легко теряется» (r/LightNovels). Почему: у релейного перевода (zh→en→ru) омонимия целевого языка-посредника умножает ошибку; дешёвые модели берут частотное значение. Детект: поле глоссария (доменные значения) + запрет релейности; для незакрытых случаев — билингвальный судья.

F5. Галлюцинации: дописывание и «пересочинение». Пример (эксперимент сравнения с оригиналом, r/ReverendInsanity): ИИ «начинает нормально, но потом добавляет и удаляет куски случайным образом, сочиняя собственную историю… кучу предложений-филлеров, а прилагательные переводил неверно в половине случаев» (пересказ участника). Почему: LLM — генератор правдоподобного текста; при непонимании фрагмента «заглаживает» его выдумкой, и, в отличие от старого MTL, ошибка нечитаема снаружи: «MTL хотя бы даёт верный смысл предложения… а ИИ вплетает всё вместе так, что ошибку не видно». Детект: детерминированный гейт покрытия (выравнивание предложений, отношение длин, число именованных сущностей source vs target) + билингвальный судья на «серых» отрезках.

F6. Пропуски и непереведённые осколки, смесь языков. Пример (Trustpilot, booktranslator.app): «результат в основном бесполезен — пропущенный текст, ошибки, повторы и смесь английского со шведским» (Trustpilot); booktranslator.ai: покупатель premium получил «файл целиком на французском» — перевод вообще не выполнен, поддержка молчит (Trustpilot). WTR-LAB рекламирует себя ровно от обратного: «меньше непереведённых иероглифов». Детект: полностью детерминированный — regex по CJK-диапазонам в выходе, языковая идентификация по абзацам, diff структуры глав. Дешевейший гейт с максимальным репутационным эффектом.

F7. Стирание голосов персонажей («voiceprint» машины). Пример (китайский автор, разбор ChatGPT-версии своей сцены): «прочтите обе версии рядом — все персонажи говорят одинаково. Сунь Цзюэ, Чжао Хэн говорят полными, вежливыми, грамматически чистыми предложениями. Машина сглаживает различия между голосами» (r/ProgressionFantasy). Почему: RLHF-нормализация к «вежливому среднему»; речевые маски (yakuwarigo, грубость, просторечие) статистически сглаживаются. Детект: речевые профили в series bible + монолингвальный судья («отличимы ли реплики A и B без атрибуции?»); частично метрики (доля просторечий/длина реплик по персонажу).

F8. Потеря подтекста и 留白 («оставленной пустоты»). Пример (тот же автор): «"чайник совершенно остывшего чая" — это отчёт о температуре; "чайник чая, который никто не станет допивать" — это совсем другое высказывание. В этом зазоре и нужен человек»; «留白 было в оригинале — перевод его убил, заполнив все пробелы» (r/ProgressionFantasy). Почему: модель оптимизирует эксплицитность; недосказанность выглядит как «недоперевод». Детект: только судья высокого уровня/человек на ключевых сценах (маркировка кульминаций аналитиком книги) — дешёвых гейтов нет.

F9. «Мёртвая», эмоционально плоская проза. Пример (о SSS-Class Suicide Hunter): «история так поэтична, так трагически прекрасна, но перевод… Он мёртвый, начисто лишённый эмоций. Проза — это голос в твоей голове, а тут этот голос был как ИИ-озвучка из TikTok» (r/noveltranslations); о Webnovel: «те же повторяющиеся описания… роботизированная манера описывать бои» (r/Webnovel). Детект: анти-translationese метрики (MTLD, дисперсия длин — см. 07) как гейт + монолингвальный судья; финально — человек.

F10. Рубленый синтаксис при переводе с корейского/японского. Пример: тред «The Choppiness of Korean Prose»; диагноз сообщества: «чтобы корейское предложение обрело смысл в английском, его дробят на кусочки — а этап, где хороший редактор сшивает их обратно в длинную прозу, пропускается» (r/noveltranslations). Инсайдер-редактор Wuxiaworld там же: «читатели понятия не имеют, насколько плохи некоторые переводы, пока редактор не придёт всё спасать. WW наймёт почти кого угодно… я ловил переводчиков на использовании машинного перевода». Детект: детерминированно — распределение длин предложений/абзацев vs оригинал и vs корпус живого ru; лечится отдельным пассом «сшивания».

F11. Ономатопея (особенно ko/ja) как мусор в тексте. Пример: «в корейских новеллах они везде… все эти hyeupp, heukk и eek — совершенно нечитаемо» (r/noveltranslations). Контрпример вкуса: фанаты Scum Villain предпочли «papapa» официальному «doing» (r/ProgressionFantasy) — т.е. это политика проекта, а не безусловная ошибка. Детект: детерминированный словарь транслитерированных ономатопей + конфиг (передавать глаголом / сохранять / сноска).

F12. Потеря контекста на длине книги (главный структурный дефект). Пример (ru, автор DIY-переводчика fb2): «то, что генерят подобные плагины, нечитабельно в части книги — больше 50100 страниц. Голова лопнет от постоянных переключений имён, родов, полов» (Хабр, комментарии); en: «ИИ теряет консистентность, если скормить ему до 100k слов» (r/LightNovels). Признание лидера: Webnovel/Yuewen — ИИ «забывает, как переводил имена и сюжетные точки несколько глав назад» (см. 02-competitors). Детект: это не пункт чек-листа, а архитектурное требование — персистентный банк памяти; контролируется регрессионными гейтами F1F3 на каждой главе.

F13. Деградация качества внутри платной зоны («проклятие 300-й главы»). Пример: тред «The "Chapter 300+" Curse: Quality drops and AI inconsistency on Webnovel» — читатели фиксируют, что после завлекающих отредактированных первых глав качество падает именно там, где начинается оплата; «ни одна новая новелла теперь недостаточно хороша — читаемы в основном старые, без ИИ» (r/Webnovel). Ru-зеркало: «единственный минус — в платных главах можно наткнуться на машинный перевод» (5★!), «сбор мошенников, продающих перевод гугла» (1★) (отзывы о rulate.ru). Почему: экономика конвейера —人 редактирует витрину, хвост гонит машина. Детект: равномерные пайплайн-гейты по всем главам + публичные метрики качества как фича продукта (доверие = дифференциатор).

F14. Разрушение форматирования и структуры книги. Пример: «Ужасное качество перевода и вёрстки. Никому не советую» (DTF о DeepL-переводе книг); Novelous подал диалоги «в формате чат-переписки» — «Кто вообще этого хотел?!» (r/LightNovels). Детект: детерминированный diff структуры (главы/абзацы/курсивы/сноски) до и после.


2. Отзывы по конкретным продуктам

WTR-LAB (лидер AI-MTL-чтения). Похвала: «Wtr-Lab — безоговорочно лучший MTL-сайт: никакой возни, крепкие переводы»; «AI-перевод WTR-LAB (Gemini-2.0-Flash) теперь почти идеален. Ошеломляюще хорошо!»; «разница между обычным MTL и нынешним ИИ — как между небом и землёй… это можно читать без ощущения, что гниёт мозг» (r/MartialMemes, enshittification-тред). Жалобы: имена/ранги плавают, add-term ненадёжен (см. F1, F3); «никогда не нравился их выход — качество сильно ниже, чем я получаю своим скриптом с платным API»; реклама/попапы, платные «тикеты» на разблокировку глав, наплыв фанфик-слопа, ломающиеся выгрузки EPUB. Вывод: сообщество уже приучено к паре «LLM+глоссарий», но никакой памяти выше плоских термов у WTR нет — и юзеры это чувствуют.

LNMTL / MTLNovel (старый словарный MTL). «У меня вообще нет проблем на LNMTL» и «вполне сойдёт, если нужен быстрый фикс» — но только для натренированных: культура «MTL-грамотности» — устойчивый мем («Это уже совершенно нормальное предложение, юниор!») (NU Forum, r/noveltranslations). Новое поколение читателей прямо называет старый MTL непригодным по сравнению с LLM.

OpenNovel (расширение/приложение). Сводка публичных ревью: хвалят «высокое качество и читабельность, куда чище типичного MTL», возможность «редактировать местоимения» (!) и главы; «самый частый минус — периодическая путаница местоимений/рода и другие ошибки, требующие ручных правок» (chrome-stats: отзывы). Т.е. даже у нишевого лидера гендер — признанная нерешённая проблема, вынесенная в UI.

booktranslator.ai / translateabook.com / booktranslator.app. Trustpilot фиксирует провалы базовой надёжности: оплаченный перевод «пришёл целиком на исходном французском», «основатель не отвечает на письма», «скам»; у booktranslator.app — «пропуски, ошибки, повторы, смесь английского со шведским» (Trustpilot: booktranslator.ai, translateabook.com, booktranslator.app). Планка доверия в B2C-нише «переведи мою книгу» лежит на полу — выигрывается детерминированными гейтами (F6, F14) и вменяемой поддержкой.

Novelous (официальный AI-перевод Shogakukan, янв. 2025). Реакция ядра аудитории — отторжение платного AI: «Звучит как раскалённый мусор. Не советую никому даже трогать» (81 балл); «мы платим деньги за AI-перевод, и это будет считаться "официальным релизом"?? Скажите, что это пранк»; по вышедшему продукту: «я видел их собственные рекламные скриншоты — если это их лучшее, это полный мусор» (r/LightNovels: анонс, фидбэк). Меньшинство прагматично: «в долгую это, вероятно, лучше, чем ждать фан-перевода» — и предлагает «дать честный шанс и собрать мемные ляпы». Также подтверждено (переводчик-фрилансер в треде): за «AI-переводом» Novelous стоит Mantra с человеческой посредактурой по нижним ставкам — и всё равно «странные куски остаются в тексте».

Webnovel (Yuewen, официальные AI-переводы). Читатели: «AI-штампы уже невозможно игнорировать… половина текстов выглядит так, будто сырой выход даже не чистили»; «всё новое — минное поле… платформе нужен способ скрывать машинно-переведённое» (r/Webnovel); плюс «проклятие 300-й главы» (F13). Инсайд от редактора Wuxiaworld о конвейере в целом: «я ловил переводчиков на использовании машинного перевода; переводчикам платят вчетверо больше редакторов, которым приходится всё переписывать» (r/noveltranslations).

Rulate / MLate / erolate (ru). Отзывы читателей: «различные переводы, от гугл до почти профессиональных»; «Много машинного перевода»; «В 80% случаях отвратнейший перевод»; «в платных главах можно наткнуться на машинный перевод» (yareviews). Про MLate: «большая часть отзывов резко критические… "Жуткий перевод, одни Тюлени вместо Печатей чего стоят"» (Neolurk). При этом сама модель «520 руб/глава» живёт — платят за ранний доступ, а не за качество.

DeepL/ChatGPT «в лоб» (DIY-сцена, ru и en). DTF: «лучше гугла, но… постоянно меняются имена» (см. F1); «перевод на уровне живого переводчика — конечно, преувеличение: он иногда явно не понимает контекст». Хабр (DIY fb2-переводчик): плагины нечитабельны на книжной длине (F12); автор пришёл к резюме персонажей и словарям — сообщество самостоятельно изобретает series bible (Хабр). NU Forum о ChatGPT-4: «жутковато точно, почти без грамматических ошибок в отличие от MTL, понимает контекстные фразы, подхватывает имена и правильные местоимения» (NU Forum) — важно: восторг относится к одной главе; все жалобы выше — к длине книги.


3. Таксономия жалоб и частотность по источникам

Частотность: ● = доминирующая тема источника, ◐ = регулярная, ○ = единичная.

Категория NU Forum r/novel-translations r/LightNovels (Novelous) r/Webnovel r/OtomeIsekai WTR-LAB (треды) Trustpilot (book-сервисы) Rulate/MLate (ru) DTF/Хабр (ru)
Консистентность имён/терминов
Род/местоимения
Идиомы/полисемия/реалии
Стиль: монотонность, «мёртвый» текст, потеря голосов
Пропуски/дописывания (галлюцинации)
Непереведённые осколки/смесь языков
Форматирование/вёрстка
Деньги за сырой MTL (этика/цены)
Цензура ◐ (коины ради Visa/MC) ◐ (закон, 18+)

Примечание: «деньги за сырой MTL» — крупнейшая эмоциональная категория: злость вызывают не ошибки сами по себе, а несоответствие цены и усилий («хотя бы прогнали через нормальный MTL, раз берёте деньги», «20 глав за $20 — а весь 4-томник на Google Books стоил $10»).

4. За что хвалят (границы дифференциации)

  1. Доступ: «лучше, чем ничего, и в разы лучше, чем ждать фан-перевода или учить японский» — базовая ценность, её дают все, дифференцироваться тут нельзя.
  2. Скачок качества LLM vs старый MTL: «как небо и земля», «от "кружится голова" до 95% идеала» — планка «читаемо» уже взята конкурентами; наш продукт обязан целиться в оставшиеся 5%, и читатели сами их называют: «термины и пол всё ещё неточны», голос, эмоция, подтекст.
  3. Глоссарные фичи и контроль читателя: главная любимая фича WTR-LAB/OpenNovel — «могу вписать свой вариант термина», «могу править местоимения». Пользователь хочет рычаги, а не магию — аргумент за IDE и прозрачные политики проекта.
  4. Провокационный потолок доверия к людям: «многие нынешние ИИ переводят лучше большинства людей, изображающих перевод китайских новелл» (r/noveltranslations) — сравнивают не с Норой Галь, а с конвейерным фан-переводом; окно для «AI лучше среднего фан-перевода» уже открыто.
  5. Скорость/консистентность как маркетинг: автопереводчик из NU-треда продавал именно «никогда не встретите вещь, переведённую 4 способами в одной книге» — сообщество считает это главным продающим обещанием (NU Forum).

Выводы для TextMachine

  1. Иерархия боли подтверждена независимо на en и ru: (1) имена/термины/род на дистанции, (2) мёртвый стиль и одинаковые голоса, (3) галлюцинации LLM, (4) осколки/вёрстка. Первое и четвёртое закрываются детерминированными гейтами (дёшево, надёжно, демонстрируемо), второе — пассами стилиста и судьи, третье — гейтом покрытия + билингвальным судьёй. Это прямое ТЗ на приоритет бэкенд-механизмов.
  2. Продавать сырой поток нельзя — кейс Novelous: платный AI-перевод без видимого качества вызывает бойкот и мем-волну; наши публичные пилоты должны выходить только после полного пайплайна, а метрики качества (0 непереведённых осколков, 0 расхождений с глоссарием, стабильный род) стоит показывать читателю как «паспорт главы» — доверие к платной зоне разрушено конкурентами (F13), и это наш шанс.
  3. Пользовательские рычаги — фича №1 по любви аудитории: редактируемый глоссарий с полами, ranked-набором рангов и per-term политикой (переводить/пиньинь/ономатопея) — не «настройки», а ядро UX; читатели уже сами изобрели «глоссарий женских персонажей» и «резюме персонажей».
  4. LLM-галлюцинации — новый класс риска, которого рынок ещё не осознал как категорию: старый MTL врал заметно, LLM врёт гладко. Гейт покрытия (выравнивание предложений/сущностей) почти не встречается у конкурентов и легко продаётся как «anti-hallucination guarantee».
  5. Ру-ниша воспроизводит en-паттерны с лагом 23 года (Rulate ≈ ранний NU, MLate ≈ ранний LNMTL): можно уверенно переносить выводы en-сцены на ru-продукт, опережая локальный спрос.

Источники