[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"post-retention-vanity-vs-kachestvennyy-feedback":3},{"id":4,"title":5,"slug":6,"description":7,"excerpt":7,"content":8,"body":8,"cover_path":9,"cover_url":10,"cover":10,"inline_path":11,"tags":12,"published_at":13,"published":14,"author_id":15,"author":16,"created_at":17,"updated_at":17},49,"Метрики для галочки против качественной обратной связи: где реальная отдача","retention-vanity-vs-kachestvennyy-feedback","Разбор: какие метрики приложения выглядят важными, но не ведут к решениям, и как качественные отчёты дают действия. Сценарий с двумя отчётами перед инвестором, таблицы соответствия метрик и вопросов, расчёт отдачи.","## Сценарий: два отчёта об одном и том же продукте\r\n\r\nСовет директоров небольшого стартапа. На экране два документа об одном приложении за один и тот же месяц.\r\n\r\n**Документ А, подготовленный маркетингом:**\r\n\r\n- Установки: 18 400 (+42 % к прошлому месяцу)\r\n- Всего зарегистрированных пользователей: 61 200\r\n- Средний рейтинг в сторе: 4,3\r\n- MAU: 9 100\r\n- Просмотров страницы в сторе: 96 000\r\n- Подписчиков в соцсетях: 11 300\r\n\r\n**Документ Б, подготовленный продактом:**\r\n\r\n- Из 45 новых пользователей, прошедших сценарий покупки, 19 остановились на экране выбора способа оплаты, потому что не нашли СБП, который ожидали увидеть первым\r\n- 14 человек написали, что не поняли, чем платный тариф отличается от бесплатного, при этом 11 из них прочитали экран тарифов до конца\r\n- Формулировка «Подключить расширенный доступ» была понята как «оформить пробный период» у 8 человек из 45\r\n- Конверсия из просмотра тарифов в оплату: 4,1 %, при этом 71 % отвала происходит на одном экране\r\n- После правки текста тарифов в тестовой волне конверсия на том же экране выросла до 9,8 %\r\n\r\nДокумент А выглядит солиднее. В нём большие числа и проценты роста. Документ Б выглядит как жалобы.\r\n\r\nНо задайте вопрос: **какой из двух документов говорит, что делать в понедельник?**\r\n\r\nИз документа А не следует ни одного действия. Из документа Б следуют три правки, одна из которых уже проверена и удваивает конверсию.\r\n\r\nЭта статья — о том, как отличать метрики для галочки от метрик для решений, и почему качественная обратная связь даёт отдачу там, где дашборд только фиксирует состояние.\r\n\r\n## Определение: что делает метрику «для галочки»\r\n\r\nМетрика для галочки (vanity metric) — не та, которая большая или красивая. Это метрика, у которой отсутствует связь с действием.\r\n\r\nПроверка в три вопроса. Если метрика изменилась в худшую сторону:\r\n\r\n1. **Знаю ли я, что именно изменить?** Если нет — метрика не действенная.\r\n2. **Могу ли я проверить, помогла ли правка?** Если метрика слишком инерционна или зашумлена — она не годится для цикла обратной связи.\r\n3. **Изменится ли моё решение в зависимости от её значения?** Если я всё равно сделаю то же самое — метрика декоративная.\r\n\r\nПрогоним по этому тесту «общее число зарегистрированных пользователей — 61 200». Упало? Не может упасть, это накопительный счётчик. Выросло? Хорошо, но непонятно, за счёт чего. Решение меняется? Нет. Метрика декоративная — она полезна только как иллюстрация масштаба.\r\n\r\nТеперь «конверсия из просмотра тарифов в оплату — 4,1 %». Упала? Смотрю, на каком экране растёт отвал. Правку проверяю на следующей волне. Решение зависит напрямую. Метрика действенная.\r\n\r\n| Метрика | Действенная? | Почему |\r\n|---|---|---|\r\n| Всего зарегистрировано | Нет | Накопительный счётчик, не может упасть |\r\n| Установки за месяц | Частично | Говорит об объёме, не о продукте |\r\n| Средний рейтинг в сторе | Слабо | Инерционен, агрегирует месяцы, не указывает причину |\r\n| MAU | Частично | Полезен как масштаб, не как диагностика |\r\n| Просмотры страницы в сторе | Частично | Полезен в связке с конверсией в установку |\r\n| Подписчики в соцсетях | Нет | Не связано с продуктом |\r\n| Retention D1 \u002F D7 по когортам | Да | Реагирует на правки, сравнима между когортами |\r\n| Конверсия в первое ключевое действие | Да | Прямо связана с онбордингом |\r\n| Отвал на конкретном экране | Да | Указывает на место работы |\r\n| Доля сессий с ошибкой | Да | Технический приоритет |\r\n| Частотность конкретной проблемы в отчётах | Да | Указывает и место, и причину |\r\n\r\n![Как отличить метрику для галочки от метрики, ведущей к действию](inline-mid.jpg)\r\n\r\n## Почему даже хорошие количественные метрики недостаточны\r\n\r\nRetention D1 — хорошая метрика. Она действенная, она сравнима, она реагирует на изменения. Но у неё есть фундаментальный предел: **она говорит, что стало, но никогда не говорит, почему**.\r\n\r\nПредставим: retention D1 упал с 31 % до 24 % после релиза. Метрика сработала как сигнализация — вы узнали о проблеме. Что дальше?\r\n\r\nДальше начинается перебор гипотез: новая версия онбординга, изменение в запросе разрешений, замедление загрузки, баг на определённых устройствах, сезонность, смена источника трафика. Каждую нужно проверить, и на это уходят недели.\r\n\r\nКачественная обратная связь работает иначе: она не сигнализирует, а **объясняет**. 20 отчётов после релиза дадут вам не «retention упал», а «11 из 20 человек написали, что после обновления не нашли кнопку добавления — она переехала в другое меню».\r\n\r\n:::compare\r\nКоличественные метрики|Качественная обратная связь\r\nОтвечают: что и насколько|Отвечают: почему и как именно\r\nРаботают как сигнализация|Работают как диагностика\r\nНужна выборка в тысячах|Достаточно 20–50 человек\r\nИзмеряют результат|Объясняют механизм\r\nНе различают «не смог» и «не захотел»|Различают явно\r\nДают приоритет по масштабу|Дают приоритет по причине\r\nИнерционны: неделя-две на сигнал|Быстры: 2–3 дня на волну\r\nДёшевы при наличии трафика|Стоят денег, но не требуют трафика\r\n:::\r\n\r\nПоследняя строка объясняет, почему у молодых продуктов качественный подход обязателен: **количественные метрики требуют объёма, которого у вас ещё нет**. При 200 установках в месяц retention D7 — это шум. Отвечать на вопросы о продукте приходится другим способом.\r\n\r\n## Матрица: какой метрике какой вопрос задавать\r\n\r\nОшибка не в том, что команды смотрят на количественные метрики. Ошибка в том, что они задают им вопросы, на которые те не могут ответить.\r\n\r\n| Вопрос | Правильный инструмент | Неправильный инструмент |\r\n|---|---|---|\r\n| Сколько людей затронуто проблемой? | Аналитика, когорты | Отчёты (малая выборка) |\r\n| Почему люди уходят с экрана X? | Отчёты по сценарию | Retention, воронка |\r\n| Какой вариант экрана конвертирует лучше? | A\u002FB-тест на объёме | Отчёты (нет статистики) |\r\n| Понятна ли ценность продукта? | Отчёты, шаг «первое впечатление» | Метрики (не измеряют понимание) |\r\n| Работает ли оплата на всех устройствах? | Отчёты с матрицей устройств | Аналитика (мало данных по редким моделям) |\r\n| Сходится ли экономика привлечения? | Аналитика + рекламные данные | Отчёты |\r\n| Стало ли лучше после правки? | Отчёты (быстро) + метрики (подтверждение) | Только одно из двух |\r\n| Как люди называют нашу функцию? | Отчёты, цитаты | Метрики |\r\n| Какие устройства приоритетны? | Аналитика по распределению | Отчёты |\r\n\r\nОбратите внимание: инструменты не конкурируют, а **отвечают на разные классы вопросов**. Правильная связка выглядит так: аналитика показывает, где болит и насколько сильно → отчёты объясняют, почему именно → правка → отчёты подтверждают, что причина устранена → аналитика подтверждает, что это повлияло на масштабе.\r\n\r\n## Отдача от качественной обратной связи: считаем на сценарии\r\n\r\nВернёмся к документу Б. Возьмём одну находку: 19 из 45 остановились на экране оплаты из-за отсутствия ожидаемого способа платежа, и после правки конверсия выросла с 4,1 % до 9,8 %.\r\n\r\n**Стоимость получения находки.** Волна 45 прохождений: 99 ₽ × 45 × 1,15 = 5 123 ₽. Плюс повторная волна на 25 для проверки правки: 2 846 ₽. Итого 7 969 ₽.\r\n\r\n**Эффект.** Допустим, в месяц экран тарифов просматривают 3 000 человек, средний чек подписки 490 ₽.\r\n\r\n- До правки: 3 000 × 4,1 % = 123 оплаты → 60 270 ₽\r\n- После правки: 3 000 × 9,8 % = 294 оплаты → 144 060 ₽\r\n- Прирост: **83 790 ₽ в месяц**\r\n\r\nВложено 7 969 ₽ единоразово, получено 83 790 ₽ ежемесячно. Это не типичный результат каждой волны — иногда находки мелкие. Но принцип устойчив: **правка, найденная в качественном исследовании, действует на весь будущий поток пользователей**.\r\n\r\nТеперь сравним с типичным «улучшением метрики для галочки». Команда потратила те же 8 000 ₽ на продвижение в соцсетях, получила 400 новых подписчиков. Прирост выручки: неизвестен, вероятно близок к нулю. Метрика в документе А стала красивее.\r\n\r\n:::chart type=bar title=\"Прирост выручки на 8 000 ₽ вложений, ₽ в месяц\"\r\nКачественное исследование + правка|83790\r\nРеклама в соцсетях (400 подписчиков)|0\r\nРабота над средним рейтингом без правок|0\r\nДополнительные 70 установок|1400\r\n:::\r\n\r\n## Ловушка средних значений и агрегатов\r\n\r\nОтдельно про рейтинг 4,3 из документа А. Это агрегат за всю историю приложения. Что он скрывает:\r\n\r\n- Распределение: 4,3 может быть «много четвёрок и пятёрок» или «половина пятёрок и четверть единиц». Это принципиально разные ситуации.\r\n- Динамику: свежие отзывы могут быть намного хуже средних, но средний почти не двигается из-за накопленной массы.\r\n- Причины: даже прочитав все отзывы, вы получите эмоции, а не шаги воспроизведения.\r\n\r\nТо же с «MAU 9 100». Внутри могут быть 8 000 человек, открывающих приложение раз в месяц по уведомлению, и 1 100, использующих его ежедневно. Это два разных продукта в одной цифре.\r\n\r\nПрактическое правило: **любой агрегат нужно уметь разложить, иначе он декоративен**.\r\n\r\n| Агрегат | Чем заменить или дополнить |\r\n|---|---|\r\n| Средний рейтинг | Распределение оценок + рейтинг последних 30 дней |\r\n| MAU | DAU\u002FMAU, распределение частоты использования |\r\n| Среднее время сессии | Медиана и перцентили, разбивка по типам сессий |\r\n| Общее число пользователей | Активные по когортам установки |\r\n| Средний чек | Распределение по тарифам, доля первой покупки |\r\n| «Пользователям нравится» | Частотность конкретных формулировок в отчётах |\r\n\r\n## Как собрать рабочий набор метрик: практика\r\n\r\nРабочая система для продукта на ранней стадии — небольшая. Шесть-восемь показателей плюс постоянный поток качественной обратной связи.\r\n\r\n**Блок здоровья продукта (3 метрики).**\r\nCrash-free сессии. Доля сессий с ошибкой API. Время до первого экрана. Всё техническое, всё действенное.\r\n\r\n**Блок входа (2 метрики).**\r\nКонверсия из установки в первое ключевое действие. Retention D1 по когортам. Именно здесь живёт большинство потерь у молодых продуктов.\r\n\r\n**Блок ценности (2 метрики).**\r\nRetention D7 или D30 по когортам. Частота выполнения ключевого действия у вернувшихся. Отвечают на вопрос, нужен ли продукт вообще.\r\n\r\n**Блок денег (1–2 метрики).**\r\nКонверсия в оплату. Доля продлений, если есть подписка.\r\n\r\n**Постоянный качественный контур.**\r\nВолна тестов после каждого значимого изменения входного потока; волна перед каждым релизом; повторная волна тем же чек-листом после правок. Плюс регулярное чтение свежих отзывов и обращений в поддержку — не для рейтинга, а как источник формулировок.\r\n\r\nВсё, что не попало в этот список, — для презентаций, а не для работы. Показывать установки и MAU инвестору нормально: они описывают масштаб. Принимать по ним продуктовые решения — нет.\r\n\r\n:::chart type=bar title=\"Доля времени команды, которую стоит тратить на разные источники данных (ранняя стадия)\"\r\nКачественные отчёты и обратная связь|40\r\nМетрики входа и здоровья продукта|30\r\nМетрики ценности и денег|20\r\nАгрегаты для отчётности|10\r\n:::\r\n\r\n## Типичные разговоры и как их разворачивать\r\n\r\n**«У нас рейтинг 4,3, значит продукт нравится».**\r\nРазворот: посмотрите распределение и последние 30 дней. Затем возьмите 20 отчётов по ключевому сценарию и сравните: то, что люди пишут в стор, и то, что они описывают при прохождении, обычно различается радикально. В стор пишут эмоцию, в отчёте — шаги.\r\n\r\n**«Нам нужно больше установок, тогда метрики выправятся».**\r\nРазворот: если конверсия в ключевое действие 29 %, то удвоение установок удваивает и число людей, которые не дошли. Проблема не в числителе.\r\n\r\n**«Давайте сначала вырастим, потом займёмся качеством».**\r\nРазворот: стоимость исправления растёт с масштабом. Проблема, найденная на 45 тестах, стоит часа работы. Та же проблема при 50 000 пользователей — это хотфикс, работа поддержки и испорченный рейтинг.\r\n\r\n**«Отчёты — это всего 45 человек, не выборка».**\r\nРазворот: верно, для статистики мало. Но задача отчётов — не оценить долю, а найти причину. Причину находят на 8–10 людях; 45 нужны для оценки частотности и покрытия устройств. Долю посчитает аналитика, когда вы уже будете знать, что искать.\r\n\r\n**«Инвестор смотрит на установки».**\r\nРазворот: показывайте и установки, и конверсию в ключевое действие, и список устранённых причин с подтверждением. Второе и третье сильнее: они демонстрируют, что команда умеет находить и устранять проблемы, а не только тратить бюджет.\r\n\r\n:::quiz\r\nRetention D1 упал с 31 % до 24 % после релиза. Что сделать первым шагом?\r\nA) Увеличить рекламный бюджет, чтобы компенсировать падение объёмом\r\nB) Откатить релиз целиком и вернуться к обсуждению\r\nC) Запустить волну из 20–30 честных тестов по сценарию входа на новой версии, чтобы получить причины, затем править и подтверждать повторной волной\r\nD) Ждать две недели: возможно, метрика выровняется сама\r\nПравильный: C\r\nПояснение: retention сработал как сигнализация — он сообщил о проблеме, но не может сообщить причину. Перебор гипотез по аналитике займёт недели. Волна из 20-30 прохождений на новой версии даёт конкретные причины за два-три дня и стоит около 2-3,5 тысяч рублей. Вариант A масштабирует проблему, B выбрасывает вместе с проблемой и полезные изменения, D теряет время и пользователей.\r\n:::\r\n\r\n## FAQ\r\n\r\n**Значит, установки и MAU не нужно измерять вообще?**\r\nНужно — как описание масштаба и для отчётности. Проблема начинается, когда по ним пытаются принимать продуктовые решения или когда их рост считают доказательством качества.\r\n\r\n**Сколько качественной обратной связи достаточно?**\r\nОриентир для ранней стадии: волна 25–45 прохождений после каждого значимого изменения входного потока и перед каждым релизом. Это примерно 3–6 тысяч рублей на волну и два-три дня.\r\n\r\n**Можно ли заменить отчёты чтением отзывов в сторе?**\r\nЧастично. Отзывы бесплатны, но они смещены к крайним эмоциям, приходят с задержкой, редко содержат шаги воспроизведения и почти никогда не описывают путь. Как дополнение — да, как основной источник — нет.\r\n\r\n**Что делать, если качественные находки противоречат метрикам?**\r\nОбычно противоречия нет, есть разный уровень наблюдения. Если метрика говорит «всё хорошо», а отчёты — «люди не понимают ценность», проверьте, не смотрите ли вы на агрегат, который скрывает распределение, и не измеряет ли метрика факт вместо смысла (открытие приложения вместо нахождения своей коллекции).\r\n\r\n**Как убедить команду перестать хвастаться накопительными счётчиками?**\r\nВведите правило: в любом отчёте рядом с числом должна стоять строка «какое решение из этого следует». Пустая строка — метрика уходит из отчёта в приложение.\r\n\r\n**Нужны ли качественные исследования зрелому продукту?**\r\nДа, и даже больше: у зрелого продукта каждое изменение затрагивает больше людей, а цена ошибки выше. Меняется только пропорция — больше A\u002FB-тестов на объёме, но объяснять результаты всё равно нужно качественно.\r\n\r\n## Итоги\r\n\r\n- Метрика для галочки — не та, которая большая, а та, из изменения которой не следует действия. Проверка: знаю ли что менять, могу ли проверить правку, изменится ли решение.\r\n- Даже хорошие количественные метрики отвечают «что и насколько», но никогда «почему». Retention — сигнализация, не диагностика.\r\n- Качественная обратная связь даёт причину за 2–3 дня на выборке 20–50 человек, тогда как перебор гипотез по аналитике занимает недели.\r\n- Правильная связка: аналитика находит место и масштаб → отчёты объясняют причину → правка → отчёты подтверждают → метрики подтверждают на масштабе.\r\n- Любой агрегат нужно уметь разложить, иначе он декоративен: средний рейтинг, MAU и среднее время сессии скрывают распределения.\r\n- Отдача от качественной находки действует на весь будущий поток пользователей, поэтому единоразовые 8 000 ₽ могут давать эффект в десятки тысяч ежемесячно.\r\n\r\n## Заключение\r\n\r\nСовет директоров в том сценарии закончился неожиданно: попросили объединить оба документа, но поставить документ Б первым, а документ А вынести в приложение как «контекст масштаба».\r\n\r\nЭто правильный порядок. Большие числа описывают, где вы находитесь. Качественная обратная связь описывает, куда двигаться. Первое интересно наблюдать, второе можно сделать в понедельник.\r\n","\u002Fstorage\u002Farticles\u002F48-retention-vanity-vs-feedback\u002Fcover.jpg","https:\u002F\u002Fmanica.mrdev.ru\u002Fstorage\u002Farticles\u002F48-retention-vanity-vs-feedback\u002Fcover.jpg","\u002Fstorage\u002Farticles\u002F48-retention-vanity-vs-feedback\u002Finline.jpg",[],"2026-09-17T00:00:00+03:00",true,1,"Admin","2026-09-26T01:56:20+03:00"]