Soft launch против платного UA: когда 20–100 честных тестов сильнее рекламы

Сценарий: 30 000 ₽, сырой релиз и два соблазна

Марина — продакт в команде из трёх человек. Они полтора года делали приложение для учёта тренировок: план на неделю, таймер подходов, история прогресса. Приложение прошло ревью в App Store и Google Play, в сторе появилась страница, скриншоты, описание. У команды осталось 30 000 ₽ маркетингового бюджета и очень много надежды.

Перед Мариной два соблазна.

Первый — включить платную закупку трафика (paid UA). Настроить кампанию, залить креативы, получить, допустим, 700–1500 установок и «посмотреть на цифры». Это выглядит как настоящий маркетинг: дашборд, CPI, графики установок, ощущение движения.

Второй — заплатить за то, чтобы живые люди прошли конкретные сценарии в приложении и написали отчёты: что сделали, где застряли, что было непонятно, какой баг воспроизвели. Это выглядит скучно. Никакого графика роста. Двадцать, пятьдесят, сто человек — не «масштаб».

Эта статья — про то, почему во втором случае Марина получит больше пользы, и в каких ситуациях всё-таки правильнее первый путь. Мы не будем притворяться, что реклама бесполезна. Мы разберём, какую задачу решает каждый инструмент и что происходит, когда их путают.

Главная ошибка: путать проверку спроса с проверкой продукта

Paid UA отвечает на вопрос «сколько стоит привести человека и что он делает дальше». Это вопрос экономики. Честное тестирование по сценариям отвечает на вопрос «работает ли продукт так, как мы думаем». Это вопрос качества.

Проблема в том, что при сыром продукте вопрос экономики нельзя корректно измерить. Представьте: Марина заливает трафик, получает retention D1 = 14 % и делает вывод «канал плохой, аудитория не та». А настоящая причина — на третьем экране онбординга кнопка «Продолжить» уезжает под клавиатуру на устройствах с маленьким экраном, и треть людей просто не может пройти регистрацию.

Реклама показала симптом. Она не показала причину. И за этот симптом Марина заплатила весь бюджет.

Честный тест по чек-листу показал бы причину на второй день — потому что тестировщик обязан описать шаги, приложить скриншот и сказать «дальше не прошёл».

Стоимость одного инсайта — главная метрика раннего этапа

На раннем этапе не CPI главная метрика. Главная метрика — стоимость одного пригодного к действию инсайта.

Пригодный к действию инсайт — это не «retention упал». Это: «на экране выбора программы тренировок пользователь трижды нажал на неактивную карточку, потому что она визуально не отличается от активной; трое из десяти повторили это поведение». По такому описанию разработчик правит за час.

Посчитаем на сценарии Марины. Возьмём базовую ставку за одно честное прохождение сценария — 99 ₽, плюс комиссия платформы 15 %. Итог для автора кампании — 113,85 ₽ за один отчёт.

За 30 000 ₽ Марина может купить примерно 263 прохождения. Но ей не нужно 263. Ей нужно 50 на первой волне, 30 на второй после правок и 30 на третьей. Это 110 прохождений ≈ 12 523 ₽. Остаток — 17 477 ₽ — можно пустить в рекламу после того, как продукт перестанет ломаться.

Теперь сравним со сценарием «всё в UA». Допустим CPI 25 ₽ — оптимистично для нового приложения без данных. 30 000 ₽ → 1200 установок. Сколько из них дадут понятный текст обратной связи? В лучшем случае 2–5 отзывов в сторе, из которых половина односложные. Инсайтов — единицы, и без шагов воспроизведения.

Цифры здесь иллюстративные — они показывают порядок, а не гарантию. Но порядок устойчивый: структурированный отчёт по чек-листу почти всегда даёт инсайт, а установка — почти никогда.

Что именно даёт отчёт, чего не даёт аналитика

Аналитика говорит, где произошёл отвал. Отчёт говорит, почему.

Возьмём воронку Марины: открыл → разрешил уведомления → выбрал цель → создал первую тренировку. Amplitude покажет, что между «выбрал цель» и «создал тренировку» теряется 46 %. Дальше начинаются гипотезы на кухне: «может, долго грузится», «может, непонятная кнопка», «может, аудитория не та».

Отчёты по чек-листу за два дня дают конкретику:

• «Не понял, что тренировку надо создавать вручную — думал, программа сгенерируется сама после выбора цели» — 7 из 20 человек написали похожее.
• «Кнопка “+” внизу справа, я её не заметил, искал наверху» — 4 человека.
• «После выбора цели приложение показало пустой экран без подсказки, решил, что ошибка» — 5 человек.

Это три разные причины одного отвала. Аналитика не могла их различить. И ни одна из них не про «аудиторию».

Сравнение подходов: два честных инструмента

Обратите внимание на последнюю строку. Реклама — расходник. Отчёты — актив. Через три месяца Марина сможет перечитать отчёты первой волны, сравнить с третьей и увидеть, что изменилось в формулировках людей. Это база знаний о продукте, а не только транзакция.

Когда paid UA действительно правильнее

Будем честными: есть ситуации, где вкладывать в тестирование по сценариям — ошибка.

1. Продукт стабилен, вопрос только в экономике. Если приложение уже месяц живёт с retention D7 = 22 %, отзывы приличные, краши ниже 0,5 %, а вопрос звучит «сходится ли LTV с CAC» — вам нужен трафик и когорты, а не чек-листы.

2. Нужно проверить креативы и позиционирование. Какой заголовок цепляет, какой скриншот даёт больше конверсии в установку — это задача аукциона и A/B тестов на объёме.

3. Нужен объём для обучения алгоритмов. Оптимизация кампаний требует событий. Пятьдесят человек здесь бесполезны технически.

4. Проверка спроса в новой гео. Здесь дешевле купить немного трафика и посмотреть на CTR и CPI, чем строить программу тестирования.

5. Событийный запуск с дедлайном. Если продукт идёт вместе с оффлайн-кампанией и дата зафиксирована, вы уже не в режиме исследования.

Почему «купить установки» — не альтернатива ни тому, ни другому

Здесь нужно сказать прямо. Иногда команда под давлением решает не выбирать между рекламой и тестами, а «подтянуть цифры»: заказать поток установок сомнительного качества, попросить знакомых наставить оценок, купить отзывы в сторе.

Это не третий вариант. Это способ сломать собственную систему принятия решений. Вот что происходит дальше:

• Аналитика перестаёт быть источником правды: в когортах сидят пользователи, которые никогда не открывали приложение осмысленно.
• Алгоритмы рекламных кабинетов учатся на мусорных событиях и начинают приводить похожий мусор.
• Стор-платформы имеют собственные механизмы выявления аномалий — от неестественных паттернов установок до кластеров однотипных оценок. Последствия варьируются от игнора рейтинга до удаления приложения.
• Команда теряет способность отличить реальный прогресс от нарисованного.

Манипуляция рейтингами и накрутка установок в этой статье не рассматривается как рабочий инструмент — не из вежливости, а потому что она уничтожает то самое измерение, ради которого вы вообще тратите бюджет. Мы обсуждаем два честных инструмента, потому что только на честных данных можно принимать решения.

Как выглядит волна тестов на практике

Возьмём кампанию Марины на платформе Manica. Она создаёт кампанию, описывает продукт одним абзацем, прикладывает ссылку на сборку или стор-страницу и, главное, пишет чек-лист.

Чек-лист первой волны (5 шагов):

1. Установи приложение и пройди регистрацию до главного экрана. Опиши, где пришлось думать дольше двух секунд.
2. Создай первую тренировку из трёх упражнений. Приложи скриншот результата.
3. Запусти таймер и доведи один подход до конца. Напиши, понятно ли, что происходит на экране.
4. Закрой приложение и открой снова. Сохранилась ли тренировка?
5. Найди историю прогресса. Сколько нажатий тебе потребовалось?

Пятьдесят человек. Два дня. На выходе — пятьдесят отчётов с шагами и скриншотами, которые Марина модерирует: принимает корректные, отклоняет пустые и шаблонные. Оплата уходит только за принятые.

После правок — вторая волна на 30 человек с изменённым чек-листом: акцент на переработанный экран создания тренировки. И третья, уже на проверку платежа и восстановления подписки.

Это и есть механизм, который реклама не даёт: итерация с обратной связью на уровне шагов.

Разбор частого возражения: «50 человек — не выборка»

Формально верно: для статистической значимости продуктовых метрик 50 мало. Но здесь нет задачи доказать статистику.

Есть эмпирическое наблюдение из практики юзабилити-исследований: большинство блокирующих проблем интерфейса воспроизводится у первых 5–8 человек, а к 15–20 добавляются заметные, но не критичные. Дальше кривая новых находок резко падает.

Поэтому 20 человек нужны, чтобы найти блокеры. 50 — чтобы увидеть частотность и приоритизировать. 100 — чтобы покрыть разнообразие устройств, версий ОС и сценариев. Больше на этом этапе не нужно: вы упрётесь в повторы.

Реклама на 1200 установок при этом покроет разнообразие устройств, но не расскажет, что там произошло.

Чек-лист решения: куда вкладывать первый рубль

Пройдите по списку. Больше «да» в первом блоке — начинайте с тестов. Больше во втором — можно в UA.

Блок А — начинайте с честных тестов, если:

• [ ] В сторе меньше 20 отзывов, и вы не знаете реальных возражений.
• [ ] Вы не тестировали на устройствах дешевле среднего.
• [ ] Никто, кроме команды и друзей, не проходил онбординг полностью.
• [ ] Вы не можете назвать три причины отвала на первом экране.
• [ ] За последний месяц вы переписали онбординг или добавили оплату.
• [ ] Crash-free ниже 99 % или вы просто не знаете цифру.
• [ ] Вы планируете тратить на рекламу больше 20 000 ₽ в месяц.

Блок Б — можно идти в paid UA, если:

• [ ] Retention D1 стабилен и вы понимаете, из чего он складывается.
• [ ] Основные сценарии проходят на трёх разных устройствах без сюрпризов.
• [ ] Вы знаете, какое событие считаете «активацией», и оно корректно логируется.
• [ ] Есть гипотеза по креативам, которую нужно проверить на объёме.
• [ ] Есть деньги на минимум 2–3 недели кампании, а не на один день.
• [ ] Вы готовы честно остановить канал, если экономика не сходится.

Как соединить оба инструмента в одну последовательность

Правильная схема — не «или», а порядок.

Шаг 1. Стабилизация (неделя 1). 30–50 честных тестов по базовым сценариям. Цель — убрать блокеры. Бюджет ≈ 5 700 ₽ при 99 ₽ и комиссии 15 %.

Шаг 2. Итерация (неделя 2). Правки + 30 тестов на изменённых экранах. Цель — подтвердить, что стало лучше. Бюджет ≈ 3 400 ₽.

Шаг 3. Проверка платежей и краевых случаев (неделя 3). 20–30 тестов с акцентом на оплату, восстановление доступа, офлайн-режим. Бюджет ≈ 2 800 ₽.

Шаг 4. Малый UA-тест (неделя 4). 8 000–12 000 ₽ на один канал, один-два креатива. Цель — узнать CPI и посмотреть retention на «холодной» аудитории.

Шаг 5. Решение. Если retention держится — масштабируем UA. Если проваливается — возвращаемся к шагу 1 с новым чек-листом, потому что появилась новая информация.

Заметьте: суммарно это укладывается в те же 30 000 ₽, но бюджет расходуется в порядке снижения риска. Сначала дёшево убираем причины провала, потом дорого проверяем экономику.

Что делать с отчётами после кампании

Отчёты бесполезны, если лежат в папке. Практика, которая работает:

1. Свести в таблицу. Один отчёт — одна строка: устройство, версия ОС, шаг, где возникла проблема, цитата, серьёзность.
2. Сгруппировать по причинам, а не по формулировкам. «Не понял, куда нажать» и «искал кнопку наверху» — одна причина.
3. Посчитать частотность. Проблема у 12 из 50 — приоритет выше, чем у 2 из 50, даже если вторая звучит драматичнее.
4. Отделить «не понравилось» от «не работает». Первое — вопрос продуктовых решений, второе — баг. Их нельзя смешивать в одном бэклоге.
5. Сохранить цитаты. Формулировки живых людей потом идут в тексты стора и онбординга лучше, чем копирайтинг из головы.
6. Зафиксировать базовую линию. Через месяц вы сравните новые отчёты со старыми и увидите динамику качества, а не только метрик.

FAQ

Сколько тестов минимально имеет смысл заказывать?

Меньше 15–20 обычно мало: вы найдёте блокеры, но не поймёте частотность и не покроете разные устройства. 20 — минимальный осмысленный порог, 50 — комфортный.

Можно ли обойтись друзьями и коллегами?

Частично. Проблема в том, что они знают продукт, знают вас и подсознательно помогают. Они не покажут первую реакцию незнакомого человека и почти никогда не скажут «непонятно» прямо.

Что если тестировщик написал пустой отчёт?

Для этого существует модерация. Автор кампании принимает или отклоняет работу; оплата и комиссия начисляются только за принятые отчёты. Поэтому важно писать чек-лист так, чтобы пустой отчёт было легко распознать: требуйте скриншот, конкретный шаг, описание результата.

Заменяют ли тесты аналитику?

Нет, они дополняют. Аналитика показывает масштаб и место, тесты — причину. Без первой вы не знаете, насколько проблема важна; без вторых — что именно происходит.

А если продукт хороший, а тесты всё равно находят проблемы?

Так и должно быть. Хороший продукт — это не отсутствие проблем, а быстрая скорость их обнаружения и исправления.

Комиссия 15 % — за что?

За инфраструктуру процесса: подбор исполнителей, приём и хранение отчётов, разрешение спорных ситуаций, выплаты. Это часть стоимости результата, её нужно закладывать в расчёт бюджета сразу, а не считать «сверху».

Итоги

• Paid UA отвечает на вопрос об экономике, честные тесты — о качестве. На сыром продукте вопрос экономики измерить нельзя.
• Главная метрика раннего этапа — стоимость одного пригодного к действию инсайта, а не CPI.
• 20 тестов находят блокеры, 50 показывают частотность, 100 покрывают разнообразие устройств. Дальше кривая находок падает.
• Отчёты — актив, который остаётся в базе знаний. Рекламный бюджет — расходник.
• Правильная последовательность: стабилизация → итерация → проверка платежей → малый UA-тест → масштабирование.
• Накрутка установок и рейтингов не является третьим вариантом: она уничтожает измерение и нарушает правила платформ.

Заключение

Марина в итоге сделала так: 110 честных прохождений в три волны за две с половиной недели, затем 12 000 ₽ в один рекламный канал. Retention D1 вырос с 14 % до 33 % — не потому, что она нашла «правильную аудиторию», а потому что убрала три конкретные причины, по которым люди не доходили до первой тренировки.

Реклама на сырой продукт — это дорогой способ узнать, что продукт сырой. Честные тесты — дешёвый способ узнать, почему именно. Порядок имеет значение: сначала понимание, потом масштаб.