Как автору принимать и отклонять отчёты: playbook модерации

Сценарий: 50 отчётов и сомнение над каждым третьим

Ольга — продакт-менеджер в команде, выпускающей приложение для бронирования спортивных площадок. Она запустила кампанию на 50 тестов и на третий день получила все отчёты. Дальше начинается то, к чему её никто не готовил.

Примерно 20 отчётов очевидно хорошие: подробные, со скриншотами, с шагами. Примерно 8 — очевидно плохие: «всё работает, спасибо». А 22 находятся в серой зоне. Например:

• Отчёт, где выполнены все 5 шагов, но скриншот приложен только к одному из трёх обязательных.
• Отчёт с подробным описанием, но человек тестировал на Android, хотя кампания была про iOS.
• Отчёт, где тестировщик написал много, но в основном о том, чего в приложении нет, а не о том, что просили проверить.
• Отчёт, который пересказывает интерфейс своими словами, не сообщая ни одной проблемы.
• Отчёт с очень ценной находкой на шаге 2, но шаги 4 и 5 пропущены.
• Отчёт, который слишком похож на другой отчёт из этой же кампании.

Ольга зависает. Отклонить — человек потратил время и может справедливо обидеться. Принять — платить за работу, которая не выполнена, и приучать к халтуре.

Эта статья — про то, как перестать решать каждый случай интуитивно и построить повторяемый процесс модерации, который защищает и автора кампании, и тестировщика.

Принцип: модерация проверяет соответствие заданию, а не полезность

Это главная мысль, и её нужно усвоить до всех таблиц.

Соблазн модерировать по полезности огромен: «этот отчёт мне помог — принимаю, этот не помог — отклоняю». Но полезность зависит от того, насколько вы сами удачно составили чек-лист. Тестировщик не отвечает за качество вашего задания.

Если человек честно прошёл все шаги, приложил требуемые доказательства и обнаружил, что всё работает нормально, — это выполненная работа. Отчёт «прошёл сценарий, проблем не возникло, вот скриншоты каждого этапа» имеет ценность: он подтверждает, что на этом устройстве в этой версии сценарий проходим. Отсутствие находки — тоже результат.

Отклонять нужно за невыполнение: пропущенный шаг, отсутствующее доказательство, ответ, из которого не следует, что человек вообще открывал приложение, несоответствие требованиям к устройству.

Строки «резкая критика» и «не ту проблему нашёл» — самые важные. Если вы начнёте отклонять неудобные отчёты, вы получите поток комплиментов и потеряете единственную причину, по которой затевали кампанию.

Три уровня качества и что с ними делать

Полезно мысленно делить принятые отчёты на градации — не для оплаты, а для приоритизации собственного времени.

Уровень 1 — базовый. Все шаги выполнены, доказательства есть, находок нет или они тривиальные. Принять, оплатить, отметить устройство в матрице покрытия. Прочитать по диагонали.

Уровень 2 — содержательный. Есть описание конкретного трения: где человек сомневался, что искал, что понял неправильно. Принять, оплатить, выписать в таблицу находок.

Уровень 3 — ценный. Воспроизводимый баг с шагами, или неожиданная формулировка, объясняющая поведение многих. Принять, оплатить, разобрать отдельно, при возможности отметить исполнителя как приоритетного для будущих кампаний.

Оплата одинаковая для всех трёх уровней — так устроено задание, и менять правила после получения работы нельзя. Если вы хотите поощрять уровень 3, вводите бонус заранее и по формальному критерию: например, «+150 ₽ за воспроизводимый баг с записью экрана, ранее не зафиксированный в этой кампании».

Если в вашей кампании отклонённых больше 25 % — почти всегда проблема в чек-листе, а не в исполнителях. Слишком расплывчатые формулировки, невыполнимые требования, неясные критерии приёмки. Проверьте задание перед тем, как винить рынок.

Разбираем спорные случаи Ольги

Вернёмся к её двадцати двум сомнительным отчётам и применим принцип.

Случай 1: выполнены все шаги, но скриншот только к одному из трёх обязательных.

Отклонить с указанием: «не приложены скриншоты к шагам 3 и 4, они были обязательными». Если платформа позволяет — предложить дослать. Это лучший исход: работа была сделана, проблема формальная. Важно: нельзя принимать, иначе требование скриншотов обесценивается для всей кампании.

Случай 2: тестировал на Android, кампания про iOS.

Отклонить. Здесь нет пространства для компромисса: данные не относятся к предмету исследования. Но задайте себе вопрос: было ли требование к платформе видно до начала работы? Если нет — это ваша ошибка, и справедливо принять и оплатить, а требование вынести в заголовок кампании.

Случай 3: подробно написал о том, чего в приложении нет.

Смотрим на шаги. Если шаги выполнены, а рассуждения о желаемых фичах — дополнение, принимаем. Если шаги не выполнены и вместо отчёта — эссе о том, каким должно быть приложение, отклоняем: задание было другим.

Случай 4: пересказ интерфейса без единой проблемы.

Самый частый серый случай. Критерий: есть ли доказательство прохождения? Если есть скриншоты нужных экранов и описание действий («нажал сюда, попал туда») — принимаем как уровень 1. Если текст выглядит как описание скриншотов из стора и нет доказательств — отклоняем.

Случай 5: ценная находка на шаге 2, шаги 4 и 5 пропущены.

Формально — отклонение. Практически это болезненно, потому что находка ценная. Правильное поведение: отклонить по формальному основанию, но находку зафиксировать и проверить самостоятельно. Информация уже получена, вы не обязаны её выбрасывать; а платить за невыполненную работу нельзя, иначе правило перестаёт существовать. Если позволяет процесс — попросите дослать пропущенные шаги и тогда примите.

Случай 6: отчёт слишком похож на другой.

Разберитесь в природе сходства. Если два человека нашли одну проблему и описали похожими словами — это нормально и даже ценно: подтверждение частотности. Если совпадают структура, обороты, орфографические ошибки и скриншоты — это копирование, отклоняем оба или тот, что пришёл позже, в зависимости от правил платформы.

Формулировки отказов, которые не создают конфликт

Отказ без причины — главный источник споров и репутационного ущерба для автора кампании. Формула рабочего отказа состоит из трёх элементов: что не выполнено → со ссылкой на пункт задания → что можно сделать.

Две последние строки — напоминание: если вы не можете сформулировать отказ через невыполненный пункт задания, значит основания для отказа нет.

Полезная привычка: писать отказ так, будто его будет читать арбитр в спорной ситуации. Формулировка «не приложен скриншот к шагу 3, требование указано в критериях приёмки» защищает вас автоматически. Формулировка «слабый отчёт» — не защищает ничем.

Скорость модерации как часть репутации

Медленная модерация — недооценённая проблема. Тестировщик выполнил работу и ждёт решения. Пока он ждёт, он не знает, получит деньги или нет, и не берёт вашу следующую кампанию.

Практические ориентиры:

Строка «время на один отчёт» объясняет, почему длинные чек-листы вредны не только для тестировщика: 50 отчётов по 15 шагов — это 8–12 часов вашей работы. Пять шагов — 3–4 часа. Модерация масштабируется хуже, чем кажется при планировании.

Как организовать модерацию, чтобы не сойти с ума

1. Подготовьте таблицу до получения отчётов. Колонки: ID отчёта, устройство, версия ОС, шаг, где проблема, краткое описание, цитата, серьёзность, решение (принять/отклонить), основание отказа. Заполняйте по ходу чтения — иначе придётся перечитывать.

2. Читайте партиями, а не по одному. Первые десять отчётов калибруют ваше представление о норме. Если начать выносить решения с первого, вы будете строже к началу и мягче к концу, или наоборот.

3. Сначала проверяйте формальное соответствие, потом читайте содержание. Быстрый проход: все шаги на месте? скриншоты есть? платформа та? Это отсекает явные случаи за секунды и оставляет время на содержательные.

4. Заведите словарь причин отказа. Пять-семь готовых формулировок, привязанных к пунктам задания. Это ускоряет работу и делает решения последовательными.

5. Фиксируйте находки отдельно от решений об оплате. Это два разных процесса. Смешивая их, вы начинаете принимать отчёты за полезность и отклонять за бесполезность.

6. Группируйте находки по причинам сразу. «Не нашёл кнопку» и «искал наверху» — одна причина. К концу модерации у вас должно быть 5–10 групп с числом упоминаний, а не 50 отдельных заметок.

7. Отвечайте на уточняющие вопросы тестировщиков. Если человек спрашивает по ходу работы — это признак добросовестности, и потраченные две минуты экономят вам отчёт-мимо-цели.

Экономика модерации: почему честный отказ выгоден всем

Разберём, как отказ влияет на деньги. При ставке 99 ₽ и комиссии 15 % автор платит 113,85 ₽ за принятый отчёт. За отклонённый — не платит.

Кажется, что автору выгодно отклонять больше. На практике это работает против него:

• Исполнители видят долю отказов и перестают брать кампании автора с плохой репутацией. Следующую кампанию будет некому выполнять.
• Растёт число споров, и время автора уходит на переписку вместо продукта.
• Добросовестные исполнители, которые дают уровень 2 и 3, уходят первыми — им есть куда идти. Останутся те, кому всё равно.

И наоборот, автору невыгодно принимать всё подряд:

• Оплаченный мусор — прямой убыток.
• Хуже: если халтура проходит, рациональная стратегия исполнителя меняется в сторону минимального усилия. Вы своими руками ухудшаете качество будущих кампаний.

Оптимум — строгое, но предсказуемое и объяснимое применение опубликованных критериев. Предсказуемость важнее строгости: исполнитель должен заранее понимать, что нужно сделать, чтобы работу приняли.

Что делать после модерации: превращаем отчёты в бэклог

Модерация закончена, когда отчёты стали задачами. Последовательность:

Шаг 1. Разделите «не работает» и «не понравилось». Первое — баги с воспроизведением. Второе — продуктовые решения. Они идут в разные части бэклога и оцениваются по-разному.

Шаг 2. Посчитайте частотность каждой группы. 14 из 50 — приоритет выше, чем 2 из 50, даже если вторая проблема звучит драматичнее.

Шаг 3. Оцените блокирующий характер. Проблема, из-за которой человек не смог завершить сценарий, важнее проблемы, которая просто неудобна.

Шаг 4. Сопоставьте с матрицей устройств. Если баг встречается только на одном производителе — это отдельный класс задач с другим приоритетом.

Шаг 5. Сохраните цитаты. Формулировки живых людей потом идут в описание в сторе и тексты онбординга лучше любого копирайтинга.

Шаг 6. Запланируйте повторную волну. Тот же чек-лист после правок — единственный честный способ проверить, что стало лучше. Без этого шага вся работа остаётся предположением.

Шаг 7. Обновите чек-лист по итогам. Если 15 человек не поняли шаг 3 одинаково, вопрос сформулирован двусмысленно — исправьте для следующей кампании.

FAQ

Можно ли частично оплатить отчёт?

Только если такая градация была объявлена в задании заранее и по формальным критериям. Придумывать её после получения работы нельзя — это меняет условия задним числом.

Что делать, если весь поток отчётов оказался слабым?

Почти всегда причина в чек-листе: расплывчатые шаги, нет требований к доказательствам, неясные критерии. Остановите кампанию, переписывайте задание и запускайте заново. Отклонение 40 отчётов — это симптом, а не решение.

Как быть, если тестировщик спорит с отказом?

Отвечайте ссылкой на конкретный пункт задания и конкретный пропуск. Если выясняется, что требование было сформулировано неясно — примите отчёт и исправьте формулировку. Это дешевле, чем репутация автора, который придирается.

Нужно ли отвечать на содержательные отчёты?

Не обязательно, но короткое «спасибо, баг подтвердили, исправляем в следующей сборке» резко повышает шанс, что этот человек возьмёт вашу следующую кампанию и сделает её хорошо.

Как отличить настоящий отчёт от сгенерированного текста?

Ищите специфику, которую нельзя выдумать: точные названия элементов интерфейса, конкретные числа нажатий, скриншоты с состоянием, соответствующим описанию, упоминание неожиданных мелочей. Обобщённые фразы без привязки к конкретным экранам — повод присмотреться внимательнее и запросить доказательства.

Сколько отчётов реально успевает проверить один человек за день?

При чек-листе из 5 шагов и подготовленной таблице — 40–60 отчётов за рабочий день без потери внимательности. Больше — падает качество решений, и лучше разбить на два дня.

Итоги

• Модерация проверяет соответствие заданию, а не полезность результата. Отсутствие находки — тоже результат.
• Основания для отказа: пропущенный шаг, нет обязательного доказательства, не та платформа, нет признаков реального прохождения, копирование. Тональность и «не те находки» основаниями не являются.
• Формула отказа: что не выполнено → ссылка на пункт задания → что можно исправить.
• Доля отказов выше 25 % — сигнал о проблеме в чек-листе, не в исполнителях.
• Предсказуемость модерации важнее строгости: исполнитель должен заранее знать, что нужно для приёмки.
• Условия оплаты и бонусы фиксируются до начала работ и не меняются после.
• Модерация закончена, когда отчёты превратились в приоритизированный бэклог и запланирована повторная волна.

Заключение

Ольга разобрала свои 22 спорных отчёта за полтора часа, приняв 16 и отклонив 6 с указанием конкретных пропусков. Двое исполнителей дослали скриншоты и были приняты. Ни одного спора не возникло — потому что каждое решение опиралось на пункт задания, который все видели до начала работы.

Модерация — не про то, чтобы сэкономить на выплатах. Это про то, чтобы система продолжала давать вам правду о продукте: строгие и понятные правила привлекают людей, которые пишут содержательные отчёты, а размытые — тех, кому всё равно.