Выберите одно действие клиента, по которому будете сравнивать тексты: переход, запись или покупку. Для A/B-теста Viber-рассылки разделите похожих клиентов на случайные группы, отправьте каждой свой вариант и сравните отклик за одинаковый срок. На небольшой базе результат особенно чувствителен к отдельным действиям, поэтому разница сама по себе ещё не доказывает преимущество текста. Ниже — порядок теста для малого бизнеса Беларуси: от формулировки гипотезы до решения, какой вариант проверить повторно.
Как выбрать одно отличие между текстами?
Начните с вопроса, на который тест даст понятный ответ. Например: лучше ли клиенты реагируют на описание услуги или на конкретную задачу, которую она решает? Так вы проверите подход к сообщению. Если одновременно заменить текст, изображение и предложение, причину разницы установить не получится.
Допустим, мастерская хочет получить заявки на обслуживание велосипеда. Ниже — учебные варианты для сравнения, без обещания определённого результата.
| Вариант | Текст сообщения | Что проверяем |
| А | Открыта запись на обслуживание велосипедов. Проверим тормоза и переключение передач. Выберите время по кнопке ниже. | Прямое описание услуги |
| Б | Тормоза скрипят или передачи переключаются с трудом? Запишитесь на обслуживание велосипеда. Выберите время по кнопке ниже. | Начало с конкретной проблемы клиента |
В обоих вариантах оставьте одинаковыми изображение, кнопку «Выбрать время» и страницу записи. Сохраните условия услуги. Иначе более сильная скидка или другая свободная дата повлияет на выбор клиента вместе с текстом.
Запишите гипотезу до отправки: «Начало с проблемы приведёт к большей доле записей среди получателей сообщения». Такая формулировка заранее определяет, что считать результатом. Подробный порядок подготовки есть в материале об A/B-тесте Viber-рассылки на малом бюджете.
Как разделить небольшую базу для честного сравнения?
Сначала выберите клиентов, которым подходит одно и то же предложение. Покупатели после недавнего визита и люди, которые давно не обращались, находятся в разных ситуациях. Если отправить им разные тексты, тест смешает влияние сообщения и отношений с бизнесом.
- Выберите одну группу клиентов по понятному признаку, например по прошлой покупке нужной категории.
- Случайно разделите её на сопоставимые по размеру части средствами сервиса или таблицы.
- Назначьте каждой части свой текст, исключив попадание одного получателя в оба варианта.
- Отправьте варианты в одном временном окне и задайте одинаковый срок наблюдения.
Не делите список по принципу «первая половина — А, вторая — Б», если контакты идут по дате покупки. В одной части окажутся более свежие покупатели. В таблице можно добавить столбец со случайными значениями, закрепить их, отсортировать строки и затем разделить список.
Проверьте и условия после перехода. Если одна группа видит свободные места, а другая попадает на заполненное расписание, число записей уже зависит от доступности услуги. Перед отправкой откройте обе ссылки и пройдите путь до подтверждения заявки.
При малой базе не дробите аудиторию сразу по нескольким признакам. Выберите одну подходящую группу и одну гипотезу. Остальные идеи сохраните для следующих отправок.
По какому показателю сравнивать варианты Viber-рассылки?
Главный показатель выбирайте по задаче бизнеса. Для записи в мастерскую это подтверждённая запись, для знакомства с ассортиментом — переход к товарам. Переходы полезны для разбора пути клиента, но их рост сам по себе не означает рост покупок.
| Показатель | Как считать | Что учитывать |
| Доставка | Сравнить долю доставок среди отправленных сообщений | Разница в доставке меняет число людей, которые могли увидеть предложение |
| Переходы | Разделить число получателей с переходом на число получателей с доставкой | Повторные клики одного человека не должны выглядеть как отклик нескольких клиентов |
| Записи или покупки | Разделить число получателей с целевым действием на число получателей с доставкой | Для обоих вариантов нужны одинаковые правила учёта и срок наблюдения |
Сравнивайте доли вместе с исходными количествами. Одинаковое число покупок при разном числе доставок означает разную долю отклика. При этом доля без размера группы скрывает, насколько сильно результат зависит от отдельного заказа.
До запуска уточните, какие данные доступны в аналитическом отчёте сервиса. Доставка сообщения и запись на сайте относятся к разным этапам. Для связи между ними понадобятся отдельные метки ссылок или передача событий из системы записи. Интеграцию через API имеет смысл обсуждать, когда такие тесты повторяются и ручная сверка занимает рабочее время.
Профиль отправителя оставьте одинаковым: имя, официальный статус и оформление не должны меняться между вариантами. Если используете каскад Viber → SMS, учитывайте последующий отклик на SMS отдельно, иначе оцените влияние всей цепочки вместо текста Viber-сообщения.
Как отличить полезный сигнал от случайной разницы?
На небольшой базе отдельная покупка заметно меняет итог. Поэтому фраза «вариант Б получил больше заказов» описывает результат отправки, но ещё не доказывает, что этот текст будет лучше в следующей кампании. Сохраните оба вывода отдельно: что произошло и насколько уверенно это можно повторить.
Заранее определите, какая прибавка оправдает замену текста. Ориентируйтесь на дополнительные записи или покупки при вашем обычном объёме отправки. Если даже предполагаемая разница не меняет рабочее решение, тратить базу на такой тест незачем.
Для формальной проверки используйте метод сравнения долей с оценкой неопределённости, который подходит для малого числа событий. Одного отчёта о кликах для такого вывода недостаточно. Если расчёт показывает широкий диапазон возможной разницы, результат следует считать неопределённым.
Без статистического расчёта называйте лучший вариант рабочей гипотезой. Проверьте его в следующей сопоставимой кампании, снова со случайным распределением получателей. Повторный перевес добавит оснований для выбора, но простое правило «победил снова» не заменяет оценку неопределённости.
Не завершайте тест в момент, когда один текст вышел вперёд. Дождитесь срока, который выбрали до отправки: часть клиентов открывает сообщение позже, а покупку оформляет после обсуждения с близкими. Одинаковое окно наблюдения сохраняет смысл сравнения.
Если откликов слишком мало, зафиксируйте «данных недостаточно». Сохраните тексты и условия отправки, чтобы вернуться к гипотезе позже. Когда меняется само предложение или сезонный спрос, результаты разных кампаний лучше разбирать отдельно.
Типичные ошибки при сравнении текстов Viber-рассылки
- Меняют несколько элементов одновременно. Оставьте одно смысловое отличие, иначе не поймёте причину результата.
- Выбирают показатель после отправки. Заранее запишите основную цель, а остальные действия используйте для объяснения результата.
- Считают повторные клики отдельными клиентами. Проверьте, показывает ли отчёт уникальных получателей с переходом.
- Сравнивают группы с разными условиями покупки. Сохраните одинаковыми цену, доступность услуги и страницу перехода.
- Объявляют победителя при единичных откликах. Зафиксируйте наблюдение и оставьте вывод предварительным до дальнейшей проверки.
Для разбора теста достаточно одной таблицы: гипотеза, тексты, состав групп, время отправки, доставки и целевые действия. Рядом запишите решение: оставить текущий текст, проверить новый повторно или признать нехватку данных. Такая запись объяснит выбор и через месяц, когда детали рассылки забудутся.
Сейчас потратьте минуту: запишите для ближайшей Viber-рассылки одну гипотезу по шаблону «Если изменить начало сообщения с … на …, доля клиентов, которые …, вырастет».
