Пользовательский опыт, контент и алгоритм работы ботов, Маркетинг, конверсии и эффективность чатботов

А/B-тест и сплит-тестирование

Автор:

Дмитрий

Время чтения:

15 мин.

Обновлено:

02/2024

Содержание

Зачем проводить А/B (сплит) тестирование
Кому нужно A/B-тестирование
6 шагов успешного АБ(сплит)-теста
1. Определите цели
2. Определите метрику
3. Разработайте гипотезу
4. Подготовьте эксперимент
5. Проведите эксперимент
6. Анализируйте результаты
Инструмент АБ(сплит)-тестирования от 4study
Заключение

У вас выключен Javascript или работает блокировщик контента, поэтому некоторые функции сайта могут не работать или работать неправильно. Пожалуйста, измените ваши настройки, чтобы увидеть весь контент.

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли тексты быть короче или, какая навигация лучше, какой порядок прохождения курсы меньше всего отпугивает пользователей и так далее.

Зачем проводить А/B (сплит) тестирование

Рассмотрим несколько основных проблем, которые помогает решить сплит-тестирование.

Лучше понимать своих пользователей и давать им то, чего они хотят. Как бы долго вы ни занимались электронной коммерцией и онлайн-маркетингом, будет ошибкой полагаться в этом вопросе исключительно на личный опыт. Даже если кажется, что вы можете предугадать поведение пользователя на сайте и понимаете, как именно организовать контент, чтобы он максимально быстро двигался по воронке продаж, проведите A/B тест. Результаты могут вас удивить. Как показывает практика, не всегда наши предположения совпадают с реальной картиной. Поэтому мы не можем решать, что лучше для клиента, основываясь лишь на собственных убеждениях.

Данные VS экспертное мнение. Вторая проблема, вытекающая из первой — это целесообразность изменений на сайте и минимизация связанных с этим рисков. Часто гипотезы строятся на основе личных взглядов, которые могут не совпадать со взглядами аудитории. В результате изменения, внедренные без предварительного А/В теста, не приносят желаемого эффекта или того хуже — снижают конверсию. Поэтому, когда перед вами стоит вопрос, что использовать для принятия решений — данные или экспертное мнение, всегда выбирайте данные.

Персонализировать коммуникацию с клиентами. Существует много точек взаимодействия с клиентам: они пользуются различными устройствами, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары...

Сервисы веб-аналитики, такие как Google Analytics, Яндекс.Метрика и пр., помогают объединить эти данные и систематизировать знания о пользователе. Мы собираем информацию о том, на каких страницах они были, что делали. Это дает возможность разделить аудиторию по множеству признаков на несколько десятков или сотен сегментов и узнать, к примеру, как себя ведут пользователи, пришедшие с органики или с платного трафика.

Но мы не всегда правильно используем эту информацию и не выжимаем из нее максимум пользы. Простой пример: большинство онлайн-проектов до сих пор показывает один и тот же контент всем пользователям, независимо от их поведения и источников трафика. Если вы тоже так делаете, сплит-тестирование поможет вам исправить ситуацию и персонализировать контент на сайте.

Кому нужно A/B-тестирование

Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.
Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы с точки зрения улучшения метрик.
Преподаватели могут выбирать, как лучше подавать их курс и проводить тестирования
Продуктовые дизайнеры могут тестировать для внедрения новой функции.

6 шагов успешного АБ(сплит)-теста

Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования схемы работы выдуманного бота.

1. Определите цели

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

2. Определите метрику

Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.

3. Разработайте гипотезу

Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.

Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.

Общая гипотеза заключается в следующем: «Если изменить логику доведения до регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что другое изображение при описании продукта лучше передает ценности».

Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.

Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.
Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.

Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).

4. Подготовьте эксперимент

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.
Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.
Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.
Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.
Определите минимальный размер выборки. Калькуляторы рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.

Пример: В существующем боте в части регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент. Чтобы, ускорить этот эксперимент, вы можете воспользоваться рассылкой, уведомлениями в мессенджерах и даже рекламой.

5. Проведите эксперимент

Помните о важных шагах, которые необходимо выполнить:

Обсудите параметры эксперимента с исполнителями.
Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.
В самом начале проведения тестирования проверьте, действительно ли оно работает.
И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость. Дождитесь окончания теста.

6. Анализируйте результаты

Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.

Проверьте статистическую значимость. Статистическая теория, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.

Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.

Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.

A/B-тестирование может дать следующие результаты:

Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом. В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.
Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.

Инструмент АБ(сплит)-тестирования от 4study

По сути это способ измерить эффективность ваших элементов путем сравнения. В зависимости от того, к какой группе тестируемых принадлежит пользователь, вы можете отправить его к тому или иному элементу. По принципу работы этот инструмент похож на другие для проведения экспериментов и персонализации:

Сначала нам необходимо создать варианты блоков взаимодействия, которые мы будем показывать пользователю. Вы создаете копию тех элементов, которые хотите проверить, изменяете в ней какие-то параметры (например, отправляете другой текст или составляете другую последовательность элементов) и настраиваете переходы на стрелках. Половине (или группе) людей вы показываете одну последовательность, половине — другую и смотрите на какой из них цель (заказ, покупка, подписка, удовлетворение и др) достигается чаще.
Дальше нужно определить цели: элементы (блоки), с помощью которых мы будем определять вариант-победитель. Как правило это блоки, в которых пользователь взаимодейстует с ботом (например, ответ на вопрос) и тогда мы определяем доходимость до этих блоков. Или же выбираем результирующий показатель – число продаж.
После этого нам необходимо определить аудиторию, которая будут участвовать в эксперименте. На этом этапе вы должны определиться, насколько вы можете рисковать, показывая тестовый вариант пользователям. Вы можете распределить трафик между двумя вариантами поровну либо, к примеру, 20% на 80%. Или же показывать только одной группе вариант А, второй – Б, а все оставшиеся (это 80%) будут видет стандартную версию. Зачем это нужно? На случай, если у вас крупный бот, вы не уверены в своей гипотезе и не хотите рисковать половиной трафика.

Кроме классических A/B (сплит) тестов в можно запускать мультивариативные тесты (когда у вас несколько меняющихся элементов во множестве комбинаций).

AB тесты запускаются автоматически. Для этого вам необходимо выбрать стрелку, ведущую к элементу теста и выбрать в разделе "условие:АБ-тесты" группы ABC... , для которых этот переход будет действовать.

Чтобы посмотреть результаты теста, выберите в статистике бота нужную группу тестируемых - результирующие показатели будут показаны автоматически.

Заключение

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.