Выпуск №44. A/B тестирование

Когда вы хотите понять, какая кнопка лучше на вашем сайте, или какой вид страницы эффективнее, вам поможет A/B тестирование. В этом выпуске – что тестировать, как проводить тестирование.

Что это такое

A/B тестирование названо так потому, что позволяет сравнить текущий вид страницы (вид А) с новым (вид B), в который было внесено изменение. Данное сравнение позволяет узнать, как изменение повлияет на измеряемые параметры (конверсия, количество кликов, количество заказов и пр.). Таким образом, это простой способ для постепенного улучшения сайта.

Преимущества данного вида тестирования:

• Низкая стоимость;
• Вы ничем не рискуете;
• Может сделать каждый;
• Быстрые результаты.

Что тестировать

Обычно тестируют целевые страницы – места, на которые приходят посетители вашего сайта, а также страницы, с которых пользователь уходит. Часть страниц вашего сайта непосредственно влияют на вашу прибыль. Например, форма заказа, страница товара и пр. Непосредственно тестируют:

• Призывы к действию (цвет кнопки, форма, текст, расположение на странице)
  Например, вы можете исследовать, какая кнопка лучше воспринимается пользователями: «Добавить в корзину» или «Купить». На какую кнопку пользователи будут больше кликать (красную или зеленую, какого размера).
• Заголовки (расположение заголовков, текст)
  Например, зайдя на страницу, ваши посетители по заголовку могут подумать, что это не то, что им нужно. Ваша посадочная страница как контентом, так и заголовком должна отвечать на вопросы аудитории.
• Изображения
  Например, какой вид товара лучше – спереди или развернутый на 3/4.
• Текст на странице (оформление текста, стиль подачи информации)
  Например, какие товары и услуги чаще заказывают – с описанием в один абзац или с текстом на половину страницы.
• Цена
  Вы можете попробовать поставить разные цены на один и тот же популярный товар, или наоборот посмотреть как увеличатся продажи, если вы уменьшите цену на не покупаемые товары.
• Навигация
  Например, в одном случае навигация простая и без выпадающего подменю; в другом – при наведении на пункт меню появляется навигация 2 уровня.
• Структура страниц (2 колонки или 1, размещение элементов)
  Меняйте размеры и расположение элементов, меняйте акценты.

Процесс

1. Поставьте цель тестирования (например, выявить, какая из кнопок на странице товара работает лучше – «Добавить в корзину» или «Купить»)
2. Выберите инструмент тестирования, с помощью которого вы оцените результаты (о них далее)
3. Определите ключевые показатели, при которых вы завершаете тестирование (например, процент кликнувших на кнопку Заказать, время нахождения на странице). Помните, что тестирование должно проводиться на значимой аудитории (от сотни посетителей), иначе данные могут быть статистически неверными
4. Создайте альтернативные варианты ( либо 1 новый и сравнивайте его со старым, либо ставите два новых варианта;)
5. Распределите показ страницы между посетителями в равном соотношении в одно время (с помощью инструментов тестирования)
6. По завершении изучите результаты и определите выигрышный вариант страницы

Инструменты тестирования

• Готовые сервисы
  — Бесплатные (Visual Website Optimizer платная, но можно попробовать бесплатно; Google Analytics, Яндекс Метрика) и платные (Unbounce есть пробный период, Optimizely)
  — Работают на клиенте
  — Могут тормозить на больших нагрузках
• Программные решения
  — Бесплатные (требуется интеграция)
  — Работают на сервере
  — Должна быть защита от ботов

Калькуляторы (данные калькуляторы предназначены, чтобы определить, какой должна быть длительность вашего тестирования, а также какое должно быть различие в результатах для окончания теста):

• Статистическая значимость (elem.com/~btilly/effective-ab-testing/g-test-calculator.html, visualwebsiteoptimizer.com/ab-split-significance-calculator, www.usereffect.com/split-test-calculator )
• Длительность теста (visualwebsiteoptimizer.com/ab-split-test-duration )

Примеры тестов: www.abtests.com, whichtestwon.com

Полезные советы

• Всегда знайте, что тестируете. Большинство тестирований проваливаются потому, что нет четких целей, что хотят узнать. Например, вы можете исследовать, какое влияние имеет указание на акции срока действия.
• Нельзя запускать более 2 вариантов страницы одновременно.
• Тестировать версии нужно одновременно, т.к. трафик всегда разный.
• Если боитесь отпугнуть постоянных посетителей — тестируйте на новых.
• Перед остановкой тестирования нужно убедиться, что он достиг статистической значимости. Во многих инструментах тестирования встроен счетчик статистической значимости, и вы увидите, когда результаты теста будут готовы для изучения. Или же можно воспользоваться одним из бесплатных калькуляторов и инструментов для вычисления статистической значимости.
• A/B тестирование подходит, если вам нужны быстрые результаты. Также подходит, если у сайта небольшой трафик.
• Тестирование можно проводить когда угодно и сколько угодно. Всегда найдется что тестировать и улучшать.

Выводы

Любые результаты тестов могут привести вас в заблуждение, поэтому перепроверяйте результаты, проводите тестирования несколько раз. А также создавайте новые варианты и тестируйте их. Помните: A/B тестирование – это процесс улучшения вашего сайта, а значит, непрерывный процесс.