Иллюстрированное руководство для веб-экспериментаторов
![]() |
Томас Хьюгенхевен — кандидат наук, сотрудник Копенгагенской школы бизнеса, директор по стратегии Chrisper Economy. Его исследования посвящены техническим вопросам SEO, интернет-маркетингу и многим другим сферам интернет-рекламы. |
Прежде чем начинать экспериментировать, вам необходимо усвоить основные правила:
- тестируйте те параметры, которые согласуются с вашими долговременными целями в бизнесе;
- тестируйте крупные изменения, а не мелкие.
Одна из первых вещей, на которые следует обратить внимание — экспериментальный дизайн. При проверке двух факторов обычно рекомендуется использовать тест формата А/В, а при тестировании нескольких независимых факторов применяется многомерный тест. Однако следует помнить, что и больше двух факторов можно проверить с помощью теста А/В/n или с помощью нескольких последовательных тестов А/В. Недостаток использования теста А/В для нескольких факторов состоит в том, что этот тест не учитывает эффекты взаимодействия.

Итак, вы выбрали многомерный тест… Минутку, но бывают разные многомерные тесты. Если вы когда-нибудь бывали на Which MVT, вам, наверно, встречались такие термины как полнофакторный, дробный и модифицированный тагути. Прежде чем вдаваться в объяснения этих слов, давайте рассмотрим пример нашего многомерного теста. В этом примере у нас 3 разных фактора, и у каждого фактора есть по два условия.

В данном случае 3 фактора, каждый с 2 условиями, дают нам 23=8 групп. В полнофакторном варианте тестируются все возможные комбинации. Получается 8 вариаций, пользователи делятся между ними. В следующей таблице +1 означает условие 1, а -1 означает условие 2.

Такой вариант дизайна неплох, если у нас 3 фактора и по 2 условия. Но если нам нужно протестировать 4 фактора, каждый из которых содержит по 4 условия, получится 44=256 групп. А если мы хотим проверить 10 разных факторов, по 2 условия в каждом, это будет 210=1024 групп. Потребуется множество участников, чтобы выявить сколько-нибудь значительное влияние факторов. Это, конечно, не проблема, если вы Google или Twitter, но если вы продаете сосиски в одном из районов Сиэтла, то такой вариант может вызвать затруднения. Вычислить продолжительность теста можно с помощью Google Калькулятора и калькулятора VisualWebsiteOptimizers. Эти вычисления, однако, основаны на очень неточной информации, так как изменения в коэффициенте конверсии неизвестны — ведь это как раз и есть предмет тестирования.Рассмотрим дробное тестирование. Метод дробного тестирования был популяризован Гэнъити Тагути, его иногда называют методом Тагути. В этом варианте тестирования в эксперимент включается только часть общего числа комбинаций. Вместо того, чтобы проверять все возможные комбинации, дробное тестирование позволяет проанализировать лишь часть из них, достаточную для вычисления коэффициента конверсии всех комбинаций.В данном примере достаточно будет проверить 4 разных комбинации и использовать взаимодействие между выбранными факторами, чтобы посчитать те сочетания фактором, которые не были включены в эксперимент. 4 выбранные группы: ABC; A + (BC); B + (CA); C + (BA).Вместо того, чтобы три раза тестировать фактор А, мы делаем это лишь один раз, оставляя при этом В и С постоянными. Точно так же, фактор В тестируется один раз с постоянными А и С, а фактор С тестируется один раз с постоянными А и В. Не стану слишком далеко углубляться в статистику, так как все математические расчеты делает за нас программа.Дробный тест предполагает, что факторы независимы друг от друга. Если существует взаимодействие между факторами (например, между картинкой и заголовком), это повлияет на достоверность результата теста. Одна из особенностей дробного теста в том, что один фактор (например, А) может смешаться с взаимодействием между двумя другими факторами (например, ВС). Это значит, существует риск, что мы не будем знать, вызвано ли изменение фактором А или взаимодействием ВС. Таким образом, если у вас достаточно времени и посетителей, полнофакторный тест часто более эффективен, чем дробный.Проверка условий тестирования с помощью теста А/А
Большинство маркетологов знакомы с тестами А/В. Менее известен тест А/А. Этот вариант теста позволяет проверить условия тестирования, и его стоит провести перед началом А/В или многомерного теста. Тест А/А показывает, правильно ли распределены пользователи и нет ли погрешностей в условиях проведения тестирования.

В идеальном эксперименте все показатели остаются постоянными, кроме независимой переменной (это то, что мы хотим исследовать, например, теглайн, призыв к действию, изображения). Но в реальности многие показатели не являются постоянными. Например, при проведении теста А/В пользователи разделяются на две группы. Так как все люди разные, обе группы никогда не будут состоять из одинаковых людей. Это не проблема, если другие показатели располагаются в случайном порядке. Однако это вносит некоторую погрешность в данные. Вот почему мы используем статистические тесты.


Последний совет: медленно повышать процент трафика к экспериментальным условиям. Если вы начали с 50% посетителей к контрольному условию и 50% к экспериментальному условию, у вас могут возникнуть затруднения, если что-нибудь в условиях будет нарушено. Лучше начать с 5% пользователей к экспериментальному условию (условиям). Если все хорошо, повысить до 10%, потом до 25% и, наконец, до 50%. Таким образом вы сможете выявить критические ошибки раньше, чем это сделает большинство пользователей.P.S. Если вы хотите узнать больше или поделиться своими знаниями про эксперименты и инструменты оптимизации коэффициента конверсии, вас, возможно, заинтересует эта группа на Facebook.
Читайте также:
Источник: http://blog.seopult.ru/perevod/hugenhaven.html


Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2023-11-29 » Реклама на Яндекс Картах
- 2023-11-29 » Добавим ваш бизнес на карты
- 2023-11-21 » Настройка и использование Fail2ban на Linux
- 2023-11-20 » Лучшие пользовательские инструкции для DALL-E 3, или как заставить генерировать изображения, нужные вам
- 2023-11-17 » Топ проблем, которые мешают продвижению сайта
- 2023-11-16 » Как бесплатно пользоваться GPT-4 — пять способов
- 2023-11-15 » Нейросеть Watermark Remover: удобное удаление водяных знаков с изображений
- 2023-11-08 » Оптимизация и тюнинг производительности MariaDB MySQL сервера внутри Docker
- 2023-11-07 » Как настроить службу Linux для автоматического запуска после сбоя или перезагрузки — часть 1: практические примеры
- 2023-10-29 » Простой тест PHP Mail
- 2023-10-27 » Работа с базами данных MySQL в ISPManager 5 + Docker
- 2023-09-22 » Используем ChatGPT для сбора семантики: возможности и провалы
- 2023-09-22 » 10 SEO-приемов: база для SEO-специалистов
- 2023-09-22 » Как запустить контекстную рекламу по конкурентам в Яндекс Директ и не получить повестку в суд
- 2023-09-22 » Как составить контент-план с помощью нейросети
- 2023-09-01 » Организация продаж на Авито и ЮЛА
- 2023-08-30 » Услуги дизайнера на заказ
- 2023-08-29 » Интеграция с 1С
- 2023-08-29 » Доработка интернет-магазина
- 2023-08-10 » Как продвигать сайты-аффилиаты в поиске
- 2023-08-10 » SEO-продвижение сайтов медицинской тематики: лучшие стратегии и практики
- 2023-05-19 » Как повысить конверсию в интернет-магазине: 17 способов
- 2023-05-19 » Тренды в веб-дизайне в 2023 году
- 2023-05-19 » Как подключиться к серверу по VNC
- 2023-02-27 » Грамотная структура страницы сайта — основные элементы и советы
- 2023-02-07 » Маркетинговые исследования
- 2023-02-01 » Вывод сайта из-под фильтров
- 2023-02-01 » Проработка воронки продаж в Интернете
- 2023-01-26 » Установка и настройка Call tracking и Email tracking
- 2022-11-09 » 12 работающих формул продающих текстов
"Самый чепуховый и бесперспективный проект, но уже запущенный и работающий в Сети, принесет гораздо больше результатов и прибыли, чем самый совершенный проект, который из-за своего постоянного предстартового совершенствования никогда не будет запущен." |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.