Иллюстрированное руководство для веб-экспериментаторов
10-04-2012. Раздел:Перевод. Теги:перевод. |
Томас Хьюгенхевен — кандидат наук, сотрудник Копенгагенской школы бизнеса, директор по стратегии Chrisper Economy. Его исследования посвящены техническим вопросам SEO, интернет-маркетингу и многим другим сферам интернет-рекламы. |
Прежде чем начинать экспериментировать, вам необходимо усвоить основные правила:
- тестируйте те параметры, которые согласуются с вашими долговременными целями в бизнесе;
- тестируйте крупные изменения, а не мелкие.
Одна из первых вещей, на которые следует обратить внимание — экспериментальный дизайн. При проверке двух факторов обычно рекомендуется использовать тест формата А/В, а при тестировании нескольких независимых факторов применяется многомерный тест. Однако следует помнить, что и больше двух факторов можно проверить с помощью теста А/В/n или с помощью нескольких последовательных тестов А/В. Недостаток использования теста А/В для нескольких факторов состоит в том, что этот тест не учитывает эффекты взаимодействия.Многомерный тест: полнофакторный или дробный
Итак, вы выбрали многомерный тест… Минутку, но бывают разные многомерные тесты. Если вы когда-нибудь бывали на Which MVT, вам, наверно, встречались такие термины как полнофакторный, дробный и модифицированный тагути. Прежде чем вдаваться в объяснения этих слов, давайте рассмотрим пример нашего многомерного теста. В этом примере у нас 3 разных фактора, и у каждого фактора есть по два условия.
В данном случае 3 фактора, каждый с 2 условиями, дают нам 23=8 групп. В полнофакторном варианте тестируются все возможные комбинации. Получается 8 вариаций, пользователи делятся между ними. В следующей таблице +1 означает условие 1, а -1 означает условие 2.
Такой вариант дизайна неплох, если у нас 3 фактора и по 2 условия. Но если нам нужно протестировать 4 фактора, каждый из которых содержит по 4 условия, получится 44=256 групп. А если мы хотим проверить 10 разных факторов, по 2 условия в каждом, это будет 210=1024 групп. Потребуется множество участников, чтобы выявить сколько-нибудь значительное влияние факторов. Это, конечно, не проблема, если вы Google или Twitter, но если вы продаете сосиски в одном из районов Сиэтла, то такой вариант может вызвать затруднения. Вычислить продолжительность теста можно с помощью Google Калькулятора и калькулятора VisualWebsiteOptimizers. Эти вычисления, однако, основаны на очень неточной информации, так как изменения в коэффициенте конверсии неизвестны — ведь это как раз и есть предмет тестирования.Рассмотрим дробное тестирование. Метод дробного тестирования был популяризован Гэнъити Тагути, его иногда называют методом Тагути. В этом варианте тестирования в эксперимент включается только часть общего числа комбинаций. Вместо того, чтобы проверять все возможные комбинации, дробное тестирование позволяет проанализировать лишь часть из них, достаточную для вычисления коэффициента конверсии всех комбинаций.В данном примере достаточно будет проверить 4 разных комбинации и использовать взаимодействие между выбранными факторами, чтобы посчитать те сочетания фактором, которые не были включены в эксперимент. 4 выбранные группы: ABC; A + (BC); B + (CA); C + (BA).Вместо того, чтобы три раза тестировать фактор А, мы делаем это лишь один раз, оставляя при этом В и С постоянными. Точно так же, фактор В тестируется один раз с постоянными А и С, а фактор С тестируется один раз с постоянными А и В. Не стану слишком далеко углубляться в статистику, так как все математические расчеты делает за нас программа.Дробный тест предполагает, что факторы независимы друг от друга. Если существует взаимодействие между факторами (например, между картинкой и заголовком), это повлияет на достоверность результата теста. Одна из особенностей дробного теста в том, что один фактор (например, А) может смешаться с взаимодействием между двумя другими факторами (например, ВС). Это значит, существует риск, что мы не будем знать, вызвано ли изменение фактором А или взаимодействием ВС. Таким образом, если у вас достаточно времени и посетителей, полнофакторный тест часто более эффективен, чем дробный.Проверка условий тестирования с помощью теста А/А
Большинство маркетологов знакомы с тестами А/В. Менее известен тест А/А. Этот вариант теста позволяет проверить условия тестирования, и его стоит провести перед началом А/В или многомерного теста. Тест А/А показывает, правильно ли распределены пользователи и нет ли погрешностей в условиях проведения тестирования.В тесте А/А пользователи распределяются так же как для теста А/В или для многомерного теста, но все группы видят одинаковые изменения. Результаты теста должны быть незначимыми, поэтому мы не делаем различий между группами. Если результат значимый, это значит, что в его условиях что-то не так, и результаты последующих тестов будет ошибочны. Но, как уже было сказано, иногда тест А/А бывает значимым из-за случайных ошибок/погрешностей.Тест А/А также хорошо подходит для того, чтобы показывать сотрудникам, начальству и клиентам то, как колеблются данные, и то, что они не должны слишком обольщаться, когда видят рост коэффициента с достоверностью в 80%. Особенно на ранних стадиях экспериментов.Статистическая значимость
В идеальном эксперименте все показатели остаются постоянными, кроме независимой переменной (это то, что мы хотим исследовать, например, теглайн, призыв к действию, изображения). Но в реальности многие показатели не являются постоянными. Например, при проведении теста А/В пользователи разделяются на две группы. Так как все люди разные, обе группы никогда не будут состоять из одинаковых людей. Это не проблема, если другие показатели располагаются в случайном порядке. Однако это вносит некоторую погрешность в данные. Вот почему мы используем статистические тесты.Мы считаем результат статистически значимым в том случае, если существует лишь небольшая вероятность того, что различие между группами вызвано случайной ошибкой. Другими словами, цель статистических тестов состоит в проверке вероятности того, что два образца результатов были получены в одинаковых условиях, что между группами нет «настоящих» различий, и что все изменения вызваны погрешностями.В большинстве экспериментов и экспериментальных программ достоверность в 95% используется как порог значимости, хотя это число может меняться. Если разница между двумя средними значениями групп является значимой при 98% вероятности, мы принимаем такой результат как значимый, даже несмотря на то, что существует 2% вероятности, что разница в результатах вызвана случайностью. Таким образом, статистические тесты показывают, насколько мы можем быть уверены в том, что разница в результатах не вызвана случайной ошибкой/погрешностью. В Google Website Optimizer эта вероятность называется chance to beat original (шанс превзойти оригинал).Полезный совет: повышайте трафик к экспериментальным условиям постепенно
Последний совет: медленно повышать процент трафика к экспериментальным условиям. Если вы начали с 50% посетителей к контрольному условию и 50% к экспериментальному условию, у вас могут возникнуть затруднения, если что-нибудь в условиях будет нарушено. Лучше начать с 5% пользователей к экспериментальному условию (условиям). Если все хорошо, повысить до 10%, потом до 25% и, наконец, до 50%. Таким образом вы сможете выявить критические ошибки раньше, чем это сделает большинство пользователей.P.S. Если вы хотите узнать больше или поделиться своими знаниями про эксперименты и инструменты оптимизации коэффициента конверсии, вас, возможно, заинтересует эта группа на Facebook.
Читайте также:
Источник: http://blog.seopult.ru/perevod/hugenhaven.html
Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2024-03-13 » Стратегии SEO на 2024 год
- 2024-03-13 » Как использовать анимацию с помощью JavaScript-библиотеки GSAP
- 2024-03-13 » Использование GSAP 3 для веб-анимации
- 2024-03-13 » Cогласование топографической съёмки с эксплуатирующими организациями
- 2024-02-19 » Теряются лиды? Как настроить сквозную аналитику
- 2024-02-17 » Мерч и IT: на что обратить внимание в 2024 году
- 2024-02-16 » Копируем с RSync: основные примеры синхронизации файлов
- 2024-02-15 » Лучшие noCode AI платформы для создания диалоговых ботов
- 2024-02-14 » Факторы ранжирования Google 2024 — исследование Semrush
- 2024-02-12 » Перенос сайта на другой хостинг
- 2024-02-05 » В России сформирован реестр хостинг-провайдеров
- 2024-02-04 » Использование SSH для подключения к удаленному серверу Ubuntu
- 2024-02-03 » Подключаемся к серверу за NAT при помощи туннеля SSH. Простая и понятная инструкция
- 2024-02-02 » Настройка CI/CD для Gitlab-репозитория: схемы и гайд по шагам
- 2024-02-01 » GitLab CI Pipeline. Запуск сценария через SSH на удаленном сервере
- 2024-01-29 » Introduction to GitLab’s CI/CD for Continuous Deployments
- 2024-01-26 » Настройка GitLab CI/CD
- 2024-01-25 » Установка shell gitlab runner
- 2024-01-25 » Установка и регистрация gitlab-runner в docker контейнере
- 2024-01-25 » Переменные Gitlab-Ci
- 2024-01-25 » Настройка CI/CD в GitLab для синхронизации проекта с веб-серверами
- 2024-01-25 » Копирование файлов scp
- 2024-01-21 » Бездепозитные бонусы от казино: обзор условий и правил использования
- 2024-01-18 » Современная обработка ошибок в PHP
- 2024-01-18 » Пример шаблона проектирования MVC в PHP
- 2024-01-18 » Мифический человеко-DevOps
- 2023-12-28 » Google подвел итоги 2023 года в поиске
- 2023-12-28 » 5 ошибок отдела продаж, из-за которых вы теряете клиентов
- 2023-12-28 » Американский суд признал монополию Google на рынках дистрибуции Android-приложений
- 2023-12-28 » Хостинг-провайдер GoDaddy перестанет оказывать услуги пользователям из России
Гораздо больше людей сдавшихся, чем побежденных. |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.