Иллюстрированное руководство для веб-экспериментаторов

  Иллюстрированное руководство для веб-экспериментаторов

10-04-2012.   Раздел:Перевод.  Теги:перевод.

Томас Хьюгенхевен — кандидат наук, сотрудник Копенгагенской школы бизнеса, директор по стратегии Chrisper Economy. Его исследования посвящены техническим вопросам SEO, интернет-маркетингу и многим другим сферам интернет-рекламы.

Эксперименты — отличный способ улучшить взаимодействие с пользователями и повысить конверсию. Главное их преимущество в том, что они позволяют выделить значимые переменные и, таким образом, выяснить причинную зависимость между разными параметрами — такими, например, как теглайн и коэффициент конверсии.Значительная часть литературы, посвященной экспериментальному дизайну, корнями уходит в статистику, и из-за сложности для восприятия может быть даже пугающей. Чтобы сделать этот предмет более простым и доступным, я представляю свое иллюстрированное руководство для веб-экспериментаторов (составить его мне помог мой брат, Андреас Хёгенхавен, который сделал картинки).
Прежде чем начинать экспериментировать, вам необходимо усвоить основные правила:

• тестируйте те параметры, которые согласуются с вашими долговременными целями в бизнесе;
• тестируйте крупные изменения, а не мелкие.

И помните, что победителем этой проверки станет не оптимальный параметр, но всего лишь лучший из протестированных. Это не значит, что вы нашли самый выигрышный вариант. Следующая проверка вполне может дать лучшие результаты.A/B или MVT
Одна из первых вещей, на которые следует обратить внимание — экспериментальный дизайн. При проверке двух факторов обычно рекомендуется использовать тест формата А/В, а при тестировании нескольких независимых факторов применяется многомерный тест. Однако следует помнить, что и больше двух факторов можно проверить с помощью теста А/В/n или с помощью нескольких последовательных тестов А/В. Недостаток использования теста А/В для нескольких факторов состоит в том, что этот тест не учитывает эффекты взаимодействия.Многомерный тест: полнофакторный или дробный
Итак, вы выбрали многомерный тест… Минутку, но бывают разные многомерные тесты. Если вы когда-нибудь бывали на Which MVT, вам, наверно, встречались такие термины как полнофакторный, дробный и модифицированный тагути. Прежде чем вдаваться в объяснения этих слов, давайте рассмотрим пример нашего многомерного теста. В этом примере у нас 3 разных фактора, и у каждого фактора есть по два условия.
В данном случае 3 фактора, каждый с 2 условиями, дают нам 2³=8 групп. В полнофакторном варианте тестируются все возможные комбинации. Получается 8 вариаций, пользователи делятся между ними. В следующей таблице +1 означает условие 1, а -1 означает условие 2.
Такой вариант дизайна неплох, если у нас 3 фактора и по 2 условия. Но если нам нужно протестировать 4 фактора, каждый из которых содержит по 4 условия, получится 4⁴=256 групп. А если мы хотим проверить 10 разных факторов, по 2 условия в каждом, это будет 2¹⁰=1024 групп. Потребуется множество участников, чтобы выявить сколько-нибудь значительное влияние факторов. Это, конечно, не проблема, если вы Google или Twitter, но если вы продаете сосиски в одном из районов Сиэтла, то такой вариант может вызвать затруднения. Вычислить продолжительность теста можно с помощью Google Калькулятора и калькулятора VisualWebsiteOptimizers. Эти вычисления, однако, основаны на очень неточной информации, так как изменения в коэффициенте конверсии неизвестны — ведь это как раз и есть предмет тестирования.Рассмотрим дробное тестирование. Метод дробного тестирования был популяризован Гэнъити Тагути, его иногда называют методом Тагути. В этом варианте тестирования в эксперимент включается только часть общего числа комбинаций. Вместо того, чтобы проверять все возможные комбинации, дробное тестирование позволяет проанализировать лишь часть из них, достаточную для вычисления коэффициента конверсии всех комбинаций.В данном примере достаточно будет проверить 4 разных комбинации и использовать взаимодействие между выбранными факторами, чтобы посчитать те сочетания фактором, которые не были включены в эксперимент. 4 выбранные группы: ABC; A + (BC); B + (CA); C + (BA).Вместо того, чтобы три раза тестировать фактор А, мы делаем это лишь один раз, оставляя при этом В и С постоянными. Точно так же, фактор В тестируется один раз с постоянными А и С, а фактор С тестируется один раз с постоянными А и В. Не стану слишком далеко углубляться в статистику, так как все математические расчеты делает за нас программа.Дробный тест предполагает, что факторы независимы друг от друга. Если существует взаимодействие между факторами (например, между картинкой и заголовком), это повлияет на достоверность результата теста. Одна из особенностей дробного теста в том, что один фактор (например, А) может смешаться с взаимодействием между двумя другими факторами (например, ВС). Это значит, существует риск, что мы не будем знать, вызвано ли изменение фактором А или взаимодействием ВС. Таким образом, если у вас достаточно времени и посетителей, полнофакторный тест часто более эффективен, чем дробный.Проверка условий тестирования с помощью теста А/А
Большинство маркетологов знакомы с тестами А/В. Менее известен тест А/А. Этот вариант теста позволяет проверить условия тестирования, и его стоит провести перед началом А/В или многомерного теста. Тест А/А показывает, правильно ли распределены пользователи и нет ли погрешностей в условиях проведения тестирования.В тесте А/А пользователи распределяются так же как для теста А/В или для многомерного теста, но все группы видят одинаковые изменения. Результаты теста должны быть незначимыми, поэтому мы не делаем различий между группами. Если результат значимый, это значит, что в его условиях что-то не так, и результаты последующих тестов будет ошибочны. Но, как уже было сказано, иногда тест А/А бывает значимым из-за случайных ошибок/погрешностей.Тест А/А также хорошо подходит для того, чтобы показывать сотрудникам, начальству и клиентам то, как колеблются данные, и то, что они не должны слишком обольщаться, когда видят рост коэффициента с достоверностью в 80%. Особенно на ранних стадиях экспериментов.Статистическая значимость
В идеальном эксперименте все показатели остаются постоянными, кроме независимой переменной (это то, что мы хотим исследовать, например, теглайн, призыв к действию, изображения). Но в реальности многие показатели не являются постоянными. Например, при проведении теста А/В пользователи разделяются на две группы. Так как все люди разные, обе группы никогда не будут состоять из одинаковых людей. Это не проблема, если другие показатели располагаются в случайном порядке. Однако это вносит некоторую погрешность в данные. Вот почему мы используем статистические тесты.Мы считаем результат статистически значимым в том случае, если существует лишь небольшая вероятность того, что различие между группами вызвано случайной ошибкой. Другими словами, цель статистических тестов состоит в проверке вероятности того, что два образца результатов были получены в одинаковых условиях, что между группами нет «настоящих» различий, и что все изменения вызваны погрешностями.В большинстве экспериментов и экспериментальных программ достоверность в 95% используется как порог значимости, хотя это число может меняться. Если разница между двумя средними значениями групп является значимой при 98% вероятности, мы принимаем такой результат как значимый, даже несмотря на то, что существует 2% вероятности, что разница в результатах вызвана случайностью. Таким образом, статистические тесты показывают, насколько мы можем быть уверены в том, что разница в результатах не вызвана случайной ошибкой/погрешностью. В Google Website Optimizer эта вероятность называется chance to beat original (шанс превзойти оригинал).Полезный совет: повышайте трафик к экспериментальным условиям постепенно
Последний совет: медленно повышать процент трафика к экспериментальным условиям. Если вы начали с 50% посетителей к контрольному условию и 50% к экспериментальному условию, у вас могут возникнуть затруднения, если что-нибудь в условиях будет нарушено. Лучше начать с 5% пользователей к экспериментальному условию (условиям). Если все хорошо, повысить до 10%, потом до 25% и, наконец, до 50%. Таким образом вы сможете выявить критические ошибки раньше, чем это сделает большинство пользователей.P.S. Если вы хотите узнать больше или поделиться своими знаниями про эксперименты и инструменты оптимизации коэффициента конверсии, вас, возможно, заинтересует эта группа на Facebook.