Читать книгу В одно касание. Бизнес-стратегии Google, Apple, Facebook, Amazon и других корпораций - Нил Мехта - Страница 13

Взгляните на эти скриншоты одного и того же фрагмента Washington Post. Заметили разницу?

Разные версии одного и того же заголовка в Washington Post. Источник: The Washington Post

Заголовки различаются! В 2016 году газета Washington Post предоставила авторам возможность указывать два разных заголовка одной статьи. Но зачем?

На самом деле этот эксперимент проводился для того, чтобы максимально увеличить количество кликов на статьи. В ходе него одной группе, скажем, половине случайно выбранных пользователей, автоматически показывается одна версия заголовка, остальным предлагается другая. Через некоторое время после начала эксперимента разработчики получают конкретную статистику или показатели, например количество кликов на заголовок. Они решают, какая версия лучше, и представляют ту, которая набрала большее количество кликов. Это простой, но действенный способ повысить эффективность работы приложения. Например, на первую версию вышеуказанного заголовка кликнули 3,3 %, а на вторую – 3,9 %. Изменение всего нескольких слов дало прирост в 18 %!

Эта методика называется A/B-тестирование – отличный способ повысить эффективность работы онлайн-продукта с помощью компьютера. Методика получила такое название потому, что сравнивается как минимум два варианта – A и B.

A/B-тестирование показывает как минимум два варианта одного и того же элемента (A и B), сравнивая соответствующие значения, чтобы выяснить, какой вариант показать всем пользователям. В данном случае – вариант А, с более высоким коэффициентом выполнения требуемых действий пользователей (или «кликов»). Источник: VWO

Не знаете, какой слоган заставит людей покупать? Вместо бесконечных дебатов просто проведите A/B-тестирование! Не знаете, какая кнопка «зарегистрироваться» будет более популярна среди пользователей – зеленая или красная? Проведите тестирование! (К слову, в ходе одного эксперимента на красную кнопку кликнули на 34 % больше респондентов.) Не знаете, какой аватар в Tinder больше свайпнут? Сервис позволяет запустить A/B-тестирование, чтобы выяснить, какие фотографии, если они есть в основных изображениях профиля, помогут получить больше свайпов вправо.

Все новости, которые прошли тест

Вернемся к вопросу: почему же в каждой статье Washington Post предлагается две версии каждого заголовка? Это часть системы A/B-тестирования, которая называется Bandito. Она тестирует разные версии заголовка, чтобы понять, какой из них более кликабельный, чтобы потом чаще его показывать.

A/B-тестирование очень широко используется новостными агентствами. С помощью него BuzzFeed ищет самые кликабельные заголовки. Upworthy, конкурент BuzzFeed, обычно проверяет до 25 версий одного заголовка, стараясь найти идеальный вариант. A/B-тестирование играет очень важную роль: согласно Upworthy, разница между хорошим и идеальным заголовком – тысяча против миллиона просмотров.

Многие другие приложения и веб-сайты также проводят A/B-тестирование. Например, Facebook постоянно внедряет новые функции для «ограниченной группы испытуемых». Snapchat позволяет рекламодателям проводить A/B-тестирование своей рекламы, чтобы выбрать наиболее популярную. Даже обычные магазины могут проводить такое тестирование: на основании его результатов магазин может поменять фоновую музыку в торговом зале, чтобы покупатель максимально увеличил свои расходы.

Проверка достоверности

Есть один важный момент, который необходимо учитывать при статистическом тестировании: нужно проверить, полученный результат реален или это просто случайность. Допустим, если подбросить монетку шесть раз и пять из них выпадет орел. В этом случае нельзя однозначно утверждать, что монетка действительно перевешивает в сторону орла – это может быть просто случайность. Но если подбросить монетку шестьсот раз и пятьсот из них выпадет орел, это уже о чем-то говорит.

Когда компании проводят A/B-тестирование, экспериментаторы представляют отчет о том, как изменились определенные показатели двух версий. Они также предоставляют статистику, называемую p-значение, показывающую вероятность того, что полученная разница значений обусловлена случайностью. Обычно если p < 0,05 (то есть вероятность того, что разница будет случайной, составляет менее 5 %), можно предположить, что изменение было значимым, или «статистически достоверным». В противном случае нельзя быть уверенным, что полученные данные – это не случайность.

Предположим, что для половины своих пользователей Amazon немного увеличила размер кнопок «Добавить в корзину», в результате продажи выросли на 2 %, при p = 0,15. И хотя кнопка большего размера кажется хорошим решением, есть 15 %-ная вероятность, что увеличение продаж произошло совершенно случайно, а не благодаря изменению кнопки. 0,15 больше, чем 0,05, поэтому тестировщики Amazon не будут вводить кнопку большего размера.

Поэтому если вы когда-нибудь поведетесь на заголовок-приманку «18 Food Arguments So Strong That They End Friendships», не расстраивайтесь – вы столкнулись с гремучей смесью социальных наук, разработки программного обеспечения и статистики. Как ни крути, а A/B-тестирование очень эффективно.