Когда мы изучаем поведение людей, мы сталкиваемся с соблазном положиться на их свидетельства, хотя именно они зачастую бывают ошибочными. Если есть возможность каким-либо образом измерить параметры поведения, а не ограничиваться отчетами участников, вероятность решить проблему возрастает.
Можно также проводить эксперименты над самим собой — это даст более точные ответы на вопросы о том, что влияет на ваше здоровье и благосостояние, чем любые случайные наблюдения.
9. Не слушайте «гиппопотамов»
Вскоре после того, как Барак Обама объявил о своем намерении баллотироваться в президенты на выборах осенью 2007 г., председатель совета директоров компании Google Эрик Шмидт взял у него интервью на пресс-конференции с участием работников компании[121]. В начале Шмидт в шутку спросил Обаму: «Как лучше всего сортировать миллион 32-разрядных чисел?» Не дожидаясь, когда Шмидт задаст первый серьезный вопрос, Обама быстро ответил: «Мне кажется, метод пузырьковой сортировки лучше не использовать». В принципе это был верный ответ, и Шмидт в изумлении хлопнул себя по лбу, а аудитория разразилась аплодисментами. Позже в ходе интервью Обама заверил аудиторию: «Я свято верю в разум, факты, доказательства, науку и обратную связь». Он пообещал, что, заняв пост, будет руководствоваться именно этими принципами.
Присутствовавший на пресс-конференции менеджер по продукции Дэн Сирокер тут же, на месте принял решение работать на Обаму: «Он меня покорил этой пузырьковой сортировкой».
Сирокеру было что предложить штабу предвыборной кампании Обамы. Он объяснил сотрудникам штаба, как правильно проводить А/В-тестирование (оно же сплит-тестирование). Если вы не знаете, какой метод или процедуру лучше выбрать, чтобы достичь нужной цели, сравните их, решив с помощью подбрасывания монетки, кто будет использовать метод А, а кто — метод Б. Затем вы собираете интересующие вас данные и анализируете их, сравнивая средние результаты метода А со средними результатами метода Б с помощью любого подходящего статистического теста.
В этой главе дается детальное объяснение того, что из себя представляет А/В-тестирование и как правильно применять его принципы в профессиональной деятельности и в повседневной жизни. Если вы поймете, как создается настоящий эксперимент, вы будете отлично подготовлены к восприятию и критике квазинаучных открытий, публикуемых в СМИ.
А/В-тестирование
К тому времени, когда Дэн Сирокер присоединился к работе над сайтом предвыборной кампании Обамы, разработчики из Google и других интернет-компаний уже несколько лет тестировали различные варианты вебстраниц в режиме онлайн. Вместо того чтобы полагаться на мнение «гиппопотамов», как насмешливо называют людей с самыми высокими доходами (от HiPPO — highest-paid person’s opinion), они руководствовались только неоспоримыми фактами, выбирая, какой вариант лучше работает. Одной группе пользователей предложили дизайн страницы с преобладанием синего цвета, другим пользователям — с преобладанием красного цвета. Им нужна была информация о «проценте кликнувших». В теории каждый элемент дизайна веб-страницы — от цветовой гаммы и до расположения текста и картинок — нужно одновременно тестировать на случайно выбранных пользователях. Именно такие доказательства (а не мнения видных экспертов) стали решающим фактором при выборе элементов дизайна сайта.
А/В-тестирование при разработке политических сайтов применялось просто и незатейливо. Главный вопрос — какой дизайн веб-страницы даст наибольшее число зарегистрировавшихся на сайте, то есть наибольшее количество адресов электронной почты сторонников и потенциальных жертвователей? Какая кнопка соберет больше подписчиков — «Узнать больше», «Присоединиться сейчас» или «Подписаться сейчас»? Какая картинка покажется наиболее привлекательной — светлый портрет Обамы на бирюзовом фоне, черно-белая фотография его семьи или видео с записью выступления Обамы?
Мне кажется, вы не догадались бы, что наиболее эффективным оказалось сочетание кнопки «Узнать больше» и семейной фотографии. И не просто наиболее эффективным. Это сочетание принесло на 140% кликов больше, чем наименее удачное сочетание, что означало огромную разницу в числе пожертвований и голосов.
Веб-дизайнеры на своем опыте удостоверились в правоте догадки, которую социальные психологи высказали десятилетия назад о поведении человека в новых для него ситуациях. Сирокер выразил эту мысль так: «Предположения обычно оказываются неверными».
Начиная с 2007 г. сплит-тестирование играет важную роль при принятии различных решений во всех политических кампаниях Обамы. Политтехнолог и бывший социальный психолог Тодд Роджерс провел для президента США десятки экспериментов. Некоторые из них походили на гадание. Что принесет больше пожертвований и голосов на выборах — автоматический звонок от Билла Клинтона или живой звонок от волонтера? (Выяснилось, что последнее гораздо эффективнее.) А визит волонтера прямо перед выборами — самый эффективный способ уговорить кого-то пойти на выборы.
В настоящее время проводится масса исследований, цель которых — найти самый эффективный способ получения максимального количества голосов на выборах. Что более эффективно стимулирует людей к походу на избирательные участки — если вы скажете им, что ожидается низкая или высокая явка? Некоторые думают, что, если сказать, что явка на выборах обещает быть низкой, это заставит их пойти проголосовать. Быстрый анализ эффективности затрат показывает, что в этом случае ваш голос будет иметь большее значение, чем при высокой явке. Но вспомните, как восприимчивы люди к влиянию социума. Они хотят делать то, что делают другие люди, похожие на них. Если большинство окружающих много пьют, они тоже будут пить; если большинство не пьет, они тоже бросят. Если большинство использует полотенца в отеле несколько раз, другие поступят так же. Поэтому, если сказать избирателям, что явка в их районе будет очень высока, это будет гораздо эффективнее, чем если сказать им, что явка будет низкой.
Эффективно ли давать людям понять, что вы знаете, что они голосовали на прошлых выборах — и что после этих выборов вы вновь проверите, проголосовали ли они? Людям нравятся быть хорошими гражданами в глазах других людей — и в своих собственных глазах тоже. Поэтому вас не должно удивлять, что обещание проверки может увеличить явку на 2,5%, а то и больше[122]. Но только сплит-тестирование может показать, принесет ли тактика обещанной проверки положительный или отрицательный результат и будет ли результат вообще.
Как в 2008-м, так и в 2012 г. у штаба Обамы было много припрятанных в рукаве козырей, которые стали полной неожиданностью для республиканцев. В 2012 г. республиканский кандидат Ромни был настолько уверен в своей победе, что даже не приготовил речь на случай поражения.
Однако республиканцы и сами отлично умеют играть в подобные игры со сплит-тестами. Еще в 2006 г. работникам предвыборного штаба губернатора Техаса Рика Перри стало ясно, что рассылки по электронной почте, оплаченные телефонные звонки и устанавливаемые на газонах агитационные щиты практически не приносят результата. Поэтому штаб Рика Перри не тратил на них деньги, а максимально использовал телеканалы и радиостанции. Чтобы узнать, какие способы агитации являются наиболее эффективными, они выбрали 18 телевизионных каналов и 30 радиостанций и установили даты начала кампании. С помощью опросов общественного мнения организаторы выборной кампании отслеживали, какие избиратели склоняются на сторону Перри. Случайный характер опроса повышал точность результатов. Сотрудникам не разрешалось выбирать метод агитации для определенной местности и контингента избирателей. Если бы они выбирали сами, результаты опросов могли бы быть лучше за счет изменения условий в данном месте, а не из-за того, поместили там рекламу или нет.
В бизнесе сплит-тестирование может быть не менее полезно, чем в политике, потому что исследователи могут поделить население на группы и опробовать на каждой разные методы, сделав выбор случайным образом. Если число случаев (N) очень велико, можно отследить даже незначительную разницу. К тому же в бизнесе, как и в политике, даже небольшое улучшение результата может сыграть решающую роль.
Делая деньги, твори добро
Еще более эффективно используют сплит-тестирование в торговле. Мерчандайзеры считают, что А/В-тестирование одинаково полезно и для повышения качества жизни людей, и для получения дохода.
Сплит-тестирование в одном из супермаркетов города Эль-Пасо проводилось для того, чтобы определить наиболее эффективный способ увеличения продаж фруктов и овощей[123]. Если класть в тележку для продуктов специальный разделитель, на котором написано «Пожалуйста, кладите фрукты и овощи впереди», можно вдвое увеличить продажи овощей и фруктов, что гораздо выгоднее для магазина, чем продажа любых других продуктов, и при этом полезно для здоровья покупателей[124]. Исследователи учитывают и значение влияния социума. Таблички, сообщающие покупателям о том, что каждый посетитель магазина в среднем покупает такое-то количество конкретного продукта, могут значительно увеличить продажи этого продукта. Как выяснилось, такие таблички также невероятно сильно влияют на покупки людей с низким уровнем дохода, для которых особенно важно употреблять в пищу как можно больше овощей и фруктов, но которые склонны покупать полуфабрикаты, а не свежую полезную еду.
