Второстепенные объекты теста

 

Виртуальная визитка и все её составляющие: адрес (центр города или окраина), телефон (8800 или 495), время работы (круглосуточно или будни с 9 до 18) – всё это может влиять на показатели. Кроме этого, есть домен, который может отображаться в объявлении на поиске два раза, и фавикон. В тексте и быстрых ссылках можно тестировать наличие или отсутствие ключевых слов, цифр и символов, порядок слов. Какой‑то вариант рано или поздно даст лучший результат. Если трафик небольшой, то до таких тестов может и не дойти. Да и если большой – вариантов тестирования огромное количество. Поэтому можно поменять уже не один элемент, а сразу несколько.

Когда всё протестировано, остаётся проверять самые бредовые гипотезы – нарушать все возможные правила. Сделать одно объявление на все ключевики, использовать шаблон, в заголовке не писать ключевики, проверить все стратегии, убрать низкочастотники. Вероятность низкая, но бывают исключения. В любом случае с этого не стоит начинать. Пробовать такие варианты можно, лишь когда заявки уже стабильно идут и есть запас бюджета.

 

Техническое решение

 

Существует несколько технических решений проведения А/Б‑тестирования. Директологи постоянно спорят, какое из них эффективнее. Поэтому я опишу все варианты, указав их преимущества и недостатки.

Есть два основных вида тестирования: одновременно и по очереди. В первом случае два объявления чередуются между собой автоматически, показываясь по очереди (их ротирует Яндекс). Очевидное преимущество такого метода в том, что внешние условия (начиная от количества конкурентов и заканчивая курсом доллара) одинаковы для каждого объявления. Во втором случае объявления показываются по очереди, но чередуем их мы сами – по часам, дням, неделям или даже месяцам. Внешние условия меняются, но по некоторым другим параметрам такой вариант имеет преимущества.

Для любого случая тестируется вся кампания или большая однотипная группа ключевиков (например, если мы продаём готовый бизнес, то можно отдельно протестировать группу горячих ключевиков, которые содержат слово «франшиза»). Тестировать отдельное объявление есть смысл, если показатели по нему слишком низкие. Но об этом мы будем говорить в следующей главе, сейчас же важно понять общие принципы теста. Также важно понимать, что в разные дни (например, понедельник и четверг) и в разное время дня люди ведут себя абсолютно по‑разному. Сравнивать клики, сделанные утром и вечером, нет никакого смысла.

Начнём с первого варианта. Здесь есть два способа: запуск двух кампаний одновременно или тестирование с помощью групп объявлений.

Группы объявлений – инструмент Директа, который позволяет на один ключевик сделать несколько объявлений. Он показывает их по очереди и через какое‑то время оставляет самое кликабельное (имеющее самый большой CTR). Выглядит здорово, но есть большой недостаток: система ротирует их очень медленно, причём на практике совсем неравномерно – в разное время суток, в разные дни недели. Поэтому есть смысл использовать только для ВЧ‑ключевиков или в РСЯ. Каждое объявление нужно пометить своей UTM‑меткой, чтобы смотреть не только его CTR, но и другие показатели. На поиске, сделав группы для высокочастотников, лучшее объявление потом переносится на все остальные НЧ‑ключевики. Я не люблю этот способ ещё и потому, что в нём всё автоматизировано и на ход теста нельзя повлиять. Единственный параметр оценки Яндекса – CTR. В скором времени показываться будет только одно из объявлений. С помощью групп я тестирую только картинку в РСЯ и призывы к действию – элементы, которые влияют, как правило, только на CTR.

Дополнительная группа объявлений делается очень легко. Для этого необходимо в рекламном кабинете перейти в управление кампанией с помощью Excel и выгрузить рекламную кампанию. С помощью фильтров найди строчки с объявлениями, которые требуется протестировать. Скопируй эти строчки полностью и вставь в самом низу, под все остальные объявления (для удобства их можно выделить цветом, чтобы не перепутать с уже существующими строчками). В колонке «дополнительное объявление группы» поменяй «‑» на «+».

Очисти поля «ID объявления» (только в новых строчках!). И поменяй в объявлениях тестируемый элемент (например, призыв к действию). Также стоит изменить UTM‑метки (utm‑content=zagolovokl), чтобы в метрике можно было посмотреть, какое из объявлений лучше сработало.

Картинку поменять немного сложнее, так как для этого нужно изменить ссылку. Самый простой вариант – заранее (до выгрузки) поменять картинку в одном из объявлений с помощью интерфейса и скопировать ссылку на неё в новые добавленные строчки (колонка «изображение»).

После этого сохрани файл и загрузи его обратно в интерфейс.

Таким образом, на один ключевик может быть два и более объявления, которые Яндекс будет чередовать самостоятельно, пока не выявит более кликабельный вариант.

Кстати, так же можно сделать отдельное объявление для мобильных устройств. Они могут быть короче, без переноса части текста в заголовок, с призывом к действию «звоните»! В файле всё делается аналогично добавлению объявлений в группы, только в колонке «мобильное объявление» также нужно поменять «‑» на «+».

Запуск двух кампаний одновременно чем‑то похож на тесты с помощью групп объявлений: мы делаем две копии кампании (с одним‑единственным отличием) и запускаем обе. Яндекс показывает их по очереди, постепенно оставляя лучшие объявления. Этот метод включает в себя все недостатки групп и имеет ещё один, гораздо более существенный: в одной кампании уже есть накопленный CTR, вторая – абсолютно новая, и в ней считается прогнозный. Поэтому объявления будут показываться на разных позициях и преимущество будет у первой кампании: вторая будет видна гораздо реже.

Тестируя объявления по очереди, мы избегаем всех этих недостатков. Всё тестируется в одной кампании, поэтому CTR одинаковый. На тест каждого варианта выделяется семь дней. Практика показывает, что в один и тот же день недели люди ведут себя схожим образом. Главное, не тестировать на стыке сезонов и в праздники. Тест идёт сразу по всем ключевикам, в том числе по низкочастотным. Для одной группы ключевиков текст объявления срабатывает, как правило, один и тот же. Однако тестировать только по ВЧ не очень хорошо: тест затянется. Ведь основную массу переходов мы получаем именно с НЧ. А подводить итоги одного теста можно минимум по 300 кликам. Поэтому этот вариант я считаю оптимальным.

Технически это делается очень просто: выгружается кампания, в ней меняется один элемент, загружается обратно. Все данные до теста лучше куда‑нибудь записать. Через неделю новые показатели анализируются и сравниваются с предыдущими. После этого выбирается лучший вариант и проводится следующий тест.

Однако и в этом случае есть свои недостатки, причём существенные: зачастую одна неделя может существенно отличаться от другой. Особенно это касается рынка В2С (Business to consumer, то есть это товары и услуги для конечного потребителя), так как там большое влияние имеют дни зарплат. В этом случае остаётся следующий метод – «шахматки». Это не самый мой любимый метод, но в подобных случаях альтернативы ему на данный момент не существует. Понять, насколько сильно отличается одна неделя от другой, очень просто. Для этого нужно накопить статистику хотя бы за месяц и посмотреть, велики ли скачки. Если важные показатели (раскрыты в предыдущей главе) каждую неделю «скачут» более чем на 10 % относительно среднего показателя, то тест по неделям теряет всякий смысл. Невозможно будет оценить, вызвано изменение тестом или очередным скачком.

 

Пример приемлемого разброса CTR – не более 7 % от среднего

 

Метод «шахматки» подразумевает создание двух новых кампаний, показы в которых чередуются по часам (0–1 час – первая кампания, 1–2 часа – вторая кампания и т. д.). Тестировать необходимо так же одну неделю. Безусловный плюс этого метода – равномерный показ объявлений при одинаковых внешних условиях. Однако и минусы у него не самые приятные. Во‑первых, тестируя таким образом, приходится каждый раз создавать новые кампании – в противном случае из‑за различного накопленного CTR они будут в неравных условиях, и результат может оказаться обманчивым. (Напомню, что от CTR зависит доля показов на высоких позициях и стоимость входа на них.) А если каждая кампания получает хотя бы 70‑100 кликов в день, то реальный CTR начнёт оказывать своё влияние уже к концу тестируемой недели. Во‑вторых, любая кампания, запущенная с нуля, имеет время так называемого «расклика». Первые дни Яндекс как будто не доверяет новым объявлениям и начинает их очень аккуратно, постепенно «внедрять» в аукцион. Требуется некоторое время, чтобы объявления раскочегарились на полную мощность и наравне с остальными рекламодателями участвовали в аукционе. Порой в особо конкурентных нишах «расклик» занимает как раз около недели. Из‑за этого приходится или выставлять завышенные ставки, или терять значительную часть показов (до половины). Третья проблема – невозможность набрать действующий CTR и снизить цену клика, если проводить один тест за другим (а ведение кампании подразумевает постоянное тестирование). Приходится каждый раз создавать две новые кампании, которые вынуждены заново набирать CTR. А как показывает практика, прогнозный CTR обычно ниже, чем реальный. Поэтому цена клика по ходу ведения кампании не снижается, как это обычно происходит (нередко за счёт хорошего CTR удаётся снизить расходы в 2–3 раза). А кому хочется переплачивать?

Поэтому данный метод хорош для разовых глобальных тестов в том случае, если поочерёдные недельные тесты невозможны из‑за скачков. Но его постоянное использование приводит к значительной переплате и потере показов.

Настроить «шахматки» очень просто. Кампания выгружается из интерфейса дважды (создаём два дубля). В обоих файлах необходимо очистить ячейку «№ заказа» (номер рекламной кампании, состоящий из 7–8 цифр). В одном варианте больше ничего не меняем, во втором вносим те изменения, которые необходимо протестировать. Обязательно меняем UTM‑метки, чтобы в метрике легко различить оба варианта между собой. Выгружаем обе кампании в интерфейс, как новые, и заново выставляем все параметры. С помощью временного таргетинга настраиваем чередование, как показано на скриншоте ниже. Важно удостовериться, что случайно не выставлено одно и то же время. Выстави время начала и окончания кампаний таким образом, чтобы они автоматически включились в понедельник ночью и отключились в воскресенье вечером. Основную кампанию, копия которой тестируется, также надо вспомнить вовремя остановить и настроить время запуска. Кроме того, назови кампании так, чтобы четко понимать, что именно в них проходит тест. (Например, «Шахматки/поиск/горячая/свето‑диоды/вариант 2»).

Этим методом можно тестировать и отдельные объявления – не обязательно целую кампанию.

 

Настройка временного таргетинга для «шахматок»

 

 

На что стоит обратить внимание в А/Б‑тестировании

 

В тестировании есть несколько важных нюансов. Надеюсь, они предостерегут тебя от нескольких частых ошибок.

1. Когда я говорю о том, что для тестирования должно быть минимум 300 кликов и запускать тест нужно на семь дней, я имею в виду, что кампания уже стабильно работает. Если же заявок мало, бюджет «улетает» и вообще непонятно, что происходит (а начальство нервничает), – в этой ситуации можно тестировать даже по дням, в быстром темпе по 150–300 кликов на один тест. Цель такого теста – не постепенное увеличение показателей, а хотя бы минимальное исправление ситуации. Но в этом случае важно особенно глубоко копаться в Метрике, изучать поведение пользователей на сайте и тщательно всё анализировать: каждый тест должен быть максимально взвешен и выверен.

2. Не стоит зацикливаться только на рекламе: обязательно нужно тестировать сайт. Иногда замена заголовка на сайте повышает конверсию в два раза. А ещё можно проверить различные картинки, фон, форму, цвет кнопки, расположение блоков, тексты, шрифты, значки, видео, карту и т. д.

3. Обязательно сохраняй предыдущие варианты кампаний. У тебя должна быть отдельная папка, в которой выгружены все варианты кампаний за всю историю, чтобы в случае чего ты легко восстановил предыдущую версию.

4. Качество теста – на первом месте. Например, ты решил протестировать одностраничный сайт вместо большого. После теста конверсия упала, и логичная реакция – у меня лэндинги не работают. Хотя возможно, на сайте кривая вёрстка, режущий глаза дизайн, сделанный по плохому шаблону, не проработана целевая аудитория, нет логики в расположении блоков, заголовок «не цепляет» и т. д. Тест имеет смысл только при тщательном продумывании и профессиональном исполнении. Если тест оказался неудачным, то первый вопрос, который необходимо задать, звучит так: «А всё ли правильно было сделано?»

5. Тестирование должно быть основано на аналитике. Есть анекдот, где мужик говорит: «В этот Новый год не буду есть мандарины. Пора уже выяснить, из‑за чего мне всегда так плохо 1‑го января». Смешно? Но так же ведёт себя большинство рекламодателей. Не надо менять что‑то случайным образом: проанализируй вебвизор, показатели, объявления конкурентов, выяви слабые стороны – и для них уже проводи тест. Какой смысл тестировать фавикон, когда у тебя доставка осуществляется на следующий день, а у конкурентов – в день заказа?

6. Нельзя путать между собой правки и тест гипотезы. Правка – это исправление ошибки или неточности, какое‑либо уточнение. А тест всегда основан на гипотезе, которая, в свою очередь, основана на аналитике. Если нужно что‑то исправить – смело меняй в действующей рекламной кампании, не выделяя для этого специально время. Но иногда грань между правкой и тестом может быть размыта. То, что один аналитик увидит как явную ошибку, другой может посчитать спорным моментом. В этом случае стоит посоветоваться с коллегами, услышать их мнение на этот счет. В любом случае решение за тобой.

А как понять результат теста? Многие определяют его на глаз: «Вроде заказов больше не стало». Это в корне неверный подход. Следует замерять все возможные показатели: CTR, конверсию сайта, конверсию отдела продаж (возможно, заявок стало больше, но их качество упало), средний чек, время на сайте, глубину просмотра, показатель отказов. Изучи все показатели по отдельности и в комплексе и только после этого оставь лучший вариант.

 

Есть время, когда тесты проводить я категорически не рекомендую, так как погрешность будет очень большой. Это стыки сезонов покупательской активности, времён года, государственные праздники.

 

Как ты думаешь: 16 августа и 1 сентября, 29 декабря и 12 января поведение потребителей будет одинаковым? Потребности и «боли» те же? Денег в кармане всегда одинаковое количество? Разумеется, какие‑то колебания происходят постоянно: дни выдачи зарплат, колебания курса доллара, погода на улице, ТВ‑программы и прочее всегда будут добавлять некую погрешность. Если обращать на это внимание, особенно на первых этапах, мы не сможем ничего протестировать. Но есть время, когда тесты проводить я категорически не рекомендую, так как погрешность будет очень большой. Это стыки сезонов покупательской активности, времён года, государственные праздники. Кроме того, всегда стоит учитывать, что в нишах бывает большая и меньшая активность (проведение крупных фестивалей, чемпионаты, выборы, митинги, войны, падение метеоритов и т. д.) – из‑за этого спрос может резко меняться. Пример в моей нише: есть один крупный бизнес‑тренинг, который проходит несколько раз в год; в один из выходных на нём дают задание настроить Яндекс. Директ, и в течение недели спрос на мои услуги очень большой: много посещений сайта и группы, заявок. Но при этом качество заявок такое, что приходится всем отказывать («настройте мне 5000 объявлений за два дня и за 500 рублей»). Зато многие из обратившихся становятся хорошими клиентами потом, через 3‑12 месяцев после тренинга.

В любом случае результат теста нужно закрепить. Для этого есть два варианта. Во‑первых, его можно повторить заново и сравнить результаты. Во‑вторых, полезно провести А/А‑тест. То есть создать те же самые условия, при этом чередуя два абсолютно одинаковых варианта. Порой выводы удивляют и огорчают – у А/А‑теста разница между двумя вариантами бывает не меньше, чем у А/Б‑теста. И в этом случае принять решение о том, какой вариант оставить, будет очень и очень сложно.

Суть этой главы – внедряй! Хватит читать очередную книгу и смотреть видео – в этом нет смысла, если ты не пробуешь! Прямо сейчас отложи книгу и протестируй текст объявления своей кампании. Важно понять суть А/Б‑тестирования и закрепить навык внедрения. У меня есть знакомый, владелец агентства недвижимости в Петербурге. Он проходит огромное количество бизнес‑тренингов и мгновенно внедряет абсолютно всё, о чём идёт речь. Тесты – это отдельная статья его расходов: он выделяет на них минимум 100 000 руб. в месяц! По его словам, он готов провести 10 тестов и потратить на это миллион: девять из них не сработают, а десятый удвоит прибыль. И его бизнес действительно работает хорошо! Когда я повторил эту бизнес‑модель, моя эффективность также выросла в разы. А эта книга родилась именно благодаря тестам: я провёл их бесчисленное множество, прежде чем сформировал свою концепцию и принципы работы с контекстной рекламой.

 

Резюме

 

А/Б‑тест – это подмена одного элемента РК с целью выявить лучшее сочетание. Тестирование – единственный инструмент, который на 100 % гарантирует результат.

Важен порядок тестирования – от главного к второстепенному. Тестирование – бесконечный процесс.

Лучше всего тестировать в одной кампании по одной неделе.

 

Задание

 

Проведи А/Б‑тест текста одного объявления своей рекламной кампании.

 

 

Глава 16