Как настроить аб тестирование яндекс директ

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

UPD: с марта 2020 года эксперименты доступны всем рекламодателям без запроса.

Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент

Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
В Директе привязать сегменты к тестируемым кампаниям.
Сравнить статистику по тестовым сегментам и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.

Для правильного эксперимента вам потребуются:

Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.

В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео.

Важно:

Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий, которые вам нужны.
Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.
После эксперимента не забудьте отвязать сегменты от кампаний.

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.

Пример: сравнение стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций.

Сегмент	Размер сегмента	Расходы в сегменте	Конверсии
Оптимизация количества кликов	50%	100 000 руб.	200
Средняя рентабельность инвестиций	50%	100 000 руб.	500

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий, чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия:

Выбирайте один и тот же временной интервал в Метрике и Директе.
В этом временном интервале эксперимент должен работать.
Нужно ограничить статистику на тот регион, в котором вы проводили тест (то есть и в Метрике и в Директе указать фильтр на регион).

Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое — теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала. Оставайтесь на связи!

Источник

А/Б-тестирование в Яндекс.Директе: как провести и где брать идеи?

Тесты в рекламе помогают находить новые точки роста и повышать эффективность продвижения. Руководитель группы контекстной рекламы в ArrowMedia Анастасия Окорокова рассказывает, как подготовиться к А/Б-тестам и правильно провести их, откуда брать идеи, а также делится опытом агентства.

Огромный потенциал развития любого проекта кроется в постоянном поиске новых точек роста и формировании гипотез для улучшения показателей с их последующей проверкой. А/Б-тесты должны быть неотъемлемой и непрерывной частью управления рекламой.

Переходить к проведению тестов можно, когда вся система маркетинга выстроена наиболее прозрачно: настроены цели, определены ключевые метрики для оценки результатов, запущены все основные типы ключевых слов и рекламных кампаний, есть продажи и выручка. Тогда смело выделяйте время, ресурсы и бюджеты на А/Б-тестирование для улучшения результатов продвижения.

С чего начать?

Сформируйте список гипотез — это предположения о том, где рекламная кампания может работать лучше. Концентрироваться стоит не только на главной цели — получении продаж, можно работать над повышением конверсионности посадочной страницы и объявлений, уменьшением показателя отказов, увеличением кликабельности и прочим.

После формирования списка оцените, какой пункт может дать наибольший эффект, если гипотеза сработает. Так получится сформировать очередность тестов, выделяя в приоритет самые потенциально результативные решения.

Где брать идеи для тестов

Стандартные элементы . Под ними понимаются тексты объявлений, картинки, позиции в выдаче, стратегии управления ставками. Это прекрасный старт для внедрения процесса А/Б-тестирования. Внимательно наблюдайте за результатами, записывайте всё, что заметите, — это может стать отличной базой для следующих тестов.

Рекомендованные настройки и стандарты . Подвергайте сомнениям все настройки, особенно те, что диктуются рынком и системами как правильные и проверенные. К примеру, в сети Яндекса принято не использовать минус-слова: считается, что это ограничивает охват. А что если попробовать применить общий пакет минус-слов? Возможно, станет меньше трафика, но он будет более качественным.

Аналитика . Статистика может стать основным источником вашего вдохновения. На основе отчетов по рекламным кампаниям можно сформировать целый ряд гипотез о том, как улучшить каждый этап пути пользователя к покупке: от показа объявления до заказа на сайте.

Отдел продаж и клиентский сервис . Ценную информацию для гипотез могут подсказать отделы, которые напрямую общаются с клиентами. Они чаще всего знают боль пользователя и причины выбора вашего продукта, удобство сайта и прочие важные мелочи. Опираясь на эти данные можно сгенерировать немало идей.

Конкуренты . Идеи для тестирований можно взять из анализа конкурентов в этой или близкой тематике. Именно так у нас стал популярен вариант с расширенными уточнениями в виде коротких УТП: объявление становилось на строку больше и занимало еще больше места. Мы заметили такой формат у конкурентов бренда, протестировали, отметили рост CTR и стали внедрять для разных тематик.

Как проводить А/Б-тестирование

Шахматное расписание показов — изначальный и самый распространённый способ в Яндекс.Директе примерно до прошлого года.

Определяется гипотеза тестирования. Например, мы хотим проверить, что лучше в качестве посадочной для рекламы: лендинг или основной сайт.

Подбираются кампании для теста. Важно понимать: чем больше трафика и конверсий, тем быстрее пройдет тестирование.

Создаются две копии выбранной кампании для теста. В одной кампании мы ведем на короткий лендинг, а во второй — на основной сайт.

В настройках времени показа настраивается время работы кампаний: час показывается одна, час — другая.

Именно таким образом — по времени — можно разделить всю аудиторию на две части. Это ручной способ деления показов между кампаниями, в котором есть несколько сложностей:

ограничение возможностей: протестировать достоверно более двух вариантов одновременно в этой схеме не получится;

не всегда корректная статистика: если пользователь несколько раз осуществлял поиск в разное время, он мог увидеть два варианта рекламы.

Эксперименты — собственный продукт Яндекса для проведения тестирований, который позволяет делить аудиторию (на поисковых и тематических площадках). С марта 2020 года «Эксперименты» стали доступны всем без предварительных запросов в службу поддержки.

Теперь деление аудитории доверено автоматическим алгоритмам, и это избавило специалистов от части сложностей. Пользователь попадает только в одну группу эксперимента и даже при множественном поиске увидит только свой вариант.

Запуск с помощью «Экспериментов» происходит похожим образом:

Определяется суть теста, затем происходит выборка кампаний.

Создаются копии выбранных кампаний.

Создается «Эксперимент» в Яндекс Аудиториях.

В настройках каждой кампании необходимо привязать соответствующий сегмент «Эксперимента».

Результаты можно сводить на уровне кампаний или с использованием отчета по «Экспериментам» в Директе и Метрике.

А/Б-тестирование можно считать статистически корректным и значимым, если соблюдать специальные правила:

Копировать кампании нужно с уже накопленной статистикой. Это позволит начать тестирование с использованием статистики, которая уже есть. Кампании не будут разгоняться, набирать CTR заново и получать дорогие клики.

Новые кампании должны стартовать вместе с остановкой старой. Одновременная работа не допускается.

Вносить изменения во время тестирования нужно в обе кампании сразу.

Один тест — один элемент. Например, при тестировании заголовков другие элементы менять нельзя, чтобы оценить вклад только этого изменения.

Эксперимент считается завершенным, когда данных для принятия решения будет достаточно. Определить это можно с помощью калькуляторов А/Б-тестов, которых в сети достаточно много.

Больше о проведении тестов

Как тестирование может улучшить результаты

Разберем несколько примеров из нашей практики, когда тестирование помогло оптимизировать продвижение.

Соцдем корректировки в рекламе крупного интернет-магазина мебели

Гипотеза от команды клиента: в наиболее результативных кампаниях с большим количеством трафика не нужны корректировки по полу и возрасту.

Чтобы проверить гипотезу, мы запустили тест. Кампания с корректировками по полу и возрасту принесли клиенту больше трафика и рост среднего чека, как следствие, увеличился доход с сокращением ДРР. Это произошло из-за перераспределения аудитории: реклама стала чаще показываться пользователям с большей покупательской платежеспособностью в сети.

Гипотеза оказалась ошибочной, а по итогам теста корректировки по полу и возрасту были внедрены во все кампании.

Товары-хиты в быстрых ссылках интернет-магазина электроники

Гипотеза: в быстрых ссылках поисковых объявлений эффективнее показывать хиты продаж.

в первой кампании быстрые ссылки остались без изменений и вели на подкатегории;

во второй кампании указаны наименования самых популярных в магазине товаров.

В результате первый тип кампании — на подкатегории — принес больше конверсий и дохода. Конверсия в покупку была выше, этот результат считаем статистически значимым.

Вероятно, так получилось потому, что:

названия «популярных товаров» были непривлекательными;

ссылки на товары не несли никакой ценности для клиента. Подкатегории же в быстрых ссылках давали возможность пользователю получить представление об ассортименте и сразу перейти в необходимый раздел на сайте.

По итогам теста товары-хиты в быстрых ссылках больше не использовались.

Турбо-страницы для медицинской клиники

Гипотеза: посадочные страницы сайта довольно сложные для восприятия и слишком долго грузятся на мобильных устройствах, что снижает конверсию в заявку.

Решение и тест: создать простые турбо-страницы для одного направления и сравнить, какая посадочная отработает лучше для мобильного трафика.

В результате конверсия в обращение с турбо-страниц оказалась почти в два раза выше, а СРА — в два раза ниже. При этом улучшения произошли именно из-за роста конверсии на мобильных устройствах.

После теста на одном направлении мы решили внедрить турбо-страницы на все остальные.

Будьте последовательны и цикличны для роста вашего проекта: анализируйте результаты, формируйте гипотезы, проводите А/Б-тесты, внедряйте положительный опыт и возвращайтесь на первый этап.

Источник

Как настроить аб тестирование яндекс директ