Сколько гипотез тестировать одновременно?

На старте одну-две оси. Лучше один чистый тест, чем пять смешанных.

Почему нельзя судить по CTR?

Высокий CTR при слабой конверсии только тратит бюджет. Решение принимаю по цене заявки и её качеству.

Где взять идеи для тестов?

В рекомендациях оценки эффективности, в «Креативной студии» с идеями других рекламодателей, в статистике и в причинах отказов из CRM.

Что записывать, если тест не сработал?

Отрицательный вывод и условия: сезон, аудитория, бюджет. Это защищает от повторения того же теста через месяц.

Где смотреть результаты?

В кабинете по группам и объявлениям: расход, CTR, результаты, цена результата. Заявки сверяйте с UTM и CRM.

Тестирование гипотез в VK Рекламе: формулировка и реестр

Для кого

Для тех, кто правит кабинет VK Рекламы «на глаз» и не может сказать, какое изменение что дало.

Тестирование гипотез в VK Рекламе это цикл: сформулировать проверяемое предположение с критерием успеха, выбрать одну переменную, запустить отдельную группу с равным бюджетом, дождаться достаточного числа результатов и записать вывод в реестр. Идеи для гипотез дают сам кабинет (рекомендации в оценке эффективности, «Креативная студия» с идеями других рекламодателей), заявки в CRM и отзывы клиентов. Приоритет отдаю тестам, которые сильнее влияют на цену заявки и дешевле проверяются.

Коротко

Пять шагов.

Гипотеза с метрикой и критерием успеха
Одна переменная
Отдельная группа с равным бюджетом
Порог решения до старта
Вывод в реестр, даже отрицательный

Как формулировать гипотезу

Если X, то Y, потому что Z.

Примеры гипотез

Аудитория
Гипотеза
Если взять ключевые фразы вместо интересов, цена заявки снизится, потому что спрос горячее
Критерий успеха
Цена заявки ниже на заметную величину при сопоставимом качестве в CRM
Оффер
Гипотеза
Если заменить скидку на бесплатную диагностику, конверсия клика в заявку вырастет, потому что барьер ниже
Критерий успеха
Выше CR при той же цене клика
Визуал
Гипотеза
Если заменить сток на фото реальной работы, CTR вырастет, потому что это правдоподобнее
Критерий успеха
Выше CTR и не хуже CR
Форма
Гипотеза
Если добавить вопрос о бюджете в лид-форму, доля целевых заявок вырастет
Критерий успеха
Больше целевых в CRM на ту же сумму

Где брать гипотезы

Внутри кабинета и у клиентов.

Оценка эффективности
кабинет сравнивает кампании с похожими и по жёлтому знаку показывает рекомендации
«Креативная студия»
блок «Идеи от других рекламодателей» с фильтрами по категории, аудитории и бюджету
Расширенная статистика
демография, география, ключевые фразы, где результат дешевле
CRM и звонки
причины отказов подсказывают, что поменять в оффере
«История изменений»
что уже пробовали и когда

Как выбрать, что тестировать

Сначала то, что сильнее влияет.

Обычно порядок такой: аудитория, оффер, заголовок, визуал и формат. Нет смысла полировать баннер, если он показывается не тем людям.

Цикл одного теста

Ошибка или ещё рано судить.

Механика равного сравнения и встроенный сплит-тест лид-форм описаны в отдельной статье про сплит-тест. Главное правило: несколько объявлений в одной группе не дают чистого сравнения, алгоритм сам перераспределяет показы.

Реестр гипотез

База знаний по вашей нише.

Частые вопросы

5 вопросов

: Ответ
На старте одну-две оси. Лучше один чистый тест, чем пять смешанных.

: Ответ
Высокий CTR при слабой конверсии только тратит бюджет. Решение принимаю по цене заявки и её качеству.

: Ответ
В рекомендациях оценки эффективности, в «Креативной студии» с идеями других рекламодателей, в статистике и в причинах отказов из CRM.

: Ответ
Отрицательный вывод и условия: сезон, аудитория, бюджет. Это защищает от повторения того же теста через месяц.

: Ответ
В кабинете по группам и объявлениям: расход, CTR, результаты, цена результата. Заявки сверяйте с UTM и CRM.

Тестирование гипотез в VK Рекламе: системный подход