Как тестировать скрипты в продажах с помощью речевой аналитики

Спор о том, называть ли цену в начале разговора или уводить клиента на выявление потребности, в большинстве отделов продаж решается авторитетом руководителя. Проверить, какой вариант работает лучше, вроде бы несложно: дать половине команды одну версию скрипта, половине другую и сравнить конверсию.

Проблема в том, что такой тест почти всегда недостоверен. Вы знаете, какую версию скрипта менеджеру выдали, но не знаете, по какой он на самом деле говорил. Речевая аналитика закрывает именно этот пробел: она размечает реальное содержание разговоров и показывает, кто какой вариант применял, сколько раз и насколько точно.

Разберём, как поставить такой эксперимент, чтобы его результату можно было доверять.

Почему без аналитики тест не работает

Неизвестно реальное исполнение. Менеджеры отклоняются от скрипта, забывают новые формулировки, возвращаются к привычным. Если из тридцати менеджеров тестовой группы новый вариант реально применяли двенадцать, вы сравниваете не две версии скрипта, а две случайные смеси.

Нет данных о промежуточных шагах. Конверсия в сделку — итоговая метрика, на которую влияет десяток факторов. Чтобы понять, сработала ли гипотеза, нужны промежуточные: дошёл ли разговор до презентации, прозвучало ли возражение, была ли попытка его отработать. Всё это видно только в размеченных диалогах.

Группы оказываются неравными. Один менеджер работает с тёплыми заявками, другой — с холодной базой. Без разметки по типам обращений разница в результатах объясняется не скриптом, а составом лидов.

Что можно тестировать

Общее правило: тестировать стоит то, что вызывает споры внутри команды и при этом легко распознаётся в разговоре. Абстрактные вещи вроде «дружелюбности» проверить нельзя, конкретные формулировки и порядок шагов — можно.

Как построить тест

Одна переменная за раз

Если поменять одновременно открытие, ответ на возражение и финал, результат будет получен, но необъяснимый. При положительном исходе вы не узнаете, что именно сработало, при отрицательном — что помешало.

Гипотеза формулируется так, чтобы её можно было опровергнуть: что меняем, на какой показатель влияем и в какую сторону.

Как делить группы

Делить менеджеров пополам по списку — плохая идея: в одной половине могут оказаться все сильные. Лучше разбить команду на пары сопоставимых по результатам сотрудников и в каждой паре одного отправить в контрольную группу, другого в тестовую.

Второй вариант, который точнее, — делить не людей, а звонки: каждый менеджер работает по обеим версиям, чередуя их по дням или по типу обращения. Тогда личные качества сотрудников перестают влиять на результат. Но такой тест сложнее контролировать, и без речевой аналитики он невозможен в принципе.

Сколько звонков и сколько времени

Распространённый совет — «хватит двадцати звонков для первых выводов» — вводит в заблуждение. На такой выборке разница в результатах почти наверняка окажется случайной.

Порядок величин проще показать расчётом. Если текущая конверсия в целевое действие составляет 20% и вы хотите надёжно зафиксировать рост до 30%, потребуется примерно 300 разговоров в каждой группе. Чтобы увидеть более скромный эффект — рост с 20% до 25%, — понадобится уже около 1100 разговоров на группу. Это стандартный расчёт размера выборки для сравнения двух долей при уровне значимости 95% и мощности 80%.

Вывод из этих цифр практический: маленькие улучшения на небольшом потоке звонков достоверно измерить нельзя. Либо тестируйте заметные изменения, от которых ждёте существенного эффекта, либо набирайте объём.

По срокам минимум — одна-две недели, чтобы захватить недельную цикличность: понедельник и пятница по поведению клиентов отличаются. Верхняя граница определяется сезонностью: если тест идёт два месяца и захватывает смену сезона, сравнивать становится нечего.

Метрика успеха

Определяется до запуска, а не подбирается после. Одна главная метрика — то целевое действие, на которое влияет гипотеза, — и две-три вспомогательных, чтобы понять механику.

Отдельно стоит зафиксировать метрику-ограничитель: показатель, который не должен ухудшиться. Например, новый скрипт повышает конверсию во встречу, но удлиняет разговоры на четыре минуты — при большом потоке это дороже полученного прироста.

Контроль соблюдения

Речевая аналитика размечает каждый разговор по признаку того, какая версия скрипта применялась. Разговоры, где менеджер не использовал назначенный вариант, из подсчёта исключаются или выносятся в отдельную группу.

Этот же отчёт даёт побочный, но ценный результат: видно, насколько вообще команда способна внедрять изменения. Если новую формулировку освоили 40% менеджеров, проблема не в скрипте, а в обучении.

Типичные ошибки

Остановить тест досрочно. Через три дня одна группа впереди, и её вариант объявляют победителем. На малых числах лидер меняется случайным образом несколько раз за неделю.

Менять условия по ходу. Запустили рекламную акцию, сменили источник лидов, вывели нового сотрудника. Любое из этих событий обнуляет чистоту эксперимента.

Сравнивать разные сегменты. Тёплые входящие и холодный обзвон нельзя смешивать в одной выборке даже при равном количестве звонков.

Подбирать метрику под результат. Конверсия не выросла, зато выросла длительность разговоров — «значит, клиенты стали вовлечённее». Так тест превращается в подтверждение того, во что и так верили.

Тестировать то, что не решает проблему. Прежде чем проверять формулировки, стоит посмотреть в аналитике, где именно рассыпаются сделки. Если клиенты уходят на этапе цены, менять приветствие бессмысленно.

Что делать с результатом

Выигравший вариант закрепляется в скрипте и в чек-листе оценки качества — иначе через месяц команда вернётся к привычному. Речевая аналитика после этого работает как контроль внедрения: показывает долю разговоров, где новая формулировка реально применяется.

Отрицательный результат тоже результат: гипотеза не подтвердилась, возвращаемся к прежнему варианту и проверяем следующую. Хуже всего промежуточный исход — разницы нет. Обычно это значит, что либо изменение слишком мелкое для вашего потока звонков, либо проблема лежит не в том месте.

Через месяц-полтора после раскатки стоит сделать повторный замер. Эффект новизны иногда даёт прирост, который потом исчезает.

«Один проверенный тест в квартал даёт больше, чем полная переработка скрипта раз в год. Переработка меняет всё сразу, и понять, что именно сработало, невозможно. А накопленная серия небольших подтверждённых изменений превращается в скрипт, за каждой фразой которого стоят цифры, а не чьё-то мнение», — Андрей Савченко, руководитель портфеля продуктов ОБИТ.

С чего начать

Тестирование скриптов через речевую аналитику строится по обычной схеме эксперимента: гипотеза с одной переменной, деление на контрольную и тестовую группы, заранее выбранная метрика успеха, расчёт нужного объёма выборки и срок не меньше одной-двух недель. Отличие в том, что аналитика размечает реальное содержание разговоров и показывает, кто какой вариант применял на деле, — без этого сравниваются не версии скрипта, а случайные смеси.

Первый шаг — не придумывать гипотезу, а посмотреть в аналитике, на каком этапе чаще всего срываются сделки и какое возражение отрабатывается хуже других. Гипотеза, выросшая из этих данных, с гораздо большей вероятностью даст эффект, который вообще можно измерить.

Если хотите выстроить такую работу у себя, приходите на бесплатную консультацию — разберём ваш поток звонков, подберём решение и поможем поставить первый эксперимент.