Перейти к содержимому
Разработчикам
Ваш ИИ-агент

A/B-тесты для Receptionist

Сравнивайте сохранённые версии по одному зарегистрированному результату и решайте, какую оставить.

Пример реального интерфейса из локального теста. Аккаунты, сообщения, результаты и кредиты вымышлены; это не данные продакшена.

Обзор

Если эксперименты включены в вашем платном рабочем пространстве Receptionist, откройте A/B-тесты на нижней панели в Agent Flow или Agent Builder. Найдите тест в разделах «Текущие», «Черновики» и «История». Сравните одно изменение для выбранной учетной записи или сайта, а затем изучите зафиксированные результаты и решите, что оставить.

Функции

Сохранённые версии агента

Сравнивайте исходную версию A с черновиком B для конкретного аккаунта или поддерживаемой цели. На момент запуска конфигурация теста сохраняется. Не меняйте политику последующих сообщений. Работающие версии доступны только для просмотра. Чтобы создать черновик, скопируйте завершённый тест.

Последующие сообщения от ИИ: включены или выключены

Сравнивайте сохранённую политику автоматических последующих сообщений с вариантом без повторного вовлечения с помощью ИИ, управляемого экспериментом. Сообщения сотрудников, напоминания, подтверждения и другие кампании не относятся к эксперименту. Учитывайте все назначенные подходящие диалоги, а не только случаи успешной отправки.

Вариант отображения чата на сайте

Сравнивайте только кнопку открытия чата, приветственное сообщение или автоматическое открытие. Выберите настольные устройства, мобильные устройства или оба варианта. Для включения в тест необходимо согласие. Не меняйте содержание чата и предложение. Учитывайте все подходящие браузеры, включённые в тест, в том числе те, в которых никто не начал чат. Браузер не является уникальным пользователем на разных устройствах.

Зарегистрированные результаты

Выберите одну цель и период измерения: 24, 72, 168 или 336 часов. Цели определяются по сохранённым событиям, а не по оценке ИИ. Статусы «Ожидает» и «Неизвестно» остаются видимыми. Сгенерированное приветствие, открытая панель, импортированное сообщение или предпросмотр не считаются сообщением клиента.

Выберите событие, соответствующее вашей цели

В зависимости от типа теста в качестве цели можно выбрать ответ клиента; 2, 4 или 6 сообщений клиента; запрос на бронирование; подтверждённое бронирование; нового лида; впервые полученный номер телефона или адрес электронной почты; заполнение выбранной формы сбора данных для указанного источника; передачу обращения сотруднику по выбранным причинам; запрос на обратный звонок; созданный заказ; оплаченный заказ или начало диалога на сайте. Транскрипты голосовых разговоров, импортированная история, системные сообщения и предварительные просмотры не считаются сообщениями клиента. Ошибки инструментов и эскалации по соображениям безопасности не считаются автоматической передачей обращения сотруднику.

Приостанавливайте, останавливайте и собирайте результаты

Приостановка прекращает набор новых участников, но периоды измерения для уже включённых участников продолжаются. Возобновить тест можно, только если настройки не изменились и исходный период набора ещё не завершён. При обычной остановке новый трафик возвращается к текущей обычной маршрутизации. Экстренная остановка меняет обработку на безопасной границе ответа. Она не может отменить уже отправленные сообщения или отменить сохранённое бронирование. При переходе на тариф Free набор участников и доступ к эксперименту прекращаются. Обычные записи во «Входящих» сохраняются.

Распространённые задачи

Создание и проверка теста

  1. Откройте раздел «A/B-тесты» и выберите «Создать тест». Укажите поведение сценария, последующие сообщения: включены или выключены, либо вариант отображения виджета.
  2. Выберите конкретный аккаунт или целевой сайт. Проверьте идентификатор, номер, унаследованную маршрутизацию и общие настройки виджета, на которые повлияет тест.
  3. Оставьте вариант A исходной сохранённой версией. Измените вариант B в черновике эксперимента. Для тестов виджета выберите два или три поддерживаемых варианта отображения.
  4. Сформулируйте гипотезу. Выберите одну основную цель, нужную форму или причины передачи сотруднику, если применимо, и период измерения результата.
  5. Задайте фиксированные доли трафика и условие завершения набора участников. Выберите обычную маршрутизацию по завершении или явно укажите сохранённый вариант A, B или C, если он доступен. Проверьте все предусмотренные пороги расходов, затраты и готовность.
  6. Запускайте тест, только если все проверки пройдены. Откройте разделы «Поток» и «Изменения», чтобы проверить сохранённые версии, «Результаты», чтобы посмотреть количество событий и расходы, и «Активность», чтобы увидеть зарегистрированные действия. Если у вас есть доступ, ссылки на диалоги откроют «Входящие» с фильтрами по тесту и версии.
  7. После завершения включения участников дождитесь, пока завершатся периоды измерения для уже начатых случаев. Проверьте отслеживание и неопределённость результатов. Решение «Использовать как основной» принимается отдельно вручную. Оставьте тест с неопределённым результатом в «Истории» или скопируйте его в новый черновик.
Пример реального интерфейса из локального теста. Аккаунты, сообщения, результаты и кредиты вымышлены; это не данные продакшена.
Пример реального интерфейса из локального теста. Аккаунты, сообщения, результаты и кредиты вымышлены; это не данные продакшена.

Советы

Доступ зависит от настроек рабочего пространства и разрешений команды. Результаты теста могут быть неопределенными, более высокая конверсия не гарантируется.
Использование ИИ расходует кредиты. Приветствия виджета с учётом контекста могут расходовать кредиты до начала чата. Порог ограничивает включение новых участников. Работа, начатая ранее, всё ещё может повлечь расходы.
В нативном мобильном приложении доступны результаты и разрешённые действия. Создавать и редактировать тесты можно в веб-версии. Права команды определяют, какие результаты, диалоги и сохранённые запросы вам видны.

Часто задаваемые вопросы

Эта страница была полезной?