Проектирование чатбота — это не только создание его функционала, дизайна и сценариев общения. Настоящий успех чатбота определяется его эффективностью в реальной работе, и оценить её можно с помощью различных метрик. В этой главе мы разберём, почему важно следить за показателями, какие данные стоит учитывать и как правильно интерпретировать результаты.
Почему важно следить за метриками
Чатбот — это инструмент, созданный для выполнения конкретных задач. Среди них выбирают и помощь в обслуживании клиентов, и привлечение новых пользователей, и автоматизация продаж, и обучение. Представьте себе ситуацию: ваш бот, разработанный для поддержки клиентов, отвечает на сотни запросов в день. С виду — успех. Без систематического анализа показателей невозможно понять, насколько эффективно чатбот справляется со своими задачами.
В примере выше, когда вы начнете внимательно изучать данные, можете выяснить, что большая часть пользователей прекращает общение после первых двух сообщений или что ответы бота часто вызывают недоумение. Эти проблемы трудно заметить без метрик, но они могут значительно снизить лояльность аудитории и эффективность использования чатбота.
Соответственно, метрики помогают вам:
- Идентифицировать проблемы. Вы сможете понять, где пользователи теряют интерес, какие сценарии работают плохо и что вызывает негативный опыт.
- Оптимизировать работу. Метрики дают направление для улучшений — будь то корректировка диалогов, ускорение ответа или расширение функционала.
- Оценить успех. Используя показатели, можно отследить, насколько бот помогает достигать бизнес-целей: увеличивает продажи, снижает нагрузку на операторов или улучшает пользовательский опыт.
Основные метрики для оценки работы чатбота
То, на что вы будете смотреть каждый день и при периодическом анализе, конечно, отличается для каждого конкретного случая. Ниже я подобрал стандартный набор показателей, с которого можно начать «летать по приборам».
Далее я часто буду приводить примеры с цифрами, указывать высокий или низкий показатель, предполагать, что на него влияет. Я руководствуюсь задачами курса, а потому не расписываю всей ситуации. Для какой-то отрасли показатель в 40% может быть небольшим, а для другой - недостижимо высоким, я использую их для иллюстрации. Примите это во внимание.
Количество пользователей
Это базовый показатель, который отражает популярность вашего чатбота. Он позволяет понять, насколько хорошо ваш бот привлекает аудиторию. Особенность этого показателя в том, что он исключает просто стартовавших общение людей, то есть тех, кто только нажал кнопку «старт» или только подключился.
Сюда входят те, кто попользовались чатботом: кто совершил хотя бы одно взаимодействие в рамках общения или воспользовался минимальной частью диалога. Второе условие еще больше сузит показатель, посколько помимо хотя бы одного ответа от пользователя предполагает прохождение минимальной цепочки сообщений. Важно отличать это условие от воронки (расскажу чуть позднее) и не объединять показатели. Анализ с учетом минимальной части нужно проводить, чтобы исключить случайно подключившихся людей, поэтому стоит выбрать, например, часть диалога с первым нажатием кнопки.
В этом плане вы сами выбираете, на какое именно условие ориентироваться: на пользователей или на число подключений. Однако я бы рекомендовал пользоваться обоими. То есть важно не только следить за количеством новых и текущих пользователей, но и за тем, как они взаимодействуют с ботом.
Давайте разберем ситуацию с 2 ботами. Оба бота созданы для онлайн-обучения, на оба настроена примерно похожая реклама, которая привлекает около 1000 пользователей в месяц на первый и около 500 на второй. Как вы думаете, какая связка рекламы-бота лучше работает? (как подумали, читайте следующую строку...)
С этими показателями первый явно выигрывает, согласитесь? Но добавим еще статистику - в первом боте 500 из них видят только первое сообщение приветствия, то есть нажимают на кнопку «старт» и пропадают. А вот во втором только 100 из них завершает общение на первом сообщении приветствия. В таком случае связка рекламы и бота уже во втором случае работает явно лучше: в первом только половина начинает общаться (500 из 1000), а во втором - 80% (400 из 500). То есть просто считать пользователей мало.
Показатель роста списка взаимодействующих
Важно также анализировать этот показатель в динамике. Он отражает увеличение вашего списка контактов, что является неотъемлемым условием для долгосрочного успеха, ведь гораздо дешевле работать с лояльными клиентами, чем тратить средства на привлечение новых.
Показатель роста списка = ( количество новых пользователей бота - количество отписавшихся ) / общее количество подписчиков за этот период * 100%.
Например, если у вашего бота было 1000 пользователей, и за месяц количество новых подписчиков составило 100, а количество отписавшихся - 20, ваш показатель роста списка будет равен (100-20)/1000*100% = 8%.
Это нормально, что с ростом базы скорость появления новых подписчиков снижается, тем не менее, важно понимать, что повлияло на этот показатель. Конечно, увеличивается знаменатель и все те же +100 подписчиков уже будут давать меньший процент, но и количество новых пользователей может уменьшаться. Существует несколько факторов, которые на это влияют:
- Качество и релевантность вашего контента, интересные решения,
- Частота и время отправки сообщений,
- Удобство взаимодействия с ботом, эффективность его работы,
- Стимул, который вы предлагаете.
Важно следить за этим показателем в динамике - это позволит вам убедиться, что вы идете к достижению своих целей.
Коэффициент привлечения внимания
Коэффициент привлечения внимания определяет, насколько вовлечены пользователи в общение с ботом. Этот показатель рассчитывается, как соотношение между количеством пользователей, которые начали взаимодействие с ботом, и теми, кто продолжил этот процесс. Чем выше коэффициент привлечения внимания, тем больше пользователей заинтересованы и продолжают общение с чатботом. Например, если 100 пользователей начали диалог с ботом, а только 50 из них дошли до конца знакомства, коэффициент привлечения внимания составит 50%.
Чтобы повысить этот показатель, упростите навигацию и интерфейс бота, сделайте его интуитивно понятным и легким в использовании. Предоставляйте пользователю четкие инструкции, помогающие взаимодействовать. Для этого анализируйте поведение пользователей и устраняйте преграды, мешающие продолжению диалога.
Например, создатели бота для аренды мангалов на выходные обнаружили, что коэффициент привлечения внимания составляет всего 30%, что ниже конверсии на сайте на 5%. Изучив поведение пользователей, стало ясно, что проблема заключалась в неудобной навигации – нужно нажать 7-10 кнопок, чтобы получилось заказать мангал. За счет упрощения интерфейса и переноса часто задаваемых вопросов на уровень выше, они упростили весь процесс до 4 шагов. Собранная статистика показала, что коэффициент привлечения внимания вырос с 30% до 70%.
Возвращаемость пользователей или среднее количество сессий
Среднее количество сессий на пользователя показывает, сколько раз пользователи обращаются к чатботу за определенный период времени. Эта метрика отражает уровень вовлеченности пользователей и позволяет оценить, насколько часто они обращаются к боту для решения своих задач.
Сессия - законченное общение в чатботе. Оно включает в себя несколько экранов или диалогов, которые закрывают задачу пользователя.
Соответственно, одной сессией для продающего бота считается диалог от общения до завершения продажи. Для записывающего на ноготочки бота сессией мы называем диалог до записи. И в том и в другом случае отдельное общение с пользователем, например, с ответами на частые вопросы или с отзывом будет также считаться сессией.
Обычно используются 2 метрики, связанные с сессиями:
Частота возвращений по сессиям. Она рассчитывается, как среднее количество сессий на одного пользователя.
Общая частота взаимодействия - более широкое понятие. Оно отражает среднее количество отдельных моментов общения на пользователя. Если даже пользователь не достиг цели, прервался или начал общение заново, и обратился к боту еще раз, то такое поведение увеличит этот показатель.
Чем выше среднее количество сессий, тем больше вероятность, что бот приносит реальную пользу. Если пользователи общаются с ботом всего один раз, это может говорить о том, что он не оправдывает ожиданий или решает слишком узкий круг задач. Но может, это и нужно?
Поговорите с пользователями и предоставьте дополнительные функции и возможности, которые могут мотивировать их обращаться к боту снова. Разработайте персонализированные уведомления, предложите рекомендации и специальные предложения, чтобы стимулировать взаимодействие.
Например, сервис предоставляет через чатбота информацию о погоде в разных городах. Средний пользователь обращается к боту 3 раза в неделю для получения прогноза погоды. Немного доработав функционал, редакторы добавили возможность подписки на ежедневные уведомления о погоде, изменили стиль общения и настроили полезные советы в зависимости от погоды. Как результат, среднее количество сессий на пользователя выросло до 12 раз в неделю.
Длительность сессии
Длительность общения с ботом может многое рассказать о его качестве. Короткие сессии иногда говорят о проблемах с диалогами чатботов, а слишком длинные — о сложности сценариев.
Предположим, что бот предназначен для помощи в выборе страхового полиса. Если пользователи проводят с ним по 20-30 минут, возможно, процесс слишком запутан. В таком случае стоит упростить интерфейс или сократить количество шагов в сценарии.
Что касается образовательных ботов, то сравнивать этот показатель следует со средним временем на урок. Если средняя длительность больше, чем вы запланировали, то урок может быть сложным, пользователи могут отвлекаться, другие факторы также могут повлиять.
Вы также можете смотреть на этот показатель в динамике. Если он в какой-то момент значительно изменился, тогда более вероятно, что произошли какие-то сбои в работе бота или изменились внешние факторы. В любом случае, это повод задуматься!
Коэффициент завершения сценариев, показатель конверсия в целевое действие
Это один из ключевых показателей, который показывает, какая доля пользователей успешно завершают диалоги, достигнув конечной цели: сделав покупку, зарегистрировавшись на событие или получив нужную информацию.
CR = число пользователей, достигнувших цели / число начавших сессию пользователей за этот период * 100%
Если этот показатель низкий, значит, сценарии требуют доработки. Например, если бот для записи к врачу завершает сценарии только в 40% случаев, следует искать причины: сложный процесс выбора времени при записи, недостаток информации о специалистах или отсутствие необходимых услуг в боте. В любом случае, это повод пообщаться с пользователями.
Чтобы повысить этот показатель, оптимизируйте диалоги бота и вид выдаваемой информации для помощи пользователям в достижении конкретных целей. Например, внедрите видео, добавьте ответы на частые вопросы. Предоставьте информацию о продуктах, промо-акциях или специальных предложениях, которые могут мотивировать пользователей совершить желаемое действие.
Так, онлайн-магазин, продающий снаряжение для дайвинга, внедрил чатбота для консультирования покупателей и повышения объема продаж. На основе ряда показат елей, включающих конверсию, удовлетворенность и процент ошибок, они обнаружили, что пользователем необходимо получить больше информации о продукте: сертификаты, отзывы опытных дайверов, опыт применения. Внедрив эту информацию в диалог, уровень конверсии увеличился с 3% до 5%.
Частота отказов
Это обратный к предыдущему показатель. Частота отказов — это процент пользователей, которые завершили общение с ботом, не достигнув цели в рамках одной сессии.
Высокий показатель отказов сигнализирует о неудовлетворённости пользователей, проблемах с пониманием запросов, неэффективных сценариях и других проблемах.
Уровень удовлетворенности пользователей
Уровень удовлетворенности пользователей отражает их общее мнение о чатботе и опыте его использования. Эта метрика измеряется с помощью опросов, оценок и отзывов пользователей. Положительные отзывы и высокие оценки указывают на высокий уровень удовлетворенности пользователей, что свидетельствует о качественном взаимодействии с ботом.
Если вы хотите вести числовое выражение, то показатель следует рассчитывать, как доля людей с положительным отношением среди всех ответивших в процентах. Часто компании, которые используют 10-бальную шкалу, считают положительными оценки 7-10. Соответственно, если у вас таких 50 человек из 500, то уровень удовлетворенности (50 / 500) * 100% = 1%.
Процент ошибок
Эта метрика особенно важна для ботов, использующих технологии NLP. Процент ошибок показывает долю неправильных или неполных ответов, предоставленных чатботом. Низкий показатель ошибок свидетельствует о высокой точности и надежности бота.
Регулярно обучайте бота на основе новых данных и обратной связи пользователей. Внедрите систему проверки ответов сотрудниками или использование алгоритмов машинного обучения для автоматического выявления ошибок и улучшения качества ответов. Используйте комбинацию автоматизированных и диалогов с сотрудниками, чтобы избежать ошибок.
Так, одна компания, продающая одежду, внедрила чатбота для автоматической обработки возвратов товаров. После нескольких месяцев сбора статистики стало ясно, что процент ошибок составляет 15%, то есть бот неправильно обрабатывает запросы в 15% случаев. Компания провела дополнительное обучение бота, исправила алгоритмы и внедрила систему проверки ответов сотрудниками. Как результат, процент ошибок снизился до 5%.
Как создать чат-бота самому?
Создавайте схему общения в чате просто, без программирования. От вас нужен только контент!
Показатель отписок от бота
Эта метрика особенно важна для тех, кто делает активно рассылает с помощью ботов информацию. После отправки очередного сообщения вашим чатботом вы можете увидеть, что некоторые пользователи отписываются от него, не читают ответов или блокируют. Это происходит по множеству причин, не раз упомянутым в этом курсе:
- Ваши сообщения не актуальны для ваших подписчиков,
- Они не заинтересованы в продуктах или услугах,
- Вы действуете слишком навязчиво.
Для определения показателя отписок возьмите количество людей, отписавшихся от вашего бота, и разделите его на общее количество людей в базе, которым вы отправляли сообщение, и умножьте результат на 100.
Например, если у вас есть список рассылки из 1000 человек, и 10 из них отписались после получения вашего сообщения, ваш показатель отписок составит 10 / 1000 * 100% = 1%.
А если ваш бот рассылает сообщения части пользователей в зависимости от стадии общения, то этот показатель стоит рассчитывать для каждого этапа. Такое деление важно для образовательных проектов. Например, для 1 урока этот показатель стоит рассчитывать с учетом числа занимавшихся на уроке (100 человек) и числа отписавшихся в течение обучения на этом уроке (3 человека). В итоге показатель отписок составит 3 / 100 * 100% = 3%. Для 10 урока цифры будут другими. Это связано с тем, что пользователи ведут себя по-разному на каждом этапе и нельзя усреднять значение.
Существует несколько вещей, которые вы можете сделать, чтобы уменьшить показатель отписок, включая:
- Отправлять сообщения только тем, кто этого хочет. Это касается не только рассылок, но и непосредственного взаимодействия бота по определенной вами схеме. Например, пользователь хочет отдохнуть до следующего утра от занятия. Не нужно сразу же слать ему новый урок и отправлять напоминания - лучше спросите, не хочет ли он передохнуть?
- Сегментировать ваш список по интересам, чтобы отправлять каждому собеседнику только актуальный контент. Например, проводите опрос о продукте тогда, когда он его купил, а не раз в месяц.
- Выстроить такую схему взаимодействия, чтобы подписчики оставались заинтересованными в вашем контенте.
Бизнес-метрики
Далее представлены метрики, которые направлены на финансовый анализ и анализ продаж.
Стоимость привлечения подписчика
Любой бизнес хочет получать новых клиентов, но важно обеспечить, чтобы привлечение было прибыльным. Один из способов измерения прибыльности - отслеживать стоимость привлечения подписчика (SAC).
SAC измеряет затраты на привлечение новых подписчиков для вашего чатбота. Этот показатель включает в себя затраты на рекламу, маркетинговые кампании и другие усилия по увеличению вашей аудитории.
Для расчета SAC разделите общую стоимость привлечения новых подписчиков на количество новых подписчиков.
Например, если стоимость привлечения 1000 новых пользователей вашего бота составляет 600 рублей, то SAC составит 600 / 1000 = 60 копеек за пользователя.
Цель работы с рекламой, статьями, промо и другими видами взаимодействия состоит в том, чтобы сохранять SAC как можно ниже, при этом привлекая достаточное количество новых пользователей для бота. Обычно выделяют такие способы снижения SAC, как:
- Оптимизация рекламных расходов. Оцените эффективность различных каналов рекламы для привлечения подписчиков. Сосредоточьтесь на наиболее эффективных и рентабельных источниках. Выбор канала с относительно низкой стоимостью привлечения, что подразумевает широкие охваты, низкую стоимость интеграции за 1000 человек, высокую конверсию за счет релевантности и др.
- Улучшение конверсии. Работайте над увеличением конверсии из посетителей в подписчиков. Это включает в себя оптимизацию ваших чатбот-страниц и предложений, изменение диалога и системы мотивации.
- Сегментация аудитории. Разделите вашу аудиторию на сегменты и отправляйте более релевантные сообщения каждой группе. Это помогает увеличить вероятность подписки.
Объем продаж и доход на пользователя
Объем продаж отражает количество продаж или сделок, совершенных через чатбота. Эта метрика часто выбирается основной для ботов, задача которых связана с коммерческими операциями. Она позволяет оценить вклад бота в общий объем продаж и определить его эффективность.
Тем не менее, рекомендую использовать показатель ARPU (average revenue per user), который отражает сумму доходов на 1 пользователя бота. Он дает информацию с другой стороны, поскольку учитывает чек каждого из пользователей.
Оптимизируйте бота для упрощения процесса покупки, предоставляйте рекомендации и персонализированные предложения, чтобы мотивировать пользователей к совершению покупок. Анализируйте данные продаж и предоставляйте боту информацию о новых товарах или акциях, чтобы стимулировать продажи.
Например, компания внедрила чатбота для обработки заказов и совершения покупок. Анализируя данные, они обнаружили, что 30% суммы всех заказов были совершены через чатбота. При этом на бота приходилось всего лишь 10% всех посетителей. Соответственно, они решили сделать ставку на это направление и в рекламных кампаниях отправлять пользователей сразу на бота. Это позволило увеличить доходы компании больше, чем в полтора раза.
Рентабельность рекламы
Рентабельность рекламы (ROAS) показывает, насколько эффективно вложения в рекламу возвращаются в виде дохода. Соответственно, рассчитывается он как для отдельных каналов, так и для всей рекламы в целом:
ROAS = доход с рекламы / потраченные на рекламу средства
Соответственно, если бот, рекламируемый через соцсети, принёс 100 000 рублей дохода при расходах на рекламу в 25 000 рублей, то ROAS составит: 4 рубля дохода на каждый 1 рубль, вложенный в рекламу. Если у ваша цель в получении доходов, то показатель не должен быть меньше единицы, а лучше, стремиться держать его как можно выше.
Как интерпретировать результаты и улучшать работу чатбота
Метрики — это не просто числа. Это ценные данные, которые помогают понять, где и как улучшить вашего чатбота. Рассмотрим несколько ключевых шагов:
- Анализируйте данные в динамике. Сравнивайте показатели за разные периоды, чтобы увидеть, как изменения в боте влияют на результаты. Например, после добавления новой функции можно отследить, увеличилась ли вовлечённость пользователей.
- Используйте метрики в комплексе. Оценка только одной метрики может дать искажённую картину. Например, высокий показатель активности пользователей может быть компенсирован низким коэффициентом завершения сценариев.
- Проводите эксперименты. Внедряйте изменения и тестируйте их влияние на показатели. Это могут быть новые сценарии, обновлённый интерфейс или дополнительный функционал.
- Работайте с обратной связью. Не игнорируйте отзывы пользователей. Они часто указывают на проблемы, которые сложно увидеть через стандартные метрики.
Практическое задание
К этому моменту вы уже должны были опубликовать ваш чатбот и попробовать привлечь аудиторию - часть данных уже должна была собраться. Сегодня мы с вами на практике рассмотрим несколько метрик и начнем регулярно их вести. Предлагаю потренироваться и дальше считать их еженедельно.
1. Опишите каналы привлечения пользователей.
Рассчитайте по каждому каналу стоимость привлечения подписчика
2. Сделайте вывод, какие каналы лучше всего «работают».
Затем рассчитайте общие для чатбота показатели на последнюю неделю. Надеюсь, вы уже улучшали свой проект, поэтому сравните текущие показатели с предыдущими (до изменений). Сделайте выводы, как повлияли изменения и на какие мысли это вас натолкнуло.
3. Конверсия в целевое действие
4. Коэффициент завершения сценариев
5. Частота отказов
6. Уровень удовлетворенности пользователей
Для тех, кто выбрал обучение с куратором, вам также предстоит проанализировать метрики выданного чатбота, для этого:
1. Посмотрите график взаимодействия пользователей с отдельными блоками чатботац и ответьте на вопросы.
- Какие есть проблемы с переходами?
- На каких блоках есть явные потери пользователей?
Запишите ваши наблюдение в виде списка ниже и подумайте, как бы вы его улучшили?
2. Посмотрите графики поведения пользователей в целом с ботом и попробуйте найти аномалии. Сравните показатели с другими чатботами и одностраничными лендингами - какие выводы вы можете сделать?
В следующем уроке мы поговорим про рассылки, напоминания и различные варианты того, как не дать пользователям забыть о вас. Как будете готовы, переходите к следующему уроку.
Вам также понравится
Научитесь создавать ботов из программирования
Прекрасная идея? Создайте бота для ее реализации самостоятельно. Мы научим и проведем через все этапы от поиска идеи и написания диалогов до публикации и удержания интереса пользователей на бесплатном открытом курсе.