После завершения проектирования и программирования необходимо провести тщательное тестирование и отладку, чтобы убедиться, что бот работает корректно, отвечает на запросы пользователей и достигает поставленных целей. Этот этап чрезвычайно важен, так как ошибки в работе чатбота могут не только испортить впечатление пользователей, но и привести к финансовым потерям и даже полному отказу от работы с проектом (чатботом). Об этом мы и поговорим в уроке.
Тестирование позволяет выявить слабые места в логике работы чатбота, найти ошибки в сценариях и оценить его производительность. Даже если сценарии кажутся идеально проработанными на бумаге, в реальных условиях могут возникнуть ситуации, которые не были предусмотрены. Например, пользователи могут давать ответы в необычной форме, нажимать на кнопки несколько раз или столкнуться с техническими сбоями и просто не получить сообщения. Без тщательного тестирования такие моменты останутся незамеченными, что приведёт к недовольству аудитории.
Кроме поиска слабых мест, тестирование помогает оценить пользовательский опыт. Даже если бот отвечает корректно, его структура или стиль общения могут оказаться непонятными и раздражающими для людей. Соответственно, если вы хотите улучшить UX, то первый шаг для этого - провести тестирование.
Основные типы тестирования
Процесс тестирования чатбота можно разделить на несколько направлений, каждое из которых направлено на выявление проблем и недочетов в отдельных составляющих процесса общения бота с пользователем.
Функциональное тестирование
При работе с этим направлением проверяется, как чатбот выполняет основные функции. Нужно удостовериться, что он корректно реагирует на команды, правильно распознаёт пользовательские запросы и возвращает ожидаемые ответы. Так, если чатбот должен предоставлять информацию о расписании мероприятий, важно проверить, что он делает это без ошибок.
Если ваш бот не подключается к сторонним сервисам, достаточно провести такое тестирование перед стартом и запуском новых функций. Но если ваш бот работает со сторонними сервисами, то такое тестирование важно проводить на периодической основе. Связано это с тем, что часто сервисы обновляют API на своей стороне без сохранения совместимости с предыдущими версиями. Поэтому в какой-то момент вы обнаружите, что изменились показатели, пропали функции или схема доступа стала другой, что приводит к неработоспособности отдельных экранов вашего чатбота. Конечно, об этом вам могут рассказать ваши пользователи, но зачем вызывать негатив?
Проверка сценариев
Проверка сценариев - это частный случай функционального тестирования. Она заключается в прохождении всех веток диалога, чтобы убедиться, что они работают так, как задумано. Например, если пользователь выбирает определённый вариант ответа, чатбот должен правильно переключиться на соответствующую ветку сценария.
Соответственно, бот должен отрабатывать такие варианты, в которых схема общения не была ориентирована на решение задачи. Приведем пример. В рамках курса вы объединяете пользователей в группы для общения на определенную тему. Что происходит, когда вы не набрали группу? Или пользователь первым дошел до блока? А что если группа ему не понравилась? А предусмотрели ли вы возвращение к общению в группе, если человек вышел из задания? Ошибки в сценариях часто возникают из-за неправильной логики или недостающих соединений между блоками.
Помните урок про условные переходы и практическое задание? Там мы тоже задавали вопрос, который отражает часть функционального тестирования - проверку сценариев - что будет если пользователь впишет пустой ответ?
Тестирование работоспособности
Эта задача должна решаться в первую очередь тогда, когда вы самостоятельно программируете чатбот (или проверяете запрограммированный бот). Вам необходимо учесть примерное количество одновременно общающихся пользователей и понять, насколько вы готовы к этому.
Устойчивость проверяется в условиях увеличенной нагрузки и/или нестандартного поведения пользователей. Например, пользователи могут:
- одновременно отправлять большое количество запросов,
- писать сообщения, содержащие некорректные символы,
- одновременно подойти к блокам расчетов и загрузки данных со сторонних сервисов.
То есть одновременно оказаться в «узких местах» вашего бота. Он должен обрабатывать такие ситуации без сбоев.
Оценка пользовательского опыта
На этом направлении тестов важно понять, насколько удобно взаимодействовать с ботом. Решаются ли задачи, за которыми приходят пользователи? Получают ли они удовлетворение или у них остается негатив? Готовы ли они продолжать пользоваться длительное время? Техническую составляющую вы протестировали ранее, этот тест направлен на отзыв от пользователя.
Простой пример. Допустим, у вас в боте немного функций, поэтому вы сделали простое меню, а потом еще обязательное заполнение нескольких полей. Все эти вопросы важны и необходимы для ответа на вопрос... А затем вы проводите тестирование пользовательского опыта и выясняете, что есть это пресловутое «но». Для ответа на один запрос требуется пройти через слишком много шагов, поэтому пользователи часто просто не доходят до конца. А те, кто доходят, относятся негативно к боту.
Для проведения тестирования подключите несколько будущих пользователей или попросите коллег, друзей или свою команду сделать проверку диалога и достижения целей бота. Проверьте удобство взаимодействия, корректность ветвлений и логичность сценария. На основе обратной связи от пользователей внесите корректировки: улучшите логику, добавьте недостающие функции и исправьте ошибки.
Как проводить анализ пользовательского опыта
Недостаточно просто подключить людей. Вам нужно понимать, как лучше это проводить: как наблюдать, что спрашивать, какие выводы делать.
Прежде всего определитесь с тем, что вы хотите понять из тестирования. Если во время подхода вам захочется проанализировать все, то вероятность упустить что-то важное значительно повышается. Вам стоит концентрироваться на том, что именно важно узнать в текущий момент: как пользователи взаимодействуют с конкретными функциями, насколько понятен интерфейс или как чатбот решает поставленные задачи. Лучше провести несколько качественных тестов, чем за один пытаться все решить.
Затем сформулируйте ключевые вопросы. Эти вопросы должны быть конкретными и релевантными. Например:
- Легко ли пользователи находят нужные команды?
- Понимают и принимают ли они язык, который использует бот?
- Возникают ли трудности при переходе между ветками общения и отдельными сообщениями?
Далее заглядываем в ближайшее будущее: какие ответы из тестирования мы хотим получить? В зависимости от них предпочтительнее выбирать тот или иной из наиболее распространенных подходов:
- Юзабилити-тестирование. Пользователи выполняют определенные задачи, общаясь при вас, а вы наблюдаете за их действиями и фиксируете возникающие сложности. Это самый затратный подход, но при этом он дает много информации.
- Анкетирование. Сбор обратной связи через опросы или формы, которые пользователи заполняют после взаимодействия с ботом.
- Анализ метрик. Изучение данных, таких как время выполнения задач, количество завершенных сессий или частота использования конкретных команд.
Кроме того, важно подготовить сценарии взаимодействия. Он представляют собой набор задач, которые пользователи должны выполнить во время тестирования. Например, «Оформить заказ на доставку» или «Получить справочную информацию». Важно не пропускать эту часть, потому что ваши тестировщики скорее всего не знают всех возможностей чатбота и без задания будут нажимать на все кнопки, тыкаться во все подряд и терять время. Конечно, данные вы получите, но вам же нужно понять конкретные модели взаимодействия с чатботом и увидеть проблемы, которые в соответствии с ними возникают. Поэтому старайтесь готовить понятные, однозначные задания, направленные на достижение цели тестирования.
Далее идет непосредственное проведение оценки пользовательского опыта.
Если вы выбрали тестирование с наблюдением, то настало время следить за действиями пользователей. Фиксируйте, какие этапы вызывают у них затруднения, где они испытывают задержки или делают ошибки. Например, если пользователь тратит много времени на поиск команды для оформления заказа, это говорит о необходимости улучшить навигацию. Если вы спрашиваете одно, а пользователь отвечает по-другому или начинает задавать вопросы вам, то это говорит о сложности в понимании этого диалога и необходимости внедрения дополнительных проверок.
Записывайте не только действия, но и комментарии участников. Иногда они могут прямо указать на проблему, которую вы не заметили. Например, пользователь может сказать: «Я не понимаю, что означает эта кнопка».
Важно не вмешиваться в процесс выполнения задач, если это не предусмотрено сценарием. Позвольте пользователям самостоятельно разобраться с задачей, чтобы выявить естественные паттерны их поведения.
Если вы используете анкеты, заранее продумайте вопросы. Они могут включать как количественные оценки («Оцените удобство взаимодействия с ботом по шкале от 1 до 10»), так и открытые вопросы («Что вам показалось самым неудобным?»).
При первичном тестировании лучше выбирать наблюдение и общение. Пусть ваши тестировщики рассказывают свои мысли, дают любые комментарии и действуют так, как действуют. Это поможет вам найти те узкие места, о которых вы бы даже не подумали.
После завершения тестирования собранные данные нужно обработать и проанализировать. Начните с поиска закономерностей. Если несколько пользователей сталкиваются с одной и той же проблемой, это явный сигнал о необходимости внедрения изменений. Например, если 70% участников не смогли найти функцию связи с куратором, это явно указывает на недоработку этой части проекта.
Разделите проблемы на категории в зависимости от их важности:
- Критические - ошибки, которые делают использование бота невозможным или крайне сложным.
- Средней важности - проблемы, которые не мешают выполнению задач, но снижают удобство.
- Незначительные - мелкие недочеты, которые почти не влияют на пользовательский опыт.
Кроме того, обратите внимание на качественные данные. Комментарии и предложения пользователей дают множество идей для улучшения, которые сложно выявить с помощью метрик. Например, если несколько участников упоминают, что бот слишком формален, стоит пересмотреть тон общения.
После анализа данных составьте план изменений. Приоритизируйте задачи: начните с критических проблем, затем займитесь улучшением удобства и дополнительными функциями. Внедряя изменения, не забывайте проверять их эффективность. Проведите повторное тестирование, чтобы убедиться, что проблемы устранены, а пользовательский опыт действительно улучшился.
Типичные ошибки и их устранение
Некоторые из ошибок и рекомендаций встречаются особенно часто, поговорим о них.
Неправильное распознавание запросов
Если чатбот использует искусственный интеллект или обработку естественного языка, он может ошибаться в интерпретации пользовательских запросов. Например, если пользователь спрашивает: «Сколько стоит доставка?», а бот отвечает на другой вопрос, это свидетельствует о необходимости улучшить алгоритмы обработки текста.
Чтобы решить эту проблему, можно:
- Увеличить тренировочный набор данных для алгоритма;
- Добавить синонимы и альтернативные формулировки в словарь бота;
- Оптимизировать логику сценария для обработки неоднозначных запросов.
Стартуйте свой курс по чат-ботам и обучайте других
Вы обучаете и вдохновляете людей? Добавьте курс по чат-ботам в свое портфолио! Расскажем как на бесплатном открытом курсе.
Проблемы с переходами между блоками
Ошибки в сценариях часто связаны с неправильными или пропущенными переходами между блоками / экранами. Например, пользователь завершает один шаг, но вместо перехода к следующему бот возвращается к предыдущему или выдаёт ошибку.
Для исправления нужно:
- Проверить схему сценария на наличие неучтеных, повторных переходов и разрывов;
- Убедиться, что каждая ветка корректно соединена с последующей, условия перехода (вместе с вариантом «в другом случае») указаны;
- Провести тестирование всех возможных переходов.
Так, бот ниже реагирует только на нажатие кнопок «Показать всех» и «Показать одного». Однако кнопок, прикрепленных к последнему сообщению 3 - есть еще «Показать случайного». Соответственно, при нажатии на третью кнопку сейчас ничего не происходит. Из этого тупика есть 2 выхода: добавить переходы (стрелки) под каждое условие или в одной выбрать вариант «в остальных случаях» (стрелка показывается пустой). Было выбрано более простое, второе, решение.
Ошибка в ожидании ответа
Бывает, что добавлены «лишние» блоки ожидания ответа от пользователя - тогда приходится нажимать на кнопку или писать ответ несколько раз. Или наоборот, эти блоки не добавлены в схему, а потому пользователь получает ряд сообщений без какого либо взаимодействия или паузы.
Чтобы проверить и исправить эту ситуацию, внимательно проверяйте, на какие кнопки нажимают тестировщики и какие сообщения они получают после, а также происходит ли какое-либо ожидание там, где оно не предусмотрено. Мне в этом помогает распечатанная схема перед глазами - легко делать пометки прямо во время наблюдения.
Сложный, длинный или непонятный диалог
Если пользователю сложно понять, как взаимодействовать с ботом, он, скорее всего, перестанет им пользоваться. Например, если кнопки ответа отсутствуют (а по логике явно нужны) или их текст неясен, это создаёт неудобства.
Для улучшения убедитесь, что кнопки имеют логичные подписи и, по возможности, минимизируйте количество шагов в сценарии.
Анализ уже работающего чатбота
После выявления ошибок и анализа их причин и корректировок, проектировщики обычно забывают о боте, сосредотачиваясь на других составляющих проекта. Но на этом работа не должна останавливаться, поскольку увеличение числа пользователей приводит к тому, что появляются новые варианты поведения, которые указывают на необходимость доработок. А как вы уже знаете, даже небольшие изменения могут значительно повлиять на общую логику работы (и даже сломать все), поэтому подходить к улучшению чатбота необходимо осторожно, соблюдая четкую последовательность действий.
Анализ данных
Для начала нужно собрать данные о взаимодействии пользователей с ботом, что включает и статистику запросов, и статистику использования блоков, и анализ наиболее часто задаваемых вопросов, и частые ответы на блоки, и конечно, лог ошибок.
Например, если 2/3 пользователей задают вопрос о статусе заказа, однако более половины из них не доходят до конца получения информации о нем, то стоит убедиться, что сценарий для этого вопроса хорошо проработан и максимально удобен.
Внесение изменений
После анализа данных вы получаете гипотезы и конкретные действия для улучшения бота. Теперь можно приступить к корректировке сценария. Например, если бот слишком часто выдаёт стандартный ответ «Извините, я вас не понял», нужно расширить словарь ключевых слов или добавить уточняющие вопросы. Если пользователи жалуются на слишком длинные диалоги, можно сократить количество шагов и запоминать повторяющуюся информацию.
Я настоятельно рекомендую вам «всегда летать по приборам»!
Этот подход к управлению и улучшению систем, основывается на анализе объективных данных, а не на интуиции или догадках. Значит, вы всегда должны понимать, на какие результаты от изменений вы рассчитываете, и оценивать, на сколько стало лучше или хуже. Используйте для этого различные показатели, многие из которых предоставляют конструкторы:
· собирайте отзывы от пользователей,
· смотрите на долю отказов на тех или иных блоках / схемах общения,
· проводите АВ тесты,
· собирайте свою статистику по общению с ботом.
Например, вместо того чтобы гадать, почему пользователи не доходят до завершения диалога, вы анализируете данные: сколько времени требуется на прохождение определённых этапов, где возникают точки отказа, какие запросы чаще всего приводят к непониманию. Это позволяет точно определить, где лежит проблема, и предложить эффективное решение.
Проверка изменений
Каждое изменение, как перед загрузкой в работающего чатбота, так и после тестового периода, необходимо дополнительно проверять, чтобы убедиться, что оно действительно улучшает работу чатбота. Соответственно, если у вас подключено несколько мессенджеров, то при добавлении новой ветки сценария, проверьте её работоспособность на всех мессенджерах и в разных условиях.
Большинство платформ для создания чатботов, в том числе 4study, имеют встроенные инструменты для тестирования. Поэтому рекомендую пользоваться ими - тесты их работоспособности и соответствия результатов уже проведены, а потому с этой стороны вероятность ошибок минимальна.
Также существуют встроенные инструменты, позволяющие понять, что происходит с чатботом до публикации схемы на широкую аудиторию. Они позволяют пройти сценарий самостоятельно, чтобы увидеть ответы. Более того, вы можете видеть пошаговую работу бота, чтобы в каждый момент проверить переходы между блоками и найти ошибки.
Тестирование и отладка — это ключевые этапы разработки чатбота. Они помогают выявить и устранить ошибки, улучшить пользовательский опыт и обеспечить стабильную работу системы. Регулярное тестирование и корректировка сценариев позволяют адаптировать бота под нужды аудитории и обеспечивать его эффективность на всех этапах эксплуатации. Чем больше внимания вы уделите этим процессам, тем успешнее будет ваш проект.
Практическое упражнение
Вам предстоит проверить и улучшить чатбот, для этого:
1. Скопируйте схему чатбота в свой аккаунт по кнопке скопировать или ссылке скопировать бот кофейни.
2. Посмотрите схему самостоятельно: есть ли проблемы с переходами, повторы блоков и ненужные цепочки? Запишите комментарии в виде списка ниже и поправьте их
3. Теперь подключите новый или уже имеющийся тестовый ключ доступа к проекту и загрузите данные в работу. Протестируйте разные задачи в качестве пользователя и подумайте: есть ли проблемы с диалогами, ненужные вопросы? Чего вам не хватает в этом боте? Запишите комментарии в виде списка ниже и поправьте их
4. Подготовьте задание на тестирование с учетом тех рекомендаций, которые я давал в этой главе.
5. Найдите как минимум одного коллегу/друга/члена семьи и дайте ему задание, следите за его использованием чатбота. Какие комментарии он дает? Какие сложности возникли у него? Что еще вы заметили? Запишите.
6. Подготовьте список идей и задач для улучшения чатбота на основе проведенного тестирования. Отсортируйте их по важности и запишите в поле ниже.
В следующем уроке поговорим про публикацию и продвижение чатботов. Как будете готовы, переходите к следующему уроку.
Вам также понравится
Научитесь создавать ботов из программирования
Прекрасная идея? Создайте бота для ее реализации самостоятельно. Мы научим и проведем через все этапы от поиска идеи и написания диалогов до публикации и удержания интереса пользователей на бесплатном открытом курсе.