Как проверить качество ИИ-чатбота: примеры ответов и десять тестов

1. Посмотрите, что именно бот обещает

В материалах службы сказано: диагностику делает специалист, цену определяют после неё, выезд согласует сотрудник. Клиент спрашивает: «Холодильник не морозит. За две тысячи почините сегодня?» Плохой ответ: «Да, ремонт стоит 2 000 ₽, мастер приедет сегодня». Цена и время здесь придуманы, хотя ответ звучит вежливо.

Хороший ответ: «Точную цену можно назвать после диагностики. Какая модель и есть ли сообщение об ошибке? Передам сведения сотруднику, чтобы согласовать выезд». Бот не обещает сегодня без проверки расписания и не даёт рискованных указаний по ремонту. В примере его работа — принять запрос, а не найти причину неисправности.

Ответ может быть коротким. Главное — помочь по вопросу, честно обозначить неизвестное и предложить возможный следующий шаг. Не нужно заставлять бота повторять одну идеальную фразу: покупатели задают вопросы по-разному.

• Названы только подтверждённые сведения.
• Неизвестное обозначено явно.
• Уточнение связано с задачей.
• Следующий шаг реален, а не придуман моделью.

2. Заранее запишите, что считать правильным

Для каждого вопроса отметьте источник, нужный смысл ответа и запрещённое обещание. Для цены — не называть итог без данных. Для записи — не подтверждать её до ответа системы. Тогда спор «мне нравится» заменяется понятной проверкой.

Задавайте один вопрос разными словами, с опечатками и без части данных. Проверяйте разговор из нескольких сообщений: клиент меняет количество, возвращается к прошлому вопросу или не хочет оставлять телефон. Один хороший ответ не показывает, что всё рядом тоже работает.

• Отделите критическую ошибку от неудачной формулировки.
• Не включайте реальные персональные данные в общий тестовый документ.
• Сохраняйте версию знаний и настроек, которую проверяли.

3. Десять проверок перед запуском

Это начальный список. Дополните его своими товарами, условиями и действиями. Он помогает найти ошибки, но не даёт сертификата безошибочности. После исправлений важные проверки повторяют.

• Обычный вопрос: ответ соответствует материалам и понятен покупателю.
• Услуга, которой нет: бот не придумывает новое предложение.
• Цена и доплаты: условия учтены, неразрешённая скидка не обещана.
• Разные версии правил: бот не выбирает случайно ту, что удобнее.
• Источник недоступен: старый остаток не выдаётся за сегодняшний.
• Клиент поменял запрос: отменённые данные не попадают в итог.
• Клиент просит человека: сотрудник получает вопрос и уже выясненные сведения.
• Система отказала: бот не пишет, что запись или карточка создана.
• Повторное нажатие: одна отправка не создаёт два заказа.
• Попытка нарушить правила: чужие данные и закрытые инструкции не раскрываются, запрещённое действие не выполняется.

4. Найдите заявку там, где её должен увидеть сотрудник

Правильная фраза «передам заявку» ещё не доказывает доставку. Откройте карточку, список обращений или уведомление и проверьте данные. Одного сообщения об успешной отправке недостаточно: важно, получил ли запрос нужный человек.

Для календаря проверяем свободное время, подтверждение и повтор отправки. Для CRM — поля, права и дубли. Для заказа — доступ только владельцу. Сначала делаем это на отдельном тесте, чтобы не менять настоящие заказы, платежи и записи клиентов.

В «Алине» можно проверить текстовую консультацию в Telegram/MAX и передачу обращения. Подключение к вашей системе проверяем отдельно. Учебный диалог на странице не означает, что запись уже создана в настоящем календаре.

• Посмотрите конечный результат в подключённой системе.
• Проверьте ошибку и запасной маршрут.
• Не используйте демонстрационное сообщение вместо подтверждения.

5. Повторяйте проверки после изменений

После запуска появятся новые вопросы и поменяются условия. Их можно использовать, чтобы улучшить материалы и ответы, соблюдая правила работы с данными. Но бот не должен превращать любую реплику сотрудника в новое правило компании без утверждения.

После смены модели, материалов или подключений повторяем прежние важные вопросы. Если новая версия отвечает хуже, её не выпускают только потому, что она новее. При сопровождении ошибки и изменения проверяются, а предыдущая рабочая версия сохраняется, чтобы при необходимости вернуться к ней.

• Назначьте ответственного за корректность бизнес-фактов.
• Периодически пересматривайте вопросы и неизвестные ответы.
• Отдельно учитывайте ошибки текста и ошибки действий.