Как проверить и улучшить ответы ИИ-бота
Тестовый чат позволяет проверить регламент ИИ-сотрудника до подключения к реальным клиентам. Откройте инструкцию, нажмите «Протестировать» — и проверьте стандартные сценарии, возражения и нестандартные вопросы. Если нейросетевой сотрудник отвечает неточно — доработайте промпт прямо из тестового чата с помощью AI-помощника.
Что понадобится
- Инструкция — созданный промпт или RAG-инструкция (как написать промпт, как загрузить базу знаний)
- Тестовые сценарии — 5–10 типичных вопросов клиентов, возражения и нестандартные запросы
- 10 минут — на проверку и доработку ответов
Зачем тестировать перед запуском
Регламент для AI-сотрудника может выглядеть идеально в тексте, но искусственный интеллект интерпретирует инструкции по-своему. Тестирование выявляет проблемы до того, как бот начнёт общаться с реальными клиентами:
| Проблема | Как выявить в тесте |
|---|---|
| Бот игнорирует часть промпта | Спросить о конкретной услуге или условии |
| Слишком длинные ответы | Проверить любой диалог — сравнить с лимитом символов |
| Не обрабатывает возражения | Написать «дорого» или «подумаю» |
| Отвечает не по теме | Спросить о политике или курсе валют |
| Придумывает информацию | Спросить о несуществующей услуге |
Тестирование инструкции
Откройте инструкцию в редакторе
Перейдите в Настройку воронки → кликните на инструкцию в библиотеке или прямо в слоте обработки. Откроется редактор с текстом промпта и панелью инструментов сверху.
В верхней панели расположены кнопки: AI помощник, История версий и «Протестировать».
Откройте тестовый чат
Нажмите «Протестировать» — справа от редактора появится тестовый чат в формате мобильного телефона. В заголовке отображается номер и название инструкции, которую вы тестируете.
Тестовый чат использует ту же AI-модель и настройки генерации, что и боевой бот. Результат теста максимально приближен к реальному диалогу с клиентом.
Проверьте стандартный сценарий
Отправьте типичное первое сообщение клиента. Например: «Здравствуйте, хочу заказать уборку квартиры». Проверьте:
- Бот представился по имени (если указано в промпте)
- Задал уточняющий вопрос (не вывалил весь прайс)
- Тон и стиль соответствуют регламенту
- Длина ответа в рамках лимита
Проверьте возражения и edge cases
После стандартного сценария проверьте граничные ситуации:
Возражение «дорого» — бот должен признать сомнение, уточнить бюджет и предложить альтернативу:
Вопрос не по теме — бот должен вежливо отклонить и вернуть к услугам:
Чек-лист для проверки:
- Приветствие и представление
- Выявление потребности (уточняющие вопросы)
- Презентация услуги с ценой
- Возражение «дорого» → обработка по алгоритму
- Возражение «подумаю» → мягкий возврат к контакту
- Вопрос не по теме → отклонение без грубости
- Провокация «ты бот?» → отрицание по сценарию
- Сбор контакта (имя + телефон)
Доработайте промпт по результатам
Если ответ бота неточный, не нужно вручную искать проблему в промпте. Нажмите кнопку «Улучшить этот ответ» (иконка рядом с временем сообщения) — откроется форма:
Заполните два поля:
- «Что не так с ответом?» (обязательно) — опишите проблему: «слишком длинный», «не спросил бюджет», «сломался тон»
- «Как должен был ответить?» (опционально) — напишите эталонный ответ
Нажмите «Улучшить промпт» — AI-помощник проанализирует диалог и автоматически доработает регламент ИИ-сотрудника. Изменения отобразятся в редакторе слева.
После каждого улучшения промпта протестируйте тот же сценарий заново. Иногда исправление одной проблемы создаёт другую — итеративная проверка гарантирует стабильный результат.
Откат истории в тестовом чате
Если вам не понравился ответ бота в середине диалога, не нужно начинать тест заново. В Botseller есть возможность откатить историю тестового чата до любого сообщения.
Как работает откат
Наведите курсор мыши на сообщение, от которого хотите откатиться. Слева вверху появится маленькая круглая иконка — нажмите на неё. Все сообщения от выбранного и ниже будут удалены из истории.
После отката вы можете:
- Написать другое сообщение — например, переформулировать вопрос клиента
- Улучшить промпт и отправить то же сообщение заново — проверить, что ответ стал лучше
- Продолжить тест с другого сценария — без потери накопленного контекста
Откат удаляет сообщения только из тестовой истории — промпт и настройки инструкции не затрагиваются. Это безопасная операция, которая экономит время при итеративной доработке.
Когда использовать откат
| Ситуация | Что делать |
|---|---|
| Бот ответил плохо на последнее сообщение | Откатить на 1 шаг → улучшить промпт → повторить |
| Хотите проверить другое возражение | Откатить до момента после презентации → написать новое возражение |
| Бот ушёл не в ту сторону в середине диалога | Откатить до проблемного сообщения → переписать |
| Нужно проверить исправление промпта | Откатить до сообщения клиента → отправить то же самое → сравнить ответ |
Полный pipeline тестирования
Тестирование в Botseller — это итеративный процесс. Платформа предоставляет полный набор инструментов для цикла «написать → проверить → улучшить → повторить»:
Цикл доработки ответа
- Отправьте сообщение в тестовом чате — получите ответ бота
- Оцените ответ — соответствует ли регламенту, тону, длине
- Если ответ плохой → нажмите «Улучшить этот ответ» → опишите проблему → AI доработает промпт
- Откатите историю до этого сообщения клиента
- Отправьте то же сообщение заново — проверьте, что ответ улучшился
- Повторяйте до тех пор, пока ответ не станет идеальным
Цикл доработки всего промпта
Для глобальных изменений (добавить услугу, изменить цены, поменять тон) используйте кнопку «AI помощник» в верхней панели редактора:
- Нажмите «AI помощник» — откроется диалог «Улучшить инструкцию»
- Выберите тип промпт-инженера в выпадающем списке (подробнее — ниже)
- Заполните секции: целевая аудитория, тон общения, ограничения
- В поле «Дополнительные уточнения» опишите, что нужно изменить: «добавь услугу доставки», «измени цены на уборку», «сделай тон менее формальным»
- Нажмите «Улучшить инструкцию» — AI перепишет весь промпт
Типы AI промпт-инженеров
В Botseller доступно несколько специализированных промпт-инженеров. Каждый оптимизирован под свою нишу:
| Промпт-инженер | Для каких задач |
|---|---|
| Универсальный AI-prompt инженер | Любой бизнес — подходит для большинства случаев |
| Промпт для услуг | Сервисные компании: клининг, ремонт, красота, медицина |
| Промпт для образования | Онлайн-школы, курсы, репетиторы |
| Промпт для туризма | Турагентства, отели, экскурсии |
Выбор правильного промпт-инженера влияет на качество генерации. Если ваш бизнес относится к одной из специализаций — выбирайте её. Если нет — используйте «Универсальный».
Выбор AI-модели для тестирования
Перед тестированием убедитесь, что выбрана правильная модель. Dropdown выбора модели расположен под панелью инструментов:
| Модель | Описание | Когда использовать |
|---|---|---|
| Botseller Low | Быстрая, экономичная | Рассылки, простые задачи |
| Botseller Medium | Баланс скорости и качества | Ситуативные задачи |
| Botseller High | Высокое качество | Диалоги с клиентами |
| Botseller Ultra | Максимальное качество | Сложные диалоги, тестирование |
Для тестирования и для диалогов с клиентами рекомендуем Botseller Ultra — новейшая модель с максимальным качеством. Botseller High также отлично подходит для большинства задач. Модели Low и Medium — только для рассылок и ситуативных задач.
Советы по эффективному тестированию
Тестируйте от лица разных клиентов
Один и тот же вопрос от разных людей звучит по-разному. Попробуйте:
- Формальный стиль: «Добрый день, интересует стоимость генеральной уборки»
- Разговорный: «Привет, скока стоит убрать двушку?»
- Агрессивный: «Почему так дорого??? У вас вообще адекватные цены?»
Проверяйте последовательность
Бот должен вести диалог по алгоритму из промпта. Пройдите полный сценарий от приветствия до сбора контакта (5–7 сообщений), не только отдельные реплики.
Используйте «История версий»
Кнопка «История версий» в редакторе позволяет вернуться к предыдущей версии промпта, если AI-помощник ухудшил регламент. Это страховка от неудачных итераций.
Результат
После тестирования у вас есть:
- Проверенный регламент — нейросетевой сотрудник отвечает точно по инструкции
- Обработанные возражения — бот корректно реагирует на «дорого», «подумаю», вопросы не по теме
- Уверенность перед запуском — можно подключать бота к реальным клиентам
Перетащите проверенную инструкцию в слот «Базовая обработка» на нужном этапе воронки и включите этап.
Частые вопросы
Как открыть тестовый чат в Botseller?
Откройте инструкцию в редакторе (кликните на неё в библиотеке или в слоте обработки) и нажмите кнопку «Протестировать» в верхней панели. Справа откроется тестовый чат в формате мобильного телефона с полем ввода сообщений.
Тестовый чат расходует баланс?
Да, каждое сообщение в тестовом чате обрабатывается AI-моделью и расходует баланс. Однако расход минимален — обычно несколько копеек за сообщение. Тестирование 10–15 сценариев обойдётся в несколько рублей.
Можно ли тестировать RAG-инструкцию?
Да. Тестовый чат работает с любым типом инструкции: стандартной и RAG. При тестировании RAG-инструкции нейросетевой сотрудник ищет ответы в загруженной базе знаний, как при реальном диалоге. Убедитесь, что вы нажали «Векторизовать» перед тестированием.
Чем тестовый чат отличается от реального диалога?
Тестовый чат использует ту же AI-модель, промпт и настройки генерации, что и реальный бот. Разница:
- Тестовый чат не привязан к CRM — не создаёт и не перемещает лидов
- Не отправляет сообщения в мессенджер клиенту
- Не учитывает задержку ответа (в тесте отвечает мгновенно)
- Не сохраняет историю между сессиями тестирования
Как проверить обработку возражений?
Отправьте в тестовый чат типичные возражения: «дорого», «подумаю», «у конкурентов дешевле», «не хочу звонить». Проверьте, что бот следует алгоритмам из раздела возражений в промпте: признаёт сомнение, уточняет детали, предлагает альтернативу и мягко возвращается к сбору контакта.
Что делает кнопка «Улучшить этот ответ»?
Кнопка открывает форму для автоматической доработки регламента. Вы описываете проблему с ответом и (опционально) пишете эталонный ответ. AI-помощник анализирует диалог и вносит точечные правки в промпт. Это быстрее ручного редактирования — искусственный интеллект находит конкретное место в инструкции, которое нужно изменить.
Как откатить историю тестового чата?
Наведите курсор мыши на сообщение, от которого хотите откатиться. Слева вверху появится круглая иконка — нажмите на неё. Все сообщения от выбранного и ниже будут удалены. После этого можно отправить новое сообщение или повторить старое, чтобы проверить обновлённый ответ бота. Промпт и настройки инструкции при откате не затрагиваются.
Чем «Улучшить этот ответ» отличается от «AI помощника»?
«Улучшить этот ответ» — точечное исправление одного ответа. Вы указываете проблему с конкретным сообщением бота, и AI вносит минимальные правки в промпт.
«AI помощник» — глобальная доработка всего регламента. Вы задаёте целевую аудиторию, тон общения, ограничения и дополнительные пожелания, а AI-промпт-инженер перерабатывает инструкцию целиком. Используйте для крупных изменений: смена тона, добавление новых услуг, переработка алгоритма диалога.
Какую модель выбрать для тестирования?
Рекомендуем Botseller Ultra — новейшая модель с максимальным качеством ответов. Botseller High также отлично подходит для большинства диалогов. Модели Low и Medium экономичнее, но подходят только для рассылок и ситуативных задач, где не требуется глубокое понимание контекста.