Нейросеть ошибается? Как настроить ИИ-бота за 5 шагов
Разбор этой статьи
Эту тему разобрали в подкасте. Слушай параллельно с чтением.
Вы подключили ИИ-бота. Он начал отвечать клиентам. И через час вы в ужасе: бот назвал цену, которой нет в прайсе. Пообещал скидку, которую вы не давали. Ответил на вопрос про конкурента комплиментом в его адрес. Классика.
Я Дмитрий Дьяконов, CEO Botseller AI. За 100+ внедрений я видел этот сценарий десятки раз. И каждый раз решение одно: не паниковать, а итерировать. Нейросеть - это не кнопка “сделать хорошо”. Это инструмент, который нужно откалибровать под ваш бизнес. В Botseller мы создали для этого конкретный инструментарий: тестовый чат, кнопку “Улучшить ответ”, откат истории и четыре типа AI промпт-инженеров. Ни строчки кода. Пять шагов. Результат - бот, который отвечает так, как нужно вашему бизнесу.
В предыдущей статье мы разобрали почему нейросеть ошибается на уровне архитектуры. Сегодня - практика: что делать, когда бот дал неправильный ответ. Не “подождать обновления” и не “нанять программиста”. А прямо сейчас, в интерфейсе, за 10-15 минут.
Почему нейросеть даёт неточные ответы?
Нейросеть не “знает” ваш бизнес. Она генерирует ответ на основе трёх вещей: промпта (инструкции, которую вы написали), базы знаний (документы, прайсы, FAQ, которые вы загрузили) и общих знаний модели (то, на чём она обучалась). Если промпт нечёткий, база знаний неполная, а вопрос клиента нестандартный - бот додумает сам. И додумает неправильно.
Это называется галлюцинация. Модель не врёт осознанно. Она заполняет пробелы в контексте наиболее вероятным текстом. Если в вашем промпте написано “стоимость услуги от 5000 рублей”, а клиент спрашивает “а бывает дешевле?”, модель может ответить “да, у нас есть базовый пакет за 3000 рублей”. Потому что в её обучающих данных так часто отвечают другие компании. Она не знает, что у вас нет базового пакета за 3000.
Вторая причина - промпт-дрифт. Вы написали хороший промпт, но со временем добавили куски: “а ещё упоминай акцию”, “не забудь про новый адрес”, “если спросят про возврат, скажи что…”. Промпт стал длинным и противоречивым. Модель начинает путаться в приоритетах. Одна часть промпта говорит “будь кратким”, другая - “подробно расскажи о каждой услуге”. Результат непредсказуем.
Третья причина - отсутствие тестирования. Вы написали промпт, проверили одним-двумя вопросами (“Привет”, “Сколько стоит?”) и запустили в бой. Но клиенты спрашивают не так. Они пишут с опечатками. Отправляют голосовые. Задают вопросы не по теме. Говорят “дорого” или “а у конкурента дешевле”. Каждый из этих сценариев нужно проверить до того, как бот столкнётся с ними в реальном диалоге.
Как работает тестовый чат в Botseller?
Откройте редактор инструкции и нажмите кнопку “Протестировать” в верхней панели. Справа появится окно тестового чата в формате мобильного телефона. Это точная эмуляция того, что увидит ваш клиент в мессенджере.
Тестовый чат работает с вашим реальным промптом и реальной базой знаний. Если вы загрузили прайс-лист - бот будет искать цены именно в нём. Если подключили RAG-инструкции - бот обращается к векторной базе, как при настоящем диалоге. Единственное отличие: сообщения не уходят клиентам и не сохраняются в CRM.
Каждое тестовое сообщение тратит баланс, но стоит копейки. 10-15 полных сценариев обойдутся в несколько рублей. Это цена одного капучино против цены потерянного клиента, который ушёл после неадекватного ответа бота.
Подробная документация по тестированию описывает каждый элемент интерфейса. Здесь - практика.
Процесс простой. Напишите боту как клиент. Начните с “Привет, хочу записаться” или “Сколько стоит…”. Посмотрите, как бот представится, какие вопросы задаст, в каком тоне ответит. Проведите полный диалог от приветствия до сбора контакта - это обычно 5-7 сообщений. Потом переходите к граничным случаям: возражения, провокации, вопросы не по теме.
Что делает кнопка “Улучшить этот ответ” и почему это меняет всё?
Вот здесь начинается магия. При наведении на любое сообщение бота появляется иконка “Улучшить этот ответ”. Нажимаете - открывается форма, где вы описываете проблему и даёте эталонный ответ.
Пример. Клиент написал “дорого”. Бот ответил: “Я понимаю ваши сомнения. Давайте я расскажу о преимуществах нашего сервиса подробнее”. Это слабый ответ. Вы нажимаете “Улучшить” и пишете:
Проблема: бот не работает с возражением, а уходит в общие фразы.
Эталонный ответ: “Понимаю. А с чем сравниваете? Если с фрилансером - у нас гарантия результата и поддержка 24/7. Если с другой платформой - давайте сравним конкретные функции. Что для вас самое критичное?”
Дальше происходит ключевое: AI-помощник анализирует ваш диалог, находит конкретное место в промпте, которое привело к слабому ответу, и точечно его правит. Вам не нужно самому лезть в промпт, искать проблемную строчку и формулировать исправление. Система делает это за вас.
Это принципиально отличает Botseller от конкурентов. В Salebot, BotMother, ManyChat промпт - это чёрный ящик. Вы пишете текст, запускаете, получаете результат. Если результат плохой - сами ищите что не так. В Botseller цикл другой: тест - оценка - точечное улучшение - перепроверка. Как TDD в программировании: сначала вы описываете ожидаемый результат, потом система подгоняет “код” (промпт) под этот результат.
Как использовать откат истории для точной перепроверки?
После того как AI-помощник исправил промпт, нужно проверить - стало ли лучше. Для этого есть откат истории. При наведении на любое сообщение появляется круглая иконка. Нажимаете - все сообщения от этого места и ниже удаляются. Промпт остаётся обновлённым.
Теперь отправьте то же сообщение (“дорого”) заново. Бот ответит уже с учётом исправленного промпта. Сравните новый ответ с предыдущим. Стало точнее? Отлично. Не совсем? Снова “Улучшить ответ” - новая итерация.
Полный цикл доработки выглядит так:
- Отправьте сообщение как клиент
- Оцените ответ бота: точен ли тон, верны ли факты, правильна ли длина
- Если что-то не так - нажмите “Улучшить этот ответ”, опишите проблему и дайте эталон
- Откатите историю до вашего сообщения
- Отправьте то же сообщение заново
- Оцените новый ответ
Обычно 2-3 итерации достаточно для одного сценария. За 15-20 минут вы прогоняете 5-7 ключевых сценариев и получаете бота, который отвечает именно так, как вы хотите.
Для глобальных изменений (переписать весь тон, добавить новый блок сценариев) используйте AI помощник в панели редактора. Там доступен выбор типа промпт-инженера - об этом ниже.
Какой AI промпт-инженер подходит вашему бизнесу?
В Botseller четыре специализированных AI промпт-инженера. Каждый заточен под свою отрасль и знает типичные сценарии, возражения и tone of voice.
| Тип | Отрасль | Что знает |
|---|---|---|
| Универсальный | Любой бизнес | Общие продажные сценарии, базовые возражения |
| Для услуг | Клининг, ремонт, красота, медицина | Запись на визит, прайс по услугам, работа с “дорого” в сервисном контексте |
| Для образования | Школы, курсы, репетиторство | Пробные уроки, расписание, работа с родителями, возрастные группы |
| Для туризма | Турагентства, отели, экскурсии | Даты и направления, визовые вопросы, сезонность, допродажи трансферов |
Выбор промпт-инженера влияет на то, какие исправления он будет предлагать при нажатии “Улучшить ответ”. Универсальный даст общее улучшение. Специализированный учтёт отраслевую специфику: для салона красоты предложит работу с конкретными мастерами, для турагентства - уточнение дат и бюджета.
Если ваша ниша не попала в четыре типа - начинайте с универсального. Он покрывает 80% сценариев. Для оставшихся 20% используйте ручные правки через “Улучшить ответ”.
Чек-лист: 7 сценариев, которые обязательно проверить перед запуском
Перед тем как подключить бота к реальным клиентам, прогоните каждый из семи сценариев. Это 15-20 минут тестирования, которые сберегут вам репутацию.
1. Приветствие и представление. Напишите “Привет”. Бот должен представиться конкретным именем (не “я AI-ассистент”), назвать компанию и задать первый уточняющий вопрос. Если бот начинает с лекции о своих возможностях - правьте.
2. Выявление потребности. Напишите “Хочу купить” без деталей. Бот должен задать 1-2 уточняющих вопроса, а не сразу начать продавать всё подряд.
3. Презентация с ценой. Спросите “Сколько стоит?”. Бот должен назвать конкретную цену из вашего прайса, а не “от 5000 рублей”. Если бот выдумывает цены - проблема в базе знаний, загрузите актуальный прайс.
4. Возражение “дорого”. Напишите “Дорого” или “У конкурента дешевле”. Бот должен отработать возражение конкретно: сравнить, объяснить ценность, предложить альтернативу. Не общими фразами.
5. Вопрос не по теме. Спросите “Какой курс доллара?” или “Кто президент?”. Бот должен вежливо перенаправить к теме бизнеса, а не начать отвечать на случайные вопросы.
6. Провокация “ты бот?”. Напишите “Ты бот?” или “Я разговариваю с роботом?”. Правильный ответ зависит от вашей стратегии: одни бизнесы открыто говорят “да, я AI-ассистент”, другие представляются именем. Главное - чтобы ответ был уверенным и не ломал диалог.
7. Сбор контакта. Доведите диалог до точки, где бот должен попросить имя и телефон. Проверьте: просит ли мягко, не теряет ли контекст, правильно ли сохраняет данные.
Каждый проваленный сценарий - это потенциальный потерянный клиент. Лучше поймать проблему в тестовом чате за 2 рубля, чем в реальном диалоге за 2000 рублей.
Как связать тестирование с базой знаний?
Если ваш бот использует RAG-инструкции (база знаний с прайсами, FAQ, каталогами), тестовый чат работает с ними напрямую. Но есть нюанс: перед тестированием нужно нажать “Векторизовать” в настройках базы знаний. Без этого бот будет отвечать только на основе промпта, без поиска по документам.
Типичная ошибка: вы обновили прайс, но забыли перевекторизовать. Бот выдаёт старые цены. Клиент злится. Администратор говорит “бот сломался”. На самом деле бот работает отлично - просто ищет по устаревшему индексу.
Правило: каждый раз, когда вы обновляете документы в базе знаний, нажимайте “Векторизовать” и прогоняйте 2-3 тестовых вопроса по обновлённым данным. Это занимает 3 минуты и гарантирует актуальность ответов.
В общей архитектуре Botseller RAG-поиск - это Нода 3: она находит релевантные фрагменты из вашей базы и передаёт их в генерацию ответа. Если фрагменты устаревшие - ответ будет устаревшим. Если фрагменты отсутствуют - бот додумает сам (и додумает неправильно).
Сколько стоит тестирование и почему это дешевле одной ошибки?
Каждое тестовое сообщение расходует баланс. Стоимость зависит от выбранной модели:
| Модель | Когда использовать | Стоимость за сообщение |
|---|---|---|
| Botseller Low | Рассылки, простые FAQ | минимальная (копейки) |
| Botseller Medium | Основной поток продаж | умеренная |
| Botseller High | Сложные диалоги | выше среднего |
| Botseller Ultra | Тестирование, калибровка | максимальная |
Рекомендация: тестируйте на Ultra. Да, это дороже за одно сообщение. Но Ultra даёт максимальную точность, и вы увидите, как бот будет отвечать в лучшем случае. Если на Ultra ответ плохой - проблема точно в промпте, а не в модели.
Полный прогон 7 сценариев чек-листа на Ultra обойдётся в 15-30 рублей. Это цена двух сообщений в WhatsApp Business API. Один потерянный клиент стоит от 500 до 50 000 рублей в зависимости от ниши. Математика очевидна.
После калибровки переключайте бота на Medium или High для реальных диалогов - баланс точности и стоимости. Подробнее о моделях в статье про архитектуру .
Что делать если бот всё равно ошибается после тестирования?
Бывает. Вы прогнали все сценарии, всё работает, а через неделю клиент пишет что-то совершенно неожиданное, и бот выдаёт ерунду. Это нормально. Нейросеть не может предусмотреть абсолютно все формулировки.
Решение: итеративный процесс. Зайдите в CRM, найдите проблемный диалог, поймите что пошло не так. Откройте редактор промпта, воспроизведите ситуацию в тестовом чате, используйте “Улучшить ответ”. Через 5 минут бот обрабатывает этот сценарий правильно. Навсегда.
Первую неделю после запуска проверяйте диалоги ежедневно. Обычно за 5-7 дней бот “учится” на 95% реальных сценариев. Дальше проверки раз в неделю достаточно. Через месяц - раз в две недели. Промпт стабилизируется.
Другой инструмент - “История версий”. Каждое изменение промпта сохраняется. Если после очередной правки бот стал отвечать хуже - откатитесь к предыдущей версии одним кликом. Это как ctrl+Z для вашего бота.
Формула предсказуемого ИИ простая: качественный базовый промпт + актуальная RAG-база + регулярный TDD-цикл калибровки = управляемый интеллект. Вам не нужно быть программистом, чтобы контролировать нейросеть. Если вы умеете писать текстовые сообщения, вы умеете настраивать бота.
Если вы хотите посчитать экономику ИИ-бота для вашего бизнеса - стоимость тестирования, стоимость диалогов, ROI от автоматизации - используйте наш калькулятор . Начните с быстрого старта или свяжитесь с нами для настройки под ключ.
FAQ
Нужно ли знать программирование для настройки бота?
Нет. Вся настройка происходит в визуальном интерфейсе: текстовый редактор промпта, кнопки “Протестировать” и “Улучшить ответ”, выбор модели из выпадающего списка. Если вы умеете писать текстовые сообщения - вы умеете настраивать бота. AI промпт-инженер берёт на себя техническую часть: анализирует диалог, находит слабые места в промпте и предлагает конкретные правки.
Сколько времени занимает первичная настройка?
Первый рабочий промпт: 15-30 минут с AI помощником. Калибровка через тестовый чат (7 сценариев): 15-20 минут. Итого около часа до запуска. Дальше итерации по 5-10 минут при обнаружении новых сценариев.
Можно ли тестировать бота на разных языках?
Да. Тестовый чат поддерживает любой язык. Напишите сообщение на английском или арабском - бот ответит на том же языке (если мульти-языковая поддержка настроена в промпте). Подробнее о мульти-языковой точности .
Что если AI промпт-инженер предложил плохое исправление?
Каждое изменение можно откатить через “Историю версий”. Если автоматическое исправление ухудшило ответы - вернитесь к предыдущей версии и попробуйте описать проблему точнее. Чем конкретнее вы опишете что не так и дадите эталонный ответ, тем точнее будет правка.
Тестовый чат учитывает базу знаний?
Да, если вы используете RAG-инструкции. Перед тестированием нажмите “Векторизовать” в настройках базы знаний. После этого бот будет искать ответы в ваших документах (прайсы, FAQ, каталоги) точно так же, как при реальном диалоге. Без векторизации бот отвечает только на основе промпта.
Чем тестовый чат отличается от реального диалога?
Тремя вещами: тестовый чат не привязан к CRM (данные клиента не сохраняются), не отправляет реальные сообщения в мессенджеры и не учитывает настроенные задержки ответа. Всё остальное - промпт, база знаний, модель, логика обработки - идентично реальному диалогу.
Как часто нужно перетестировать бота?
Первая неделя после запуска: ежедневно (15 минут на проверку проблемных диалогов в CRM). Первый месяц: раз в неделю. Далее: при каждом обновлении прайса, добавлении услуг или изменении акций. Если ничего не менялось - раз в 2-3 недели достаточно для поддержания качества.
