Knowledge Base Optimizer - это инструмент тестирования, который показывает, какие именно фрагменты ваших данных для обучения чат-бот находит по любому вопросу. Он использует настройки поиска по базе знаний и языковые параметры бота для отдельного вопроса. Инструмент не воспроизводит весь диалог целиком и не вызывает подключенный магазин или другие действия бота, поэтому он не является точным следом каждого реального ответа.
Он работает только в режиме чтения: проверка вопроса здесь не изменяет ваши данные для обучения и никак не влияет на работу чат-бота.
Где его найти
Выберите своего чат-бота в главной панели управления и откройте вкладку Training (Обучение). В левой колонке, под списком категорий источников, нажмите Knowledge Base Optimizer.
Если вы еще не обучили своего чат-бота, сначала начните с добавления данных для обучения - оптимизатор может искать информацию только по тем материалам, на которых бот уже был обучен.
Тестирование вопроса
- Введите вопрос в поле Message (Сообщение) - лучше всего использовать реальный вопрос посетителей или тот, на который чат-бот недавно ответил плохо.
- Нажмите Submit (Отправить).
- Через мгновение ниже появятся подходящие фрагменты знаний, упорядоченные в соответствии с ранжированием поиска и языковой политикой.
Как читать результаты
Каждая строка с результатом представляет собой один фрагмент ваших данных для обучения:
- Match (Совпадение) - процентное значение слева показывает, насколько точно фрагмент соответствует вашему вопросу. Используйте его как показатель релевантности, а не как процентную вероятность правильности ответа. Языковые предпочтения и переранжирование также могут влиять на порядок отображения.
- Source (Источник) - в заголовке строки показаны иконка типа источника и его название, например URL-адрес обученной страницы, имя файла или запись вопросов и ответов (Q&A).
- Языковой бейдж - небольшой значок рядом с источником показывает, каким языком помечен этот фрагмент. Источники без языкового тега отображают значение "any", что означает их использование для всех языков.
- Содержимое фрагмента - нажмите на строку, чтобы развернуть ее и прочитать точный текст, который получил бы чат-бот.
Порядок имеет значение. Результаты ранжируются по релевантности, и чат-бот считывает их в этом порядке сверху вниз, пока не заполнится его лимит контекста базы знаний. Этот объем зависит от настроек памяти бота и параметра Chat Context Size - фрагменты, которые не помещаются в лимит, отсекаются снизу. Если ожидаемый фрагмент отсутствует или находится слишком низко в списке, чат-бот, скорее всего, не использует его при формировании ответа.
Языковая политика
Над полем сообщения строка Language policy (Языковая политика) поясняет, как ваш бот обрабатывает языки источников во время поиска. Для бота без языковой фильтрации поиск выполняется по всем источникам одновременно. При использовании функции Multi-language настроенная политика может ограничить выборку основным языком или языком посетителя, применяя выбранный резервный вариант (fallback) и языконезависимые источники. Ознакомьтесь с отображаемой политикой перед тем, как делать выводы об отсутствующих результатах.
Для мультиязычных ботов после каждого поиска под полем сообщения появляется дополнительная информационная строка. Она показывает Detected message language (язык, распознанный в вашем вопросе), Searched languages (какие языки источников были включены в поиск) и, если инструмент перефразировал ваш вопрос для более точного поиска, Refined query (фактически использованный уточненный запрос).
Когда использовать инструмент
- Чат-бот отвечает неверно или говорит, что не знает ответа. Проверьте тот же вопрос здесь. Если нужный фрагмент отсутствует, сначала проверьте исходный источник, завершен ли статус его обучения, языковой тег и текущую языковую политику. Отсутствие результатов также может быть связано с ранжированием или ограничением контекста; это не обязательно означает полное отсутствие информации в базе. Добавляйте или исправляйте контент только после того, как определите причину проблемы.
- После повторного обучения. Когда вы повторно обучаете свои источники, задайте несколько типичных вопросов, чтобы убедиться, что обновленный контент извлекается так, как ожидается.
- Перед запуском на сайте. Протестируйте самые популярные вопросы посетителей и убедитесь, что по каждому из них релевантные фрагменты находятся в самом верху списка.
Если результаты выявили пробелы, доработайте данные для обучения и повторите проверку - изменения станут доступны сразу после завершения обучения. Затем протестируйте ответ во вкладке Overview (Обзор), включая реалистичный уточняющий вопрос. Более подробные рекомендации приведены в статье Как улучшить ответы чат-бота.