Knowledge Base Optimizer (оптимизатор базы знаний) - это инструмент для тестирования, который показывает, какие фрагменты обучающих данных чат-бот находит по любому вопросу. Он запускает точно такой же поиск по базе знаний, какой чат-бот выполняет в реальных диалогах, поэтому в результатах вы видите именно то, что получает ИИ при формировании ответа.
Инструмент работает только в режиме чтения: проверка вопроса здесь не изменяет ваши обучающие данные и никак не влияет на работу чат-бота.
Где его найти
Выберите чат-бота на главной панели управления и откройте вкладку Training (Обучение). В левой колонке, под списком категорий источников, нажмите синюю кнопку Knowledge Base Optimizer (Оптимизатор базы знаний).
Если вы еще не обучили чат-бота, сначала ознакомьтесь с разделом добавление обучающих данных - оптимизатор может выполнять поиск только по тем знаниям, на которых модель уже была обучена.
Тестирование вопроса
- Введите вопрос в поле Message (Сообщение) - лучше всего использовать реальный вопрос посетителей или тот, на который чат-бот недавно ответил неудачно.
- Нажмите Submit (Отправить).
- Через мгновение ниже появятся подходящие фрагменты знаний, отсортированные по релевантности от наиболее точного совпадения.
Как читать результаты
Каждая строка с результатом представляет собой один фрагмент ваших обучающих данных:
- Match (Совпадение) - процент слева показывает, насколько точно фрагмент соответствует вопросу. Чем выше значение, тем выше релевантность.
- Source (Источник) - в заголовке строки отображается иконка типа источника и его название, например URL-адрес обученной страницы, имя файла или запись Q&A.
- Language badge (Метка языка) - небольшая метка рядом с источником указывает, за каким языком закреплен фрагмент. У источников без языковой метки отображается значение «any», что означает их использование для всех языков.
- Fragment content (Содержимое фрагмента) - нажмите на строку, чтобы развернуть ее и просмотреть точный текст, который передается чат-боту.
Порядок имеет значение. Результаты ранжируются по релевантности, и чат-бот считывает их именно в этом порядке, начиная сверху, пока не заполнится контекстный бюджет знаний. Этот бюджет зависит от настроек памяти и Chat Context Size вашего бота - фрагменты, которые не помещаются в бюджет, отсекаются снизу. Если нужного фрагмента нет или он находится в самом низу списка, чат-бот, скорее всего, не использует его при ответе.
Языковая политика
Над полем сообщения строка Language policy (Языковая политика) объясняет, как ваш бот обрабатывает языки источников во время поиска. Для одноязычного бота поиск выполняется по всем источникам одновременно. Если включена функция Multi-language, поиск может быть ограничен языком посетителя плюс независимыми от языка источниками, и инструмент работает точно так же.
Для мультиязычных ботов после каждого поиска под полем сообщения появляется дополнительная информационная строка. В ней указаны Detected message language (язык, распознанный инструментом в вашем вопросе), Searched languages (языки источников, включенные в поиск) и, если инструмент перефразировал вопрос для более эффективного поиска, Refined query (фактически использованный уточненный запрос).
Когда использовать этот инструмент
- Чат-бот отвечает неверно или говорит, что не знает ответа. Проверьте тот же вопрос здесь. Если нужный фрагмент отсутствует в результатах, этой информации нет в обучающих данных (или она сформулирована слишком по-другому) - добавьте ее как новый источник или через исправление.
- После повторного обучения. Когда вы повторно обучаете источники, протестируйте несколько типичных вопросов, чтобы убедиться, что обновленный контент находится так, как ожидалось.
- Перед запуском бота. Проверьте самые распространенные вопросы посетителей и убедитесь, что по каждому из них релевантные фрагменты выводятся в верхней части списка.
Если результаты выявили пробелы, улучшите обучающие данные и протестируйте их снова - изменения вступят в силу сразу после завершения обучения. Более подробное руководство см. в статье Как улучшить ответы чат-бота.