Knowledge Base Optimizer - це інструмент для тестування, який показує, які фрагменти ваших навчальних даних чатбот знаходить для будь-якого запитання. Він використовує налаштування пошуку знань і мови бота для окремого запитання. Він не відтворює розмову повністю і не викликає дії з каталогом товарів бота чи інші операції, тому він не є точною копією кожної відповіді в реальному часі.
Він працює лише в режимі перегляду: тестування запитання тут не змінює ваші навчальні дані та жодним чином не впливає на роботу чатбота.
Де його знайти
Виберіть свого чатбота на головній панелі керування та відкрийте вкладку Training (Навчання). У лівій колонці, під списком категорій джерел, натисніть Knowledge Base Optimizer.
Якщо ви ще не навчали свого чатбота, почніть із додавання навчальних даних - оптимізатор може шукати лише ті знання, на яких модель уже була навчена.
Тестування запитання
- Введіть запитання в поле Message (Повідомлення) - бажано реальне запитання, яке ставлять ваші відвідувачі, або те, на яке чатбот нещодавно відповів невдало.
- Натисніть Submit (Надіслати).
- За мить нижче з'являться відповідні фрагменти знань, упорядковані за рейтингом пошуку та мовною політикою.
Інтерпретація результатів
Кожен рядок результату представляє один фрагмент ваших навчальних даних:
- Match (Збіг) - відсоток ліворуч показує, наскільки точно фрагмент відповідає вашому запитанню. Сприймайте це як показник схожості, а не як відсоткову ймовірність того, що відповідь правильна. Мовні переваги та зміна ранжування також можуть впливати на порядок.
- Source (Джерело) - заголовок рядка показує піктограму типу джерела та його назву, наприклад URL-адресу сторінки, за якою проводилося навчання, назву файлу або запис із запитаннями та відповідями (Q&A).
- Language badge (Мовний значок) - невеликий значок поруч із джерелом показує, якою мовою позначено цей фрагмент. Джерела без мовної позначки відображають «any», що означає їхнє використання для будь-якої мови.
- Fragment content (Вміст фрагмента) - натисніть на рядок, щоб розгорнути його та прочитати точний текст, який отримає чатбот.
Порядок має значення. Результати ранжуються за релевантністю, і чатбот читає їх у цьому порядку, зверху вниз, доки не вичерпається бюджет контексту знань. Цей бюджет залежить від Chat Context Size бота та налаштувань пам'яті - фрагменти, які не вміщуються в бюджет, відсікаються знизу. Якщо потрібний вам фрагмент відсутній або розташований надто низько в списку, найімовірніше, чатбот не використовує його під час відповіді.
Мовна політика
Над полем для введення повідомлення рядок Language policy (Мовна політика) пояснює, як ваш бот обробляє мови джерел під час пошуку. Для бота без мовної фільтрації пошук виконується в усіх джерелах одночасно. За умови використання функції Multi-language налаштована політика може обмежувати пошук основною мовою або мовою відвідувача, з урахуванням обраного резервного варіанта та мовно-незалежних джерел. Ознайомтеся з відображеною політикою, перш ніж робити висновки щодо відсутніх результатів.
Для багатомовних ботів після кожного пошуку під полем повідомлення з'являється додатковий інформаційний рядок. Він показує Detected message language (Визначена мова повідомлення - мова, яку інструмент розпізнав у вашому запитанні), Searched languages (Мови пошуку - які мови джерел були включені до пошуку) та, якщо інструмент перефразував ваше запитання для кращого пошуку, Refined query (Уточнений запит, який фактично використовувався).
Коли його використовувати
- Чатбот відповідає неправильно або каже, що не знає відповіді. Перевірте те саме запитання тут. Якщо потрібний фрагмент відсутній, спочатку перевірте вихідне джерело, статус завершення його навчання, мовну позначку та відображену мовну політику. Відсутність результатів також може бути наслідком ранжування або обмеження бюджету контексту; це не є остаточним доказом відсутності інформації. Додавайте або виправляйте контент лише після виявлення прогалини.
- Після повторного навчання. Коли ви повторно навчаєте свої джерела, поставте кілька типових запитань, щоб переконатися, що оновлений контент знаходиться належним чином.
- Перед запуском бота. Протестуйте найпоширеніші запитання, які ставитимуть ваші відвідувачі, і переконайтеся, що для кожного з них релевантні фрагменти з'являються на початку списку.
Якщо результати виявляють прогалини, покращіть свої навчальні дані та протестуйте знову - зміни набудуть чинності після завершення навчання. Потім перевірте відповідь у розділі Overview (Огляд), зокрема поставивши реалістичне уточнювальне запитання. Докладніші рекомендації наведено в статті Як покращити відповіді чатбота.