Когато обучавате своя чатбот от уебсайт, ограничаването на сканираните данни само до най-полезното помага за намаляване на разхода на символи, ускорява обучението и подобрява качеството на отговорите, като поставя фокус единствено върху релевантното съдържание.
Първо създайте чатбот и прочетете Добавяне на нови източници от уебсайт за пълния процес на сканиране. Изберете своя чатбот, преди да отворите Обучение (Training). Това ръководство обяснява как да оптимизирате сканирането чрез Разширени настройки (Advanced settings) в модалния прозорец за обучение от уебсайт (Обучение > Връзки > Добавяне на ново обучение: Уебсайт / Training > Links > Add New Training: Website).
Защо по-малкото обучение може да бъде по-добро
ChatLab използва архитектура RAG (Retrieval-Augmented Generation). Вместо да запаметява цялото съдържание на уебсайта, изкуственият интелект търси най-подходящите фрагменти информация при всеки потребителски въпрос и ги използва за генериране на отговор.
Проблемът с твърде много данни
Повече данни не означават непременно по-добри отговори. Добавянето на неподходящо или излишно съдържание може да затрудни процеса на извличане:
- RAG оценява фрагментите от съдържание според тяхната релевантност към въпроса на потребителя. Ако сайтът Ви съдържа много страници с повтарящ се, неясен или общ текст (менюта, футъри, прессъобщения, страници с етикети на блога), те влошават качеството на резултатите от търсенето.
- Когато чатботът извлече няколко фрагмента с ниска стойност, които съдържат едни и същи ключови думи, но нямат полезен контекст, той може да генерира неточни, твърде общи или отклоняващи се от темата отговори.
- Например: ако Вашият футър съдържа връзки като "Начало", "Контакти", "Поверителност", "ЧЗВ" на всяка страница, ботът може да отговори с общ абзац от футъра вместо с полезен телефонен номер или имейл, когато потребител попита "Как мога да се свържа с вас?".
Силен сигнал, малко шум = по-добри отговори
Като сканирате само полезно съдържание, помагате на AI да извлича ясен, конкретен и висококачествен контекст за всеки въпрос. Фокусирайте се върху:
- Описания на продукти
- Страници с ЧЗВ (FAQ)
- Помощни статии
- Документи с правила и условия
- Основни целеви страници
Управлявате онлайн магазин? Най-голямата икономия идва от изключването на продуктите от сканирането. Когато продуктите идват от AI Search или търсене в магазина на живо, изключете страниците на продуктите и категориите с филтрите за URL адреси по-долу и сканирайте само информационните страници. Продуктите в AI Search не използват символи за обучение. Вижте E-commerce plans and limits.
Използвайте Sitemap вместо пълно сканиране на уебсайта
Препоръчително: Използвайте опцията за карта на сайта (sitemap) винаги когато е възможно.
Пълното сканиране на уебсайта проследява всички видими връзки на страницата, включително линкове от футъри, менюта и странични ленти, което често води до сканиране на повтарящо се или незначително съдържание. Тези секции обикновено присъстват на всяка страница и рядко съдържат уникална информация, полезна за отговорите на чата.
Картата на сайта (sitemap, често на адрес https://yourdomain.com/sitemap.xml) предоставя на робота списък с потенциални URL адреси. Проверете какво включва тя: възможно е все пак да съдържа неподходящи страници. Използвайте URL филтри, за да изключите тези страници, и функцията Content Filtering (филтриране на съдържанието), за да премахнете повтарящите се хедъри, футъри или менюта от всяка страница.
Преглед на Advanced settings (Разширени настройки)
За достъп до разширените настройки кликнете върху Add New Training: Website (Добави ново обучение: Уебсайт) в раздела Training, след което разгънете раздела Advanced settings. Настройките са организирани в четири категории:
- URL Filtering (Филтриране на URL адреси) - Контрол кои URL адреси да бъдат включени или изключени
- Query Parameters (Параметри на заявката) - Обработка на URL параметри
- Content Filtering (Филтриране на съдържанието) - Филтриране на конкретни елементи от страницата
- Scraping Behavior (Поведение при извличане) - Конфигуриране на начина на извличане на съдържанието
Филтриране на URL адреси
Включване само на определени URL адреси
Поле: Advanced Settings (Разширени настройки) > URL Filtering (Филтриране на URL адреси) > Include only URLs that contain (Включване само на URL адреси, съдържащи)
Добавете ключови думи, разделени с точка и запетая, за да включите при сканирането само определени URL адреси.
Пример: За да включите страници, чийто URL адрес съдържа /en или /help:
/en;/help
Тези шаблони са алтернативи, а не пресичане: те не означават само помощни страници на английски език. Ако всички Ваши помощни страници на английски език съдържат /en/help/, използвайте този единствен низ. Проверете действителната структура на URL адресите, преди да изберете шаблон.
Изключване на нерелевантни URL адреси
Поле: Advanced Settings (Разширени настройки) > URL Filtering (Филтриране на URL адреси) > Exclude URLs that contain (Изключване на URL адреси, съдържащи)
Добавете ключови думи, разделени с точка и запетая, за да пропуснете раздели като блогове, изображения или новини.
Пример:
/news;/pictures;/press
По този начин се избягва сканирането на раздели с голям обем съдържание, които нямат отношение към чатбота, като например новини или галерии с изображения.
Параметри на заявката (Query Parameters)
Игнориране на всички параметри на заявката (Ignore All Query Parameters)
Поле: Advanced Settings > Query Parameters > Ignore all query parameters (Разширени настройки > Параметри на заявката > Игнориране на всички параметри на заявката)
Поставете отметка в това поле, за да се третират URL адресите с различни параметри на заявката като една и съща страница. Това може да предотврати дублирането на съдържание, но също така може да слее отделни продукти или статии, ако параметърът на заявката определя самото съдържание. Запазете параметрите със съществено значение, като например идентификатор на продукт (product ID).
Игнориране на конкретни параметри на заявката (Ignore Specific Query Parameters)
Поле: Advanced Settings > Query Parameters > Ignore specific query parameters (Разширени настройки > Параметри на заявката > Игнориране на конкретни параметри на заявката)
Добавете имена на параметри, разделени с точка и запетая, за да игнорирате конкретни параметри за проследяване или филтриране.
Пример:
ref;source;campaign;utm_source
По този начин page.html?ref=email и page.html?ref=social се третират като един и същ URL адрес.
Филтриране на съдържанието (Content Filtering)
Включване на конкретни елементи
Поле: Advanced Settings > Content Filtering > Include element IDs (Включи идентификатори на елементи)
Добавете идентификатори на елементи, разделени с точка и запетая, за да сканирате само конкретни части от страницата. Използвайте #id за идентификатори на елементи, .classname за класове и квадратни скоби за атрибути: [data-id="82874db"] съответства на елементи с точно тази стойност на атрибута, а [data-content] съответства на всеки елемент, който съдържа този атрибут.
Пример:
#main-content;.article-body;[data-section="product"]
Това сканира само основната зона със съдържание, телата на статиите и продуктовите раздели, като игнорира всичко останало.
Проследяване само на връзки във включените елементи
Поле: Advanced Settings > Content Filtering > Follow only links in included elements (Проследявай само връзки във включените елементи)
Този превключвател се появява, когато посочите Include element IDs. Когато е активиран, роботът ще проследява само връзки, намерени във включените елементи. Това е полезно, когато искате да ограничите обхождането до конкретни раздели на уебсайта, като например зоните със съдържание на статиите, като същевременно игнорирате навигационните менюта в горния или долния колонтитул.
По подразбиране: Деактивирано (проследяват се всички връзки на страницата)
Изключване на елементи от страницата
Поле: Advanced Settings > Content Filtering > Exclude element IDs (Изключи идентификатори на елементи)
Предотвратете сканирането на заглавни части, долни колонтитули и други елементи на оформлението. Прилага се същият синтаксис за селектори: header и footer без префикс, #id, .classname или атрибут в квадратни скоби като [data-id="82874db"] или [data-nosnippet]. Селекторите на атрибути са удобни, когато елементът, който искате да премахнете, няма постоянен id или клас, но съдържа data-* атрибут, който можете да копирате от инструментите за разработчици на браузъра.
Пример:
header;footer;#navigation;.sidebar;[data-nosnippet]
Това премахва HTML блокове, които се повтарят на всяка страница и обикновено не съдържат полезна информация за Вашия чатбот.
Проследяване на връзки в изключените елементи
Поле: Advanced Settings > Content Filtering > Follow links in excluded elements (Проследявай връзки в изключените елементи)
Този превключвател се появява, когато посочите Exclude element IDs. Когато е активиран, роботът ще продължи да проследява връзките, намерени в изключените елементи (като навигационни менюта в горните колонтитули), въпреки че самото им съдържание е изключено от обучението.
По подразбиране: Деактивирано (връзките в изключените елементи не се проследяват)
Случай на употреба: Активирайте това, когато искате да изключите съдържанието на горния/долния колонтитул от обучението, но все пак е необходимо роботът да открива страници чрез навигационните връзки в тези зони. Това Ви дава най-доброто от двата свята: чисти данни за обучение без излишен шум от менютата, като същевременно обхожда целия Ви сайт.
Важно: Ако използвате пълно сканиране на уебсайта и изключите елементи като header, без да активирате "Follow links in excluded elements", скенерът може да не открие по-дълбоките връзки (менютата често се намират вътре в заглавните части). В такъв случай или активирайте превключвателя, или използвайте sitemap като най-сигурния и ефективен метод.
Scraping Behavior (Поведение при извличане)
Извличане на документи
Поле: Advanced Settings > Scraping Behavior > Scrape documents (Извличане на документи)
Когато е активирано, системата извлича и обработва съдържанието на намерените документи в уебсайта. В момента се поддържат PDF файлове.
Изключване на връзки към изображения
Поле: Advanced Settings > Scraping Behavior > Exclude image links (Изключване на връзки към изображения)
Активирайте този превключвател, за да изключите всички връзки към изображения от набора данни за обучение. Адресите на изображения (URL) могат да добавят символи, въпреки че самият файл с изображение не се обучава като текст. Премахването им може също така да премахне полезни препратки към изображения за Offer Cards.
Сравнете запазения предварителен преглед, за да видите колко спестява това и дали необходимите препратки към изображения остават.
Извличане на скрито съдържание
Поле: Advanced Settings > Scraping Behavior > Scrape hidden contents (Извличане на скрито съдържание)
Когато е активирано (по подразбиране), системата извлича съдържание от скрити HTML елементи (елементи, маркирани като скрити чрез поддържани вградени стилове, HTML атрибути или често срещани класове за скриване).
По подразбиране: Активирано
Кога да го деактивирате: Деактивирайте тази опция, за да пропуснете скритото съдържание и да прескочите елементите, разпознати като скрити според тези правила. Това е полезно, когато уебсайтовете съдържат скрито съдържание като:
- Сгънати акордеон секции
- Съдържание само за мобилни устройства или само за десктоп
- Скрити полета на формуляри
- Повтарящ се текст от оформлението, скрит от страницата
Деактивирането на тази опция може да намали нерелевантния текст, но може също да премахне полезни отговори от акордеони или детайли за продукти. Прегледайте извлеченото съдържание, вместо да предполагате, че всеки скрит елемент е нежелан.
Забавяне между страниците
Поле: Advanced Settings > Scraping Behavior > Delay between pages (Забавяне между страниците)
Добавете забавяне (в секунди) между сканирането на всяка страница, за да предотвратите претоварване на Вашия сървър. Полезно за уебсайтове с ограничения на броя заявки (rate limiting).
Симулиране на посещение от определена държава
Поле: Advanced Settings > Scraping Behavior > Country code (Код на държава)
Ако Вашият сайт показва различно съдържание в зависимост от местоположението на посетителя, въведете код от 2 букви на държава (напр. US, PL, DE), за да симулирате сканиране от това местоположение.
Препоръчителна конфигурация за повечето уебсайтове
Използвайте тези настройки като отправна точка и проверете извлеченото съдържание, преди да ги приложите за целия си уебсайт:
- Използвайте карта на сайта (sitemap), когато е налична, за прецизен контрол на URL адресите
- Изключете ID-та на елементи:
header;footer;#navigation;.sidebar - Активирайте опцията „Exclude image links“ (Изключване на връзки към изображения), за да премахнете URL адресите на изображения от обучението
- Деактивирайте опцията „Scrape hidden contents“ (Извличане на скрито съдържание), ако сайтът Ви съдържа много скрити елементи
- Обмислете опцията „Follow links in excluded elements“ (Следване на връзки в изключени елементи), ако използвате пълно сканиране с изключени заглавни части (headers)
Няма фиксиран процент на спестяване. Първо тествайте настройките на една представителна страница и сравнете извлеченото съдържание, броя символи и отговорите на чатбота. Не използвайте селектор, освен ако не съответства на Вашия уебсайт.
Обобщение: добри практики
- Използвайте sitemap вместо пълно сканиране за прецизен контрол
- Включвайте определени URL адреси, за да насочите бота само към ценно съдържание
- Изключвайте URL адреси, за да пропуснете нерелевантни или тежки страници
- Игнорирайте параметрите на заявката, за да избегнете дублиращо се съдържание
- Изключвайте идентификатори на елементи, за да премахнете повтарящи се части от страниците като горни и долни колонтитули
- Контролирайте проследяването на връзки чрез "Follow only links in included elements" или "Follow links in excluded elements" за прецизен контрол върху обхождането
- Изключвайте връзките към изображения, за да намалите значително броя на символите
- Деактивирайте извличането на скрито съдържание, ако сайтът Ви съдържа ненужни скрити елементи
- Фокусирайте се върху полезно съдържание за Вашия бот (ЧЗВ, продуктови страници, помощни статии)
Завършете сканирането и проверете резултата
Започнете с Single address (Единичен адрес), за да тествате филтрите върху представителна страница. Кликнете върху Start scanning the website (Стартиране на сканирането на уебсайта), изчакайте статуса Training completed (Обучението е завършено) и използвайте View (Преглед), за да се уверите, че необходимите факти и връзки са запазени. Времето за обработка зависи от страницата - по-големите сканирания могат да отнемат повече време и да продължат във фонов режим. След това използвайте проверените филтри за по-мащабното сканиране на Вашия уебсайт или карта на сайта (sitemap) и тествайте представителни въпроси в Overview (Общ преглед). Ако пълното обхождане пропусне страници, проверете настройките за проследяване на връзки или използвайте sitemap.