Під час навчання чатбота на вебсайті обмеження обсягу сканованих даних лише найкориснішим допомагає зменшити використання символів, прискорює навчання та покращує якість відповідей завдяки зосередженню лише на релевантному контенті.
Спочатку створіть чатбота та прочитайте посібник Додавання нових джерел вебсайту про повний процес сканування. Виберіть свого чатбота перед тим, як відкрити вкладку Training (Навчання). Цей посібник пояснює, як оптимізувати сканування за допомогою розділу Advanced settings (Розширені налаштування) у модальному вікні навчання вебсайту (Training > Links > Add New Training: Website).
Чому менший обсяг даних для навчання може бути кращим
ChatLab використовує архітектуру RAG (Retrieval-Augmented Generation). Замість запам'ятовування всього вмісту вебсайту штучний інтелект шукає найрелевантніші фрагменти інформації під час кожного запитання користувача та використовує їх для генерації відповіді.
Проблема із завеликою кількістю даних
Більше даних не завжди означає кращі відповіді. Додавання нерелевантного або надлишкового вмісту може заплутати процес пошуку:
- RAG оцінює фрагменти вмісту за релевантністю до запитання користувача. Якщо ваш сайт містить багато сторінок із повторюваним, нечітким або загальним текстом (меню, футери, пресрелізи, сторінки тегів блогу), вони погіршують якість результатів пошуку.
- Коли чатбот знаходить кілька малокорисних фрагментів, які містять спільні ключові слова, але не мають корисного контексту, він може генерувати неточні, занадто загальні або невідповідні запиту відповіді.
- Наприклад: якщо ваш футер містить посилання на кшталт «Головна», «Контакти», «Конфіденційність», «FAQ» на кожній сторінці, бот може відповісти загальним абзацом із футера замість надання корисного номера телефону чи електронної пошти, коли користувач запитує «Як я можу зв'язатися з вами?»
Більше корисної інформації, менше шуму = кращі відповіді
Скануючи лише корисний вміст, ви допомагаєте ШІ знаходити чіткий, конкретний і якісний контекст для кожного запитання. Зосередьтеся на таких матеріалах:
- Описи товарів
- Сторінки FAQ
- Статті служби підтримки
- Документи з політиками та правилами
- Ключові цільові сторінки
Маєте інтернет-магазин? Найбільша економія - виключити товари зі сканування. Якщо товари надходять з AI Search або інтерактивного пошуку магазину, виключіть сторінки товарів і категорій за допомогою фільтрів URL нижче та скануйте лише інформаційні сторінки. Товари в AI Search не використовують символи для навчання. Дивіться Плани та ліміти E-commerce.
Використовуйте Sitemap замість повного сканування сайту
Рекомендовано: використовуйте варіант із sitemap усюди, де це можливо.
Повне сканування сайту переходить за всіма видимими посиланнями на сторінці, зокрема за посиланнями з футерів, меню та бічних панелей, що часто призводить до сканування повторюваного або некорисного контенту. Ці розділи зазвичай присутні на кожній сторінці й рідко містять унікальну інформацію, корисну для відповідей у чаті.
Карта сайту sitemap (часто за адресою https://yourdomain.com/sitemap.xml) надає сканеру перелік сторінок-кандидатів. Перевірте, що вона містить: там усе ще можуть бути нерелевантні сторінки. Використовуйте фільтри URL, щоб виключити такі сторінки, і Content Filtering (Фільтрація контенту), щоб прибрати повторювані шапки, футери або меню з кожної сторінки.
Огляд розширених налаштувань
Щоб відкрити розширені налаштування, натисніть Add New Training: Website (Додати нове навчання: Вебсайт) на вкладці Training, а потім розгорніть розділ Advanced settings. Налаштування поділено на чотири категорії:
- URL Filtering (Фільтрація URL) - керування тим, які URL-адреси включати чи виключати
- Query Parameters (Параметри запиту) - обробка параметрів URL
- Content Filtering (Фільтрація контенту) - фільтрація конкретних елементів сторінки
- Scraping Behavior (Поведінка скрейпінгу) - налаштування способу вилучення контенту
URL Filtering
Включення лише конкретних URL
Поле: Advanced Settings > URL Filtering > Include only URLs that contain (Включати лише URL, які містять)
Додайте ключові слова через крапку з комою, щоб включити у сканування лише певні URL.
Приклад: щоб включити сторінки, URL яких містить /en або /help:
/en;/help
Ці патерни діють як альтернативи (або), а не як перетин (і): вони не означають сканування виключно англійських сторінок довідки. Якщо всі ваші англійські сторінки довідки містять /en/help/, використайте саме цей єдиний підрядок. Перевірте реальну структуру URL перед вибором патерну.
Виключення нерелевантних URL
Поле: Advanced Settings > URL Filtering > Exclude URLs that contain (Виключати URL, які містять)
Додайте ключові слова через крапку з комою, щоб пропустити такі розділи, як блоги, зображення чи новини.
Приклад:
/news;/pictures;/press
Це дозволяє уникнути сканування розділів із великим обсягом контенту, які не мають значення для чатбота, наприклад новин або галерей зображень.
Query Parameters
Ігнорування всіх параметрів запиту
Поле: Advanced Settings > Query Parameters > Ignore all query parameters (Ігнорувати всі параметри запиту)
Увімкніть цей чекбокс, щоб розглядати URL-адреси з різними параметрами запиту як одну й ту саму сторінку. Це може запобігти дублюванню контенту, але також може об'єднати окремі товари чи статті, якщо параметр запиту визначає конкретний контент. Зберігайте значущі параметри, такі як ID товару.
Ігнорування конкретних параметрів запиту
Поле: Advanced Settings > Query Parameters > Ignore specific query parameters (Ігнорувати конкретні параметри запиту)
Додайте назви параметрів через крапку з комою, щоб ігнорувати конкретні параметри відстеження чи фільтрації.
Приклад:
ref;source;campaign;utm_source
Це дозволить вважати page.html?ref=email та page.html?ref=social однаковими URL.
Content Filtering
Включення конкретних елементів
Поле: Advanced Settings > Content Filtering > Include element IDs (Включити ID елементів)
Додайте ідентифікатори елементів через крапку з комою, щоб сканувати лише конкретні частини сторінки. Використовуйте #id для ID елементів, .classname для класів і квадратні дужки для атрибутів: [data-id="82874db"] знаходить елементи з цим точним значенням атрибута, а [data-content] знаходить кожен елемент, який взагалі має цей атрибут.
Приклад:
#main-content;.article-body;[data-section="product"]
Це сканує лише область основного контенту, тексти статей і розділи товарів, ігноруючи все інше.
Перехід за посиланнями лише у включених елементах
Поле: Advanced Settings > Content Filtering > Follow only links in included elements (Переходити за посиланнями лише у включених елементах)
Цей перемикач з'являється, коли ви вказуєте Include element IDs. Якщо його ввімкнено, сканер переходитиме лише за тими посиланнями, які знайдено всередині включених елементів. Це корисно, коли ви хочете обмежити сканування окремими розділами сайту, наприклад областями тексту статей, ігноруючи навігаційні меню в шапці або футері.
За замовчуванням: вимкнено (сканер переходить за всіма посиланнями на сторінці)
Виключення елементів сторінки
Поле: Advanced Settings > Content Filtering > Exclude element IDs (Виключити ID елементів)
Запобігає скануванню шапок, футерів та інших елементів розмітки. Застосовується той самий синтаксис селекторів: header та footer без префікса, #id, .classname або атрибут у квадратних дужках, як-от [data-id="82874db"] чи [data-nosnippet]. Селектори атрибутів зручні, коли елемент, який потрібно видалити, не має стабільного id або класу, але має атрибут data-*, який можна скопіювати з інструментів розробника у браузері.
Приклад:
header;footer;#navigation;.sidebar;[data-nosnippet]
Це видаляє блоки HTML, які повторюються на кожній сторінці й зазвичай не містять корисної для вашого чатбота інформації.
Перехід за посиланнями у виключених елементах
Поле: Advanced Settings > Content Filtering > Follow links in excluded elements (Переходити за посиланнями у виключених елементах)
Цей перемикач з'являється, коли ви вказуєте Exclude element IDs. Якщо його ввімкнено, сканер усе одно переходитиме за посиланнями, знайденими всередині виключених елементів (наприклад, у навігаційних меню в шапці), хоча сам їхній контент буде виключено з навчання.
За замовчуванням: вимкнено (посилання у виключених елементах ігноруються)
Сценарій використання: увімкніть це налаштування, якщо ви хочете виключити вміст шапки/футера з навчання, але сканеру все одно потрібно знаходити нові сторінки через навігаційні посилання в цих блоках. Це дає подвійну перевагу: чисті навчальні дані без зайвих елементів меню та водночас повне сканування всього сайту.
Важливо: якщо ви використовуєте повне сканування сайту й виключаєте такі елементи, як шапка (header), без увімкнення параметра "Follow links in excluded elements", сканер може не знайти глибші посилання (оскільки меню часто розташовані саме в шапці). У такому разі або ввімкніть перемикач, або використовуйте sitemap як найбезпечніший та найефективніший метод.
Scraping Behavior
Скрейпінг документів
Поле: Advanced Settings > Scraping Behavior > Scrape documents (Скрейпити документи)
Якщо ввімкнено, система вилучає та обробляє вміст документів, знайдених на вебсайті. Наразі підтримуються файли PDF.
Виключення посилань на зображення
Поле: Advanced Settings > Scraping Behavior > Exclude image links (Виключати посилання на зображення)
Увімкніть цей перемикач, щоб виключити всі посилання на зображення з навчального набору даних. URL-адреси зображень можуть збільшувати кількість витрачених символів, навіть якщо сам файл зображення не навчається як текст. Їх видалення також може прибрати корисні посилання на зображення для карток пропозицій (Offer Cards).
Порівняйте збережений попередній перегляд, щоб побачити, скільки символів це економить і чи залишилися потрібні посилання на зображення.
Скрейпінг прихованого вмісту
Поле: Advanced Settings > Scraping Behavior > Scrape hidden contents (Скрейпити прихований вміст)
Якщо ввімкнено (за замовчуванням), система вилучає контент із прихованих елементів HTML (елементів, позначених як приховані за допомогою підтримуваних вбудованих стилів, атрибутів HTML або поширених класів видимості).
За замовчуванням: увімкнено
Коли вимикати: вимкніть цю опцію, щоб пропустити прихований контент та проігнорувати елементи, розпізнані як приховані за цими правилами. Це корисно, якщо вебсайти містять прихований вміст, наприклад:
- Згорнуті блоки акордеонів
- Контент лише для мобільних або лише для десктопних пристроїв
- Приховані поля форм
- Повторюваний текст розмітки, прихований на сторінці
Вимкнення цього параметра може зменшити обсяг нерелевантного тексту, але також може призвести до видалення корисних відповідей з акордеонів або деталей товарів. Перевіряйте вилучене джерело, а не припускайте автоматично, що кожен прихований елемент є непотрібним.
Затримка між сторінками
Поле: Advanced Settings > Scraping Behavior > Delay between pages (Затримка між сторінками)
Додайте затримку (у секундах) між скануванням кожної сторінки, щоб запобігти перевантаженню вашого сервера. Це корисно для вебсайтів з обмеженнями за частотою запитів (rate limiting).
Симуляція візиту з певної країни
Поле: Advanced Settings > Scraping Behavior > Country code (Код країни)
Якщо ваш сайт показує різний контент залежно від місцезнаходження відвідувача, введіть 2-літерний код країни (наприклад, US, PL, DE), щоб симулювати сканування з цієї локації.
Рекомендована конфігурація для більшості вебсайтів
Використовуйте ці налаштування як відправну точку та перевіряйте вилучений контент перед тим, як застосовувати їх до всього вебсайту:
- Використовуйте sitemap, якщо вона доступна, для точного контролю URL
- Exclude element IDs:
header;footer;#navigation;.sidebar - Увімкніть "Exclude image links", щоб видалити URL-адреси зображень із навчання
- Вимкніть "Scrape hidden contents", якщо на вашому сайті є багато прихованих елементів
- Зверніть увагу на "Follow links in excluded elements", якщо використовуєте повне сканування з виключеними шапками
Фіксованого відсотка економії не існує. Спочатку протестуйте налаштування на одній показовій сторінці та порівняйте вилучений контент, кількість символів і відповіді чатбота. Не використовуйте селектор, якщо він не відповідає вашому сайту.
Підсумок: найкращі практики
- Використовуйте sitemap замість повного сканування для точного контролю
- Включайте URL, щоб зосередитися лише на цінному контенті
- Виключайте URL, щоб пропустити нерелевантні або перевантажені сторінки
- Ігноруйте параметри запиту, щоб уникнути дублювання контенту
- Виключайте ID елементів, щоб прибрати повторювані частини сторінок, такі як шапки та футери
- Керуйте переходами за посиланнями за допомогою параметрів "Follow only links in included elements" або "Follow links in excluded elements" для детального налаштування обходу
- Виключайте посилання на зображення, щоб значно зменшити кількість символів
- Вимикайте скрейпінг прихованого вмісту, якщо на вашому сайті є непотрібні приховані елементи
- Фокусуйтеся на корисному контенті для вашого бота (FAQ, сторінки товарів, статті підтримки)
Завершення сканування та перевірка
Почніть із варіанта Single address (Одинарна адреса), щоб протестувати фільтри на показовій сторінці. Натисніть Start scanning the website (Почати сканування вебсайту), дочекайтеся статусу Training completed (Навчання завершено) і скористайтеся кнопкою View (Перегляд), щоб перевірити збереження обов'язкових фактів і посилань. Час обробки залежить від сторінки; масштабніші сканування можуть тривати довше й продовжуватися у фоновому режимі. Потім застосуйте перевірені фільтри для сканування всього вебсайту чи sitemap і протестуйте типові запитання в розділі Overview (Огляд). Якщо під час повного сканування губляться сторінки, перевірте налаштування переходу за посиланнями або скористайтеся sitemap.