При обучении чатбота на материалах веб-сайта ограничение объема сканируемых данных наиболее полезной информацией помогает снизить расход символов, ускоряет обучение и повышает качество ответов за счет концентрации только на релевантном контенте.
Сначала выполните действие Создать чатбота и ознакомьтесь со статьей Добавление новых источников веб-сайта, чтобы узнать о полном процессе сканирования. Выберите чатбота перед открытием вкладки Training (Обучение). В этом руководстве объясняется, как оптимизировать сканирование с помощью раздела Advanced settings (Расширенные настройки) в модальном окне обучения по сайту (Training > Links > Add New Training: Website).
Почему меньший объем данных для обучения может быть лучше
ChatLab использует архитектуру RAG (Retrieval-Augmented Generation). Вместо того чтобы заучивать весь контент сайта, ИИ находит наиболее подходящие фрагменты информации в момент каждого вопроса пользователя и использует их для формирования ответа.
Проблема с избытком данных
Больше данных не всегда означает более качественные ответы. Добавление нерелевантного или избыточного контента может запутать процесс поиска информации:
- RAG оценивает релевантность фрагментов контента по отношению к вопросу пользователя. Если ваш сайт содержит много страниц с повторяющимся, нечетким или шаблонным текстом (меню, футеры, пресс-релизы, страницы тегов блога), они снижают точность результатов поиска.
- Когда чат-бот извлекает несколько малополезных фрагментов, которые содержат ключевые слова, но лишены нужного контекста, он может генерировать неточные, слишком обобщенные ответы или уходить от темы.
- Например: если ваш футер на каждой странице содержит ссылки вроде «Главная», «Контакты», «Конфиденциальность», «FAQ», то на вопрос «Как с вами связаться?» бот может выдать шаблонный текст из футера вместо полезного номера телефона или адреса электронной почты.
Больше пользы, меньше шума = лучше ответы
Сканируя только полезный контент, вы помогаете ИИ находить четкий, конкретный и качественный контекст для каждого вопроса. Сосредоточьтесь на следующих разделах:
- Описания товаров
- Страницы FAQ (вопросы и ответы)
- Статьи базы знаний и поддержки
- Документы с правилами и условиями
- Ключевые целевые страницы
Управляете интернет-магазином? Самый эффективный способ сэкономить - исключить товары из сканирования. Если товары загружаются через AI Search или живой поиск магазина, исключите страницы товаров и категорий с помощью фильтров URL, описанных ниже, и сканируйте только информационные страницы. Товары в AI Search не расходуют символы обучения. Подробнее см. в статье Планы и лимиты для e-commerce.
Используйте sitemap вместо полного сканирования сайта
Рекомендуется: используйте вариант со sitemap (картой сайта) всегда, когда это возможно.
Полное сканирование сайта переходит по всем видимым ссылкам на странице, включая ссылки из футеров, меню и боковых панелей, что часто приводит к сканированию повторяющегося или бесполезного контента. Эти блоки обычно присутствуют на каждой странице и редко содержат уникальную информацию, полезную для ответов в чате.
Карта сайта (обычно доступная по адресу https://yourdomain.com/sitemap.xml) предоставляет сканеру список целевых URL. Проверьте ее содержимое: в ней все еще могут быть нерелевантные страницы. Используйте фильтры URL, чтобы исключить эти страницы, и раздел Content Filtering (Фильтрация контента), чтобы удалить повторяющиеся шапки, футеры или меню с каждой страницы.
Обзор расширенных настроек
Чтобы перейти к расширенным настройкам, нажмите Add New Training: Website (Добавить новое обучение: Веб-сайт) на вкладке Training, затем разверните раздел Advanced settings (Расширенные настройки). Настройки разделены на четыре категории:
- URL Filtering (Фильтрация URL) - управление включением или исключением определенных адресов URL
- Query Parameters (Параметры запроса) - обработка параметров в URL
- Content Filtering (Фильтрация контента) - фильтрация конкретных элементов страницы
- Scraping Behavior (Поведение парсинга) - настройка способов извлечения контента
URL Filtering
Включение только определенных URL
Поле: Advanced Settings > URL Filtering > Include only URLs that contain (Включать только URL, содержащие)
Добавьте ключевые слова через точку с запятой, чтобы включить в сканирование только определенные адреса URL.
Пример: чтобы включить страницы, адрес URL которых содержит /en или /help:
/en;/help
Эти шаблоны работают по принципу «или», а не пересечения: они не означают выбор только англоязычных страниц помощи. Если все ваши англоязычные справочные страницы содержат фрагмент /en/help/, укажите именно эту единую подстроку. Проверьте реальную структуру адресов URL перед выбором шаблона.
Исключение нерелевантных URL
Поле: Advanced Settings > URL Filtering > Exclude URLs that contain (Исключать URL, содержащие)
Добавьте ключевые слова через точку с запятой, чтобы пропустить такие разделы, как блоги, изображения или новости.
Пример:
/news;/pictures;/press
Это предотвращает сканирование разделов с большим объемом контента, который не нужен чатботу (например, новостей или галерей изображений).
Query Parameters
Игнорирование всех параметров запроса
Поле: Advanced Settings > Query Parameters > Ignore all query parameters (Игнорировать все параметры запроса)
Установите этот флажок, чтобы адреса URL с различными параметрами запроса считались одной и той же страницей. Это помогает предотвратить появление дубликатов контента, но может объединить разные товары или статьи, если параметр запроса служит их идентификатором. Сохраняйте значимые параметры, например ID товара.
Игнорирование определенных параметров запроса
Поле: Advanced Settings > Query Parameters > Ignore specific query parameters (Игнорировать определенные параметры запроса)
Добавьте имена параметров через точку с запятой, чтобы исключить определенные параметры отслеживания или фильтрации.
Пример:
ref;source;campaign;utm_source
В этом случае страницы page.html?ref=email и page.html?ref=social будут обрабатываться как один и тот же адрес URL.
Content Filtering
Включение определенных элементов
Поле: Advanced Settings > Content Filtering > Include element IDs (Включать ID элементов)
Добавьте идентификаторы элементов через точку с запятой, чтобы сканировать только определенные части страницы. Используйте #id для ID элементов, .classname для классов и квадратные скобки для атрибутов: [data-id="82874db"] соответствует элементам с данным точным значением атрибута, а [data-content] охватывает любой элемент, у которого этот атрибут присутствует.
Пример:
#main-content;.article-body;[data-section="product"]
При таких настройках сканируются только область основного контента, текст статей и разделы товаров, а все остальное игнорируется.
Переход по ссылкам только во включенных элементах
Поле: Advanced Settings > Content Filtering > Follow only links in included elements (Следовать ссылкам только во включенных элементах)
Этот переключатель появляется после заполнения поля Include element IDs. Когда он включен, сканер будет переходить только по ссылкам, расположенным внутри указанных элементов. Это полезно, если нужно ограничить обход определенными разделами сайта (например, областью текста статей), пропуская навигационные меню в шапках и футерах.
По умолчанию: отключено (сканер переходит по всем ссылкам на странице)
Исключение элементов страницы
Поле: Advanced Settings > Content Filtering > Exclude element IDs (Исключать ID элементов)
Блокируйте сканирование шапок, футеров и других элементов разметки. Используется тот же синтаксис селекторов: header и footer без префиксов, #id, .classname или атрибуты в квадратных скобках, такие как [data-id="82874db"] или [data-nosnippet]. Селекторы атрибутов удобны, когда удаляемый элемент не имеет постоянного id или класса, но снабжен атрибутом data-*, который можно скопировать из инструментов разработчика в браузере.
Пример:
header;footer;#navigation;.sidebar;[data-nosnippet]
Это исключает блоки HTML, которые повторяются на каждой странице и обычно не содержат полезной информации для чатбота.
Переход по ссылкам в исключенных элементах
Поле: Advanced Settings > Content Filtering > Follow links in excluded elements (Следовать ссылкам в исключенных элементах)
Этот переключатель появляется после заполнения поля Exclude element IDs. Когда он включен, сканер будет переходить по ссылкам, найденным внутри исключенных элементов (например, по ссылкам навигационных меню в шапке), даже если сам текст этих элементов исключен из обучения.
По умолчанию: отключено (ссылки в исключенных элементах игнорируются)
Сценарий использования: включите эту функцию, если требуется исключить контент шапки и футера из обучения, но при этом необходимо, чтобы сканер находил страницы через ссылки меню в этих блоках. Это обеспечивает оптимальный результат: чистые данные для обучения без мусора из меню при сохранении полного обхода сайта.
Важно: если вы запускаете полное сканирование сайта и исключаете такие элементы, как header, не активировав «Follow links in excluded elements», сканер может пропустить внутренние страницы (так как меню часто размещается внутри тега header). В таком случае включите данный переключатель либо используйте карту сайта как наиболее надежный и эффективный способ.
Scraping Behavior (поведение сканирования)
Scrape Documents
Поле: Advanced Settings > Scraping Behavior > Scrape documents (Сканировать документы)
Когда функция включена, система извлекает и обрабатывает содержимое документов, найденных на сайте. В настоящее время поддерживаются файлы PDF.
Exclude Image Links
Поле: Advanced Settings > Scraping Behavior > Exclude image links (Исключить ссылки на изображения)
Включите этот переключатель, чтобы исключить все ссылки на изображения из обучающего набора данных. URL-адреса изображений могут расходовать символы, даже если сам файл изображения не обучается как текст. Их удаление также может удалить полезные ссылки на изображения для Offer Cards.
Сравните сохраненный предпросмотр, чтобы увидеть, сколько символов это экономит и остаются ли нужные ссылки на изображения.
Scrape Hidden Contents
Поле: Advanced Settings > Scraping Behavior > Scrape hidden contents (Сканировать скрытое содержимое)
Когда параметр включен (по умолчанию), система извлекает содержимое из скрытых элементов HTML (элементов, помеченных как скрытые поддерживаемыми встроенными стилями, атрибутами HTML или распространенными классами скрытия).
По умолчанию: Включено
Когда отключать: Отключите эту опцию, чтобы пропустить скрытое содержимое и элементы, распознанные как скрытые по этим правилам. Это полезно, когда сайты содержат скрытый контент, например:
- Свернутые разделы-аккордеоны
- Контент только для мобильных или только для десктопных устройств
- Скрытые поля форм
- Повторяющийся текст разметки, скрытый на странице
Отключение этого параметра может уменьшить количество нерелевантного текста, но также может удалить полезные ответы из аккордеонов или сведения о товарах. Проверяйте извлеченный исходный текст, а не предполагайте заранее, что каждый скрытый элемент не нужен.
Delay Between Pages
Поле: Advanced Settings > Scraping Behavior > Delay between pages (Задержка между страницами)
Добавьте задержку (в секундах) между сканированием каждой страницы, чтобы предотвратить перегрузку сервера. Полезно для сайтов с ограничением частоты запросов (rate limiting).
Simulate Visit From Specific Country
Поле: Advanced Settings > Scraping Behavior > Country code (Код страны)
Если ваш сайт отображает разный контент в зависимости от местоположения посетителя, введите 2-буквенный код страны (например, US, PL, DE), чтобы сымитировать сканирование из этой локации.
Рекомендуемая конфигурация для большинства сайтов
Используйте данные настройки в качестве отправной точки и обязательно проверяйте извлеченный контент перед тем, как применять параметры ко всему сайту:
- Используйте sitemap при наличии, чтобы точно контролировать список URL
- Exclude element IDs:
header;footer;#navigation;.sidebar - Включите «Exclude image links», чтобы убрать адреса изображений из процесса обучения
- Отключите «Scrape hidden contents», если на вашем сайте много скрытых элементов
- Используйте «Follow links in excluded elements», если проводите полное сканирование с исключением шапки сайта
Универсального процента экономии символов не существует. Сначала протестируйте параметры на одной характерной странице и сравните извлеченный контент, количество символов и ответы чатбота. Не используйте селекторы, если они не соответствуют разметке вашего сайта.
Итоги: рекомендации по оптимизации
- Используйте sitemap вместо полного сканирования для детального контроля
- Включайте URL, чтобы сканировать только полезные разделы
- Исключайте URL, чтобы пропускать нерелевантные или перегруженные страницы
- Игнорируйте параметры запроса, чтобы не допускать дублирования контента
- Исключайте ID элементов, чтобы убрать повторяющиеся части страниц (шапки и футеры)
- Управляйте переходами по ссылкам с помощью переключателей «Follow only links in included elements» или «Follow links in excluded elements» для точной настройки обхода
- Исключайте ссылки на изображения, чтобы существенно снизить расход символов
- Отключайте парсинг скрытого контента, если сайт содержит лишние скрытые блоки
- Делайте упор на полезный контент для бота (FAQ, карточки товаров, статьи поддержки)
Завершение сканирования и проверка
Начните с варианта Single address (Один адрес), чтобы проверить работу фильтров на одной показательной странице. Нажмите Start scanning the website (Начать сканирование веб-сайта), дождитесь статуса Training completed (Обучение завершено) и откройте View (Просмотр), чтобы убедиться в сохранении всех необходимых фактов и ссылок. Время обработки зависит от страницы; сканирование больших объемов занимает больше времени и продолжается в фоновом режиме. После этого примените проверенные фильтры для сканирования всего сайта или карты сайта и протестируйте типичные вопросы в разделе Overview (Обзор). Если при полном обходе пропускаются страницы, скорректируйте настройки перехода по ссылкам или переключитесь на sitemap.