Добавление источников с веб-сайта позволяет вашему чат-боту обучаться напрямую на материалах вашего сайта. Будь то информация о товарах, часто задаваемые вопросы или статьи в блоге, сканирование сайта создает снимок его содержимого, к которому чат-бот сможет обращаться. Переобучите его, когда эти материалы изменятся. Сначала создайте чат-бота и проверьте его лимит символов для обучения.
У вас интернет-магазин? Если товары поступают через AI Search или поиск по магазину в реальном времени, исключите страницы товаров и категорий из сканирования и сканируйте только информационные страницы, такие как доставка, возврат и FAQ. Отсканированные страницы товаров расходуют символы для обучения, а цены и наличие на них устаревают между сканированиями. См. Как настроить ChatLab для вашего интернет-магазина.
Где найти обучение по веб-сайту
Выберите своего чатбота и перейдите на вкладку Training (Обучение). В левом боковом меню выберите Links (Ссылки). Здесь вы управляете всеми источниками обучения на основе веб-сайтов.
Нажмите Add New Training: Website (Добавить новое обучение: Веб-сайт), чтобы открыть форму настройки.
Варианты сканирования
Форма обучения предлагает два способа добавления контента сайта, разделенных блоком OR (ИЛИ).
Scan website contents (Сканировать содержимое сайта) - укажите URL в поле Address (Адрес) и выберите один из вариантов:
- Whole website (Весь сайт) - сканирует все доступные для обнаружения страницы, начиная с указанного URL
- Single address (Один адрес) - сканирует только конкретную введенную страницу
Use sitemap (Использовать карту сайта) - укажите URL вашей карты сайта (например, https://www.yourdomain.com/sitemap.xml) в поле Sitemap (Карта сайта). В этом случае сканируются только страницы, перечисленные в файле sitemap.
При использовании карты сайта поле Address автоматически отключается (и наоборот), так как в рамках одной задачи обучения можно использовать только один метод.
Обучение на всем сайте
- Введите корневой URL вашего сайта в поле Address (например,
https://www.yourdomain.com) - Выберите Whole website в раскрывающемся списке под полем адреса
- Нажмите Start scanning the website (Начать сканирование сайта)
Система переходит по обнаруженным ссылкам с учетом фильтров, глубины сканирования и ограничений вашего аккаунта; она может охватить не абсолютно все страницы. Вы можете отслеживать прогресс на вкладке Trainings (Обучения), где в реальном времени отображается количество просканированных ссылок и собранных символов обучения.
Обучение на одной странице
- Введите URL конкретной страницы в поле Address (например,
https://www.yourdomain.com/pricing) - Выберите Single address в раскрывающемся списке
- Нажмите Start scanning the website
Это удобно, когда вам нужно добавить в базу знаний чатбота только одну страницу, например новую статью или обновленный раздел FAQ.
Обучение по карте сайта
- Введите URL карты сайта в поле Sitemap (например,
https://www.yourdomain.com/sitemap.xml) - Нажмите Start scanning the website
Сканирование по sitemap обеспечивает точный контроль над тем, какие страницы будут добавлены, так как обрабатываются только адреса из файла карты сайта.
Выбор отдельных страниц для обучения
Перед запуском сканирования вы можете включить переключатель I want to select individual urls for training after scanning the website (Я хочу выбрать отдельные URL для обучения после сканирования сайта). Эта опция доступна только при сканировании всего сайта (в режиме одной страницы она недоступна).
При ее включении:
- Система сканирует ваш сайт и находит все доступные страницы
- После завершения сканирования открывается древовидный список всех обнаруженных страниц с указанием количества символов
- Отмечайте или снимайте галочки, чтобы включить нужные страницы в обучение или исключить их
- Нажмите Start the Training (Начать обучение), чтобы запустить процесс по выбранным страницам
Это полезно, если на сайте есть страницы, на которых чатботу обучаться не нужно: страницы входа, панели администратора или нерелевантные разделы.
Сканирование языковых версий сайта
Если ваш сайт опубликован на нескольких языках, ChatLab определяет доступные языки в процессе сканирования и позволяет выбрать, какие из них включить в базу знаний чатбота. Эти элементы управления находятся в блоке Languages (Языки) формы обучения, непосредственно перед разделом Advanced settings (Расширенные настройки).
Охват языков
Раскрывающийся список Language scope (Охват языков) определяет, какая часть многоязычного сайта сканируется:
- Main website language (Основной язык сайта) - рекомендуется и выбирается по умолчанию, если многоязычная функциональность недоступна в тарифе и у бота не включена поддержка нескольких языков. Сканируется только основной язык сайта. Другие языковые версии пропускаются. Это позволяет сохранить обучающие данные компактными и целенаправленными, а также расходует меньше лимита обучения.
- All languages (Все языки) - рекомендуется и выбирается по умолчанию, если ваш тариф включает многоязычность или у бота включена поддержка нескольких языков. Сканирует обнаруженные языковые версии сайта. Это позволяет собрать все локализованные страницы, но контента будет больше, и лимит обучения израсходуется быстрее.
- Selected language (Выбранный язык) - сканирует один конкретный язык, выбранный вами из числа обнаруженных на сайте.
ChatLab определяет основной язык сайта для настройки сканирования конкретных языков. Выбор по умолчанию зависит от доступности многоязычного режима, а не от того, какой именно язык был обнаружен. При выборе варианта Selected language обнаруженный основной язык выбирается автоматически и помечается в списке как "main". Вы можете изменить его на любой другой найденный язык.
Определение языков доступно на всех тарифных планах, включая тариф FREE. Вы можете изменить охват перед началом сканирования. Опция New training with same parameters (Новое обучение с теми же параметрами) использует настройки охвата предыдущей задачи, которые могут отличаться от значений по умолчанию для нового сканирования.
Метод определения языка
Если выбран вариант Main website language или Selected language, вы можете указать, как именно ChatLab должен распознавать языковые версии сайта, с помощью раскрывающегося списка Language detection method (Метод определения языка):
- Hreflang attributes (recommended) (Атрибуты hreflang, рекомендуется) - вариант по умолчанию. Использует разметку
hreflangиlang, которую большинство многоязычных сайтов уже применяет для связывания своих версий. - URL path prefix (/en/, /de/, ...) (Префикс пути URL) - для сайтов, где каждый язык выделен в отдельный сегмент пути (например,
/en/,/de/или/fr/) без атрибутовhreflang.
Если ChatLab не сможет определить языки автоматически, вы все равно можете запустить сканирование основного языка или всех языков. Если вам нужен вариант Selected language, сначала укажите адрес сайта в полях выше, а затем выберите эту опцию повторно, чтобы система могла проанализировать сайт.
Подробнее о том, как чатбот использует языковые версии при ответах, описано в статьях Многоязычные чатботы и Настройка языка чатбота. Описанные в них режимы работы базы знаний требуют, чтобы источники были просканированы с включенным определением языков; поэтому старые источники может потребоваться переобучить, чтобы использовать эти возможности в полной мере.
Расширенные настройки
Нажмите кнопку Advanced settings в форме обучения, чтобы перейти к детальным настройкам сканирования.
Расширенные настройки разделены на четыре секции:
URL Filtering (Фильтрация URL)
- Include only URLs that contain (Включать только URL, содержащие) - сканировать только те адреса, которые соответствуют этим шаблонам (разделитель - точка с запятой, например
/en;/help) - Exclude URLs that contain (Исключать URL, содержащие) - пропускать URL, содержащие указанные фрагменты (например,
/news;/pictures). Стандартные шаблоны, такие как/wp-admin/,/feed/и страницы корзины, исключаются по умолчанию
Query Parameters (Параметры запроса)
- Ignore all query parameters (Игнорировать все параметры запроса) - считать страницы с разными параметрами одинаковыми (например,
/page?id=1и/page?id=2будут обработаны как/page) - Ignore specific query parameters (Игнорировать определенные параметры запроса) - отсекать только определенные параметры (популярные трекинговые метки, такие как
utm_source,fbclid,gclid, игнорируются автоматически)
Content Filtering (Фильтрация содержимого)
- Include element IDs (Включать ID элементов) - извлекать контент только из определенных HTML-элементов (используйте
#idдля идентификаторов,.classnameдля классов,[data-id="82874db"]для элементов с атрибутом, разделяя их точкой с запятой) - Exclude element IDs (Исключать ID элементов) - пропускать содержимое определенных HTML-элементов (например,
footer;header;#navigation;[data-nosnippet]) - При указании включаемых или исключаемых элементов появляются дополнительные переключатели, позволяющие настроить, должен ли робот переходить по ссылкам внутри этих элементов
Scraping Behavior (Поведение скрапера)
- Scrape documents (Скрапить документы) - также извлекать содержимое из файлов PDF, найденных на сайте
- Exclude image links (Исключать ссылки на изображения) - исключать URL изображений из набора обучающих данных
- Scrape hidden contents (Скрапить скрытое содержимое) - считывать текст из скрытых HTML-элементов (включено по умолчанию)
- Delay between pages (Задержка между страницами) - добавить паузу в секундах между запросами к страницам для снижения нагрузки на сервер
- Country code (Код страны) - выполнять скрапинг через прокси-сервер в определенной стране (двухбуквенный код, например
us)
Уведомления по электронной почте
Переключатель Email me when training is finished or needs my attention (Сообщить мне по email, когда обучение завершится или потребует внимания) включен по умолчанию. Когда он активен, вы получаете email в следующих случаях:
- Обучение успешно завершено
- Системе требуется ваше действие (например, выбор страниц после сканирования)
- В процессе обучения возникли ошибки
Адрес для уведомлений можно изменить в поле рядом с переключателем.
Отслеживание прогресса обучения
После запуска сканирования перейдите на вкладку Trainings, чтобы следить за ходом выполнения. Для каждого процесса отображаются:
- Исходный URL
- Текущий статус (Scanning links, Awaiting links selection, Training, Training completed)
- Индикатор выполнения во время активного сканирования или обучения
- Дата последнего обновления
Нажмите More details (Подробнее), чтобы увидеть все параметры конкретной задачи обучения, включая заданные расширенные настройки.
Управление обученными ссылками
После завершения обучения успешно обработанные страницы отображаются на вкладке Links. Страницы, исключенные вашими фильтрами, не выбранные вручную либо отклоненные из-за ошибки или превышения лимитов, попадают в обучающую базу не во всех случаях. Для каждой ссылки указаны:
- Заголовок страницы и URL
- Количество символов (объем обучающих данных)
- Статус обучения
- Дата последнего обновления
Для каждой ссылки можно выполнить следующие действия:
- Retrain (Переобучить) - заново просканировать и обновить данные для этой отдельной страницы
- View (Просмотр) - просмотреть точный текст, который был извлечен со страницы
- Delete (Удалить) - удалить эту страницу из базы знаний чатбота
Используйте флажок Select all (Выбрать все) и кнопки массовых действий, чтобы переобучить или удалить сразу несколько ссылок.
Просмотр извлеченного контента
Нажмите кнопку View рядом с любой обученной ссылкой, чтобы увидеть, какой именно контент был взят с этой страницы.
В модальном окне просмотра источника отображаются заголовок страницы, URL, количество символов, дата последнего обновления и полный текст, на котором обучался ваш чатбот. Это помогает убедиться, что система собрала нужную информацию, и проверить наполнение базы знаний.
Проверка готового чатбота
Сканирование и обучение происходят в фоновом режиме и на крупных сайтах могут занять от нескольких минут до более длительного времени. Вы можете закрыть эту страницу и пока подготовить код для вставки на сайт. Если у задачи появился статус Awaiting links selection, вернитесь, чтобы выбрать нужные страницы и запустить обучение. Когда обучение завершится, проверьте важные страницы с помощью кнопки View, затем откройте Overview (Обзор) и протестируйте вопросы, ответы на которые содержатся в этих материалах. Обязательно проверьте ошибки и список недостающих страниц, прежде чем полагаться на добавленный контент.
Похожие статьи
- Обучение в фоновом режиме - узнайте, как устроено фоновое обучение
- Повторное обучение чатбота - как обновить чатбота свежими материалами
- Как сократить количество символов при сканировании сайта - советы по оптимизации объема обучающих данных
- Обучение чатбота: основы и лимиты - подробная информация об ограничениях на обучающие данные