Gdy trenujesz swojego chatbota na stronie internetowej, ograniczenie ilości skanowanych danych do tych najbardziej przydatnych pomaga zmniejszyć zużycie znaków, przyspiesza trenowanie i poprawia jakość odpowiedzi, skupiając się wyłącznie na istotnych treściach.
Najpierw utwórz chatbota i przeczytaj artykuł Dodawanie nowych źródeł stron internetowych, aby poznać pełny proces skanowania. Wybierz swojego chatbota przed otwarciem zakładki Training (Trenowanie). W tym przewodniku wyjaśniamy, jak zoptymalizować skanowanie za pomocą opcji Advanced settings (Ustawienia zaawansowane) w oknie trenowania strony (Training > Links > Add New Training: Website).
Dlaczego mniej trenowania może dać lepsze rezultaty
ChatLab korzysta z architektury RAG (Retrieval-Augmented Generation). Zamiast zapamiętywać całą zawartość strony, sztuczna inteligencja wyszukuje najbardziej dopasowane fragmenty informacji w momencie zadania pytania przez użytkownika i na ich podstawie generuje odpowiedź.
Problem ze zbyt dużą ilością danych
Więcej danych nie zawsze oznacza lepsze odpowiedzi. Dodanie nieistotnych lub powtarzających się treści może zakłócić proces wyszukiwania:
- RAG ocenia fragmenty treści pod kątem dopasowania do pytania użytkownika. Jeśli Twoja strona zawiera wiele podstron z powtarzalnym, ogólnikowym lub szablonowym tekstem (menu, stopki, komunikaty prasowe, strony tagów na blogu), obniżają one jakość wyników wyszukiwania.
- Gdy chatbot pobierze kilka fragmentów o niskiej wartości, które zawierają wspólne słowa kluczowe, ale brakuje im przydatnego kontekstu, może wygenerować niedokładne, zbyt ogólne lub niezwiązane z tematem odpowiedzi.
- Na przykład: jeśli Twoja stopka na każdej stronie zawiera linki takie jak "Strona główna", "Kontakt", "Prywatność", "FAQ", bot może odpowiedzieć ogólnym akapitem ze stopki zamiast podać przydatny numer telefonu lub adres e-mail, gdy użytkownik zapyta "Jak mogę się z Wami skontaktować?".
Silny sygnał, mało szumu = lepsze odpowiedzi
Skanując wyłącznie przydatne treści, pomagasz sztucznej inteligencji odnaleźć jasny, konkretny i wysokiej jakości kontekst dla każdego pytania. Skup się na:
- Opisach produktów
- Stronach FAQ
- Artykułach pomocy
- Dokumentach regulaminów i polityk
- Kluczowych stronach docelowych (landing pages)
Prowadzisz sklep internetowy? Największą oszczędnością jest wykluczenie produktów ze skanowania. Gdy produkty pochodzą z funkcji AI Search lub wyszukiwarki sklepu na żywo, wyklucz strony produktów i kategorii za pomocą poniższych filtrów URL i skanuj tylko strony informacyjne. Produkty w AI Search nie zużywają znaków trenowania. Zobacz Plany i limity E-commerce.
Użyj mapy witryny zamiast pełnego skanowania strony
Zalecane: Używaj opcji mapy witryny (sitemap) zawsze, gdy to możliwe.
Pełne skanowanie strony podąża za wszystkimi widocznymi linkami na stronie, w tym odnośnikami ze stopek, menu i paneli bocznych, co często prowadzi do skanowania powtarzalnych lub mało wartościowych treści. Sekcje te zazwyczaj znajdują się na każdej podstronie i rzadko zawierają unikalne informacje przydatne w odpowiedziach na czacie.
Mapa witryny (często pod adresem https://yourdomain.com/sitemap.xml) dostarcza crawlerowi listę potencjalnych adresów URL. Sprawdź, co zawiera: nadal mogą znajdować się tam nieistotne strony. Użyj filtrów adresów URL, aby wykluczyć te strony, oraz funkcji filtrowania treści (Content Filtering), aby usunąć powtarzające się nagłówki, stopki lub menu z każdej strony.
Przegląd ustawień zaawansowanych (Advanced Settings)
Aby przejść do ustawień zaawansowanych, kliknij Add New Training: Website (Dodaj nowe trenowanie: Strona internetowa) w zakładce Training, a następnie rozwiń sekcję Advanced settings (Ustawienia zaawansowane). Ustawienia są podzielone na cztery kategorie:
- URL Filtering (Filtrowanie adresów URL) - określanie, które adresy URL uwzględniać lub wykluczać
- Query Parameters (Parametry zapytania) - zarządzanie parametrami w adresach URL
- Content Filtering (Filtrowanie treści) - filtrowanie określonych elementów strony
- Scraping Behavior (Sposób pobierania danych) - konfigurowanie sposobu wyodrębniania treści
Filtrowanie adresów URL
Uwzględniaj tylko określone adresy URL
Pole: Advanced Settings (Ustawienia zaawansowane) > URL Filtering (Filtrowanie adresów URL) > Include only URLs that contain (Uwzględniaj tylko adresy URL zawierające)
Dodaj słowa kluczowe rozdzielone średnikami, aby w skanowaniu uwzględnić tylko określone adresy URL.
Przykład: Aby uwzględnić strony, których adres URL zawiera /en lub /help:
/en;/help
Wzorce te działają alternatywnie, a nie jako część wspólna: nie oznaczają wyłącznie stron pomocy w języku angielskim. Jeśli adresy wszystkich Twoich angielskich stron pomocy zawierają wspólny ciąg /en/help/, użyj tylko tego fragmentu adresu. Przed wybraniem wzorca sprawdź rzeczywistą strukturę adresów URL.
Wyklucz nieistotne adresy URL
Pole: Advanced Settings (Ustawienia zaawansowane) > URL Filtering (Filtrowanie adresów URL) > Exclude URLs that contain (Wyklucz adresy URL zawierające)
Dodaj słowa kluczowe rozdzielone średnikami, aby pominąć sekcje takie jak blogi, obrazy czy aktualności.
Przykład:
/news;/pictures;/press
Pozwala to uniknąć skanowania sekcji bogatych w treść, ale nieistotnych dla chatbota, takich jak aktualności czy galerie zdjęć.
Parametry zapytania (Query Parameters)
Ignoruj wszystkie parametry zapytania (Ignore All Query Parameters)
Pole: Zaawansowane ustawienia (Advanced Settings) > Parametry zapytania (Query Parameters) > Ignore all query parameters (Ignoruj wszystkie parametry zapytania)
Zaznacz to pole wyboru, aby traktować adresy URL z różnymi parametrami zapytania jako tę samą stronę. Może to zapobiec powielaniu treści, ale może również potraktować odrębne produkty lub artykuły jako tę samą treść, jeśli to właśnie parametr zapytania identyfikuje daną treść. Zachowaj istotne parametry, takie jak identyfikator produktu (product ID).
Ignoruj określone parametry zapytania (Ignore Specific Query Parameters)
Pole: Zaawansowane ustawienia (Advanced Settings) > Parametry zapytania (Query Parameters) > Ignore specific query parameters (Ignoruj określone parametry zapytania)
Dodaj nazwy parametrów oddzielone średnikami, aby zignorować konkretne parametry śledzące lub filtrujące.
Przykład:
ref;source;campaign;utm_source
Dzięki temu page.html?ref=email oraz page.html?ref=social będą traktowane jako ten sam adres URL.
Filtrowanie treści (Content Filtering)
Uwzględnianie określonych elementów
Pole: Advanced Settings > Content Filtering > Include element IDs (Uwzględnij identyfikatory elementów)
Wpisz rozdzielone średnikami identyfikatory elementów, aby zeskanować tylko określone części strony. Użyj #id dla identyfikatorów elementów, .classname dla klas oraz nawiasów kwadratowych dla atrybutów: [data-id="82874db"] dopasowuje elementy o dokładnie takiej wartości atrybutu, a [data-content] dopasowuje każdy element, który w ogóle posiada ten atrybut.
Przykład:
#main-content;.article-body;[data-section="product"]
Spowoduje to zeskanowanie wyłącznie głównego obszaru treści, treści artykułów oraz sekcji produktów, ignorując całą resztę.
Podążanie tylko za linkami w uwzględnionych elementach
Pole: Advanced Settings > Content Filtering > Follow only links in included elements (Podążaj tylko za linkami w uwzględnionych elementach)
Ten przełącznik pojawia się po wypełnieniu pola Include element IDs. Po włączeniu go crawler będzie podążał wyłącznie za linkami znajdującymi się wewnątrz uwzględnionych elementów. Jest to przydatne, gdy chcesz ograniczyć indeksowanie do określonych sekcji witryny, takich jak obszary treści artykułów, ignorując jednocześnie menu nawigacyjne w nagłówkach lub stopkach.
Wartość domyślna: Wyłączone (crawler podąża za wszystkimi linkami na stronie)
Wykluczanie elementów strony
Pole: Advanced Settings > Content Filtering > Exclude element IDs (Wyklucz identyfikatory elementów)
Zapobiegaj skanowaniu nagłówków, stopek i innych elementów układu strony. Obowiązuje ta sama składnia selektorów: header i footer bez prefiksu, #id, .classname lub atrybut w nawiasach kwadratowych, taki jak [data-id="82874db"] czy [data-nosnippet]. Selektory atrybutów są przydatne, gdy element, który chcesz odrzucić, nie ma stałego id ani klasy, ale posiada atrybut data-*, który możesz skopiować z narzędzi deweloperskich w przeglądarce.
Przykład:
header;footer;#navigation;.sidebar;[data-nosnippet]
Usuwa to bloki HTML powtarzające się na każdej stronie, które na ogół nie zawierają żadnych przydatnych treści dla Twojego chatbota.
Podążanie za linkami w wykluczonych elementach
Pole: Advanced Settings > Content Filtering > Follow links in excluded elements (Podążaj za linkami w wykluczonych elementach)
Ten przełącznik pojawia się po wypełnieniu pola Exclude element IDs. Po włączeniu go crawler nadal będzie podążał za linkami znajdującymi się wewnątrz wykluczonych elementów (takich jak menu nawigacyjne w nagłówkach), mimo że sama treść tych elementów zostanie wykluczona z trenowania.
Wartość domyślna: Wyłączone (linki w wykluczonych elementach są ignorowane)
Zastosowanie: Włącz tę opcję, jeśli chcesz wykluczyć zawartość nagłówka lub stopki z trenowania, ale nadal potrzebujesz, aby crawler odkrywał podstrony za pośrednictwem linków nawigacyjnych znajdujących się w tych sekcjach. Pozwala to uzyskać najlepsze rezultaty: czyste dane treningowe bez zbędnych elementów menu przy zachowaniu indeksowania całej witryny.
Ważne: Jeśli korzystasz z pełnego skanowania witryny i wykluczasz elementy takie jak header bez włączania opcji "Follow links in excluded elements", skaner może nie dotrzeć do głębszych linków (menu często znajduje się wewnątrz nagłówków). W takim przypadku należy włączyć ten przełącznik lub skorzystać z mapy strony, co stanowi najbezpieczniejszą i najbardziej efektywną metodę.
Zachowanie podczas scrapowania (Scraping Behavior)
Pobieraj dokumenty (Scrape Documents)
Pole: Ustawienia zaawansowane (Advanced Settings) > Zachowanie podczas scrapowania (Scraping Behavior) > Pobieraj dokumenty (Scrape documents)
Gdy ta opcja jest włączona, system wyodrębnia i przetwarza zawartość dokumentów znalezionych na stronie. Obecnie obsługuje pliki PDF.
Wyklucz linki do obrazów (Exclude Image Links)
Pole: Ustawienia zaawansowane (Advanced Settings) > Zachowanie podczas scrapowania (Scraping Behavior) > Wyklucz linki do obrazów (Exclude image links)
Włącz ten przełącznik, aby wykluczyć wszystkie linki do obrazów ze zbioru danych treningowych. Adresy URL obrazów mogą zużywać znaki, nawet jeśli sam plik obrazu nie jest trenowany jako tekst. Ich usunięcie może również usunąć przydatne odniesienia do zdjęć w Offer Cards.
Porównaj zapisany podgląd, aby sprawdzić, ile znaków pozwala to zaoszczędzić i czy potrzebne odniesienia do obrazów pozostały nienaruszone.
Pobieraj ukrytą zawartość (Scrape Hidden Contents)
Pole: Ustawienia zaawansowane (Advanced Settings) > Zachowanie podczas scrapowania (Scraping Behavior) > Pobieraj ukrytą zawartość (Scrape hidden contents)
Gdy ta opcja jest włączona (domyślnie), system wyodrębnia treść z ukrytych elementów HTML (elementów oznaczonych jako ukryte przez obsługiwane style wbudowane, atrybuty HTML lub popularne klasy ukrywające).
Domyślnie: Włączone
Kiedy wyłączyć: Wyłącz tę opcję, aby pominąć ukrytą treść i pominąć elementy rozpoznane jako ukryte zgodnie z tymi regułami. Jest to przydatne, gdy strony internetowe zawierają ukrytą treść, taką jak:
- Zwinięte sekcje akordeonów
- Treści przeznaczone wyłącznie na urządzenia mobilne lub komputery
- Ukryte pola formularzy
- Powtarzający się tekst układu strony ukryty w kodzie
Wyłączenie tej opcji może zredukować nieistotny tekst, ale może również usunąć przydatne odpowiedzi z akordeonów lub szczegóły produktów. Sprawdź wyodrębnione źródło, zamiast zakładać, że każdy ukryty element jest niepożądany.
Opóźnienie między stronami (Delay Between Pages)
Pole: Ustawienia zaawansowane (Advanced Settings) > Zachowanie podczas scrapowania (Scraping Behavior) > Opóźnienie między stronami (Delay between pages)
Dodaj opóźnienie (w sekundach) między skanowaniem kolejnych stron, aby zapobiec przeciążeniu Twojego serwera. Przydatne w przypadku stron internetowych z limitami zapytań (rate limiting).
Symuluj wizytę z określonego kraju (Simulate Visit From Specific Country)
Pole: Ustawienia zaawansowane (Advanced Settings) > Zachowanie podczas scrapowania (Scraping Behavior) > Kod kraju (Country code)
Jeśli Twoja witryna wyświetla różne treści w zależności od lokalizacji odwiedzającego, wpisz 2-literowy kod kraju (np. US, PL, DE), aby zasymulować skanowanie z tej lokalizacji.
Zalecana konfiguracja dla większości stron
Użyj tych ustawień jako punktu wyjścia i zweryfikuj wyodrębnioną treść przed zastosowaniem ich w całej witrynie:
- Używaj mapy strony (Use sitemap), gdy jest dostępna, aby precyzyjnie kontrolować adresy URL
- Wyklucz identyfikatory elementów (Exclude element IDs):
header;footer;#navigation;.sidebar - Włącz opcję „Wyklucz linki do obrazów” ("Exclude image links"), aby usunąć adresy URL obrazów z trenowania
- Wyłącz opcję „Pobieraj ukrytą zawartość” ("Scrape hidden contents"), jeśli Twoja strona zawiera wiele ukrytych elementów
- Rozważ opcję „Podążaj za linkami w wykluczonych elementach” ("Follow links in excluded elements"), jeśli korzystasz z pełnego skanowania z wykluczonymi nagłówkami
Nie ma stałej wartości procentowej oszczędności. Przetestuj najpierw te ustawienia na jednej reprezentatywnej stronie i porównaj wyodrębnioną treść, liczbę znaków oraz odpowiedzi chatbota. Nie używaj selektora, jeśli nie pasuje on do Twojej witryny.
Podsumowanie: Dobre praktyki
- Używaj mapy strony zamiast pełnego skanowania, aby uzyskać dokładną kontrolę
- Uwzględniaj adresy URL (Include URLs), aby skupić się wyłącznie na wartościowych treściach
- Wykluczaj adresy URL (Exclude URLs), aby pominąć nieistotne lub przeładowane treścią podstrony
- Ignoruj parametry zapytania, aby uniknąć duplikowania treści
- Wykluczaj identyfikatory elementów (Exclude element IDs), aby usunąć powtarzające się fragmenty strony, takie jak nagłówki i stopki
- Kontroluj podążanie za linkami za pomocą opcji "Follow only links in included elements" lub "Follow links in excluded elements", aby precyzyjnie zarządzać działaniem crawlera
- Wykluczaj linki do obrazów, aby znacząco zredukować liczbę znaków
- Wyłącz pobieranie ukrytej zawartości (scrape hidden contents), jeśli Twoja strona zawiera niepotrzebne ukryte elementy
- Skup się na treściach przydatnych dla Twojego bota (FAQ, strony produktów, artykuły pomocy technicznej)
Zakończ skanowanie i zweryfikuj wyniki
Zacznij od opcji Single address (Pojedynczy adres), aby przetestować filtry na reprezentatywnej stronie. Kliknij Start scanning the website (Rozpocznij skanowanie strony), poczekaj na komunikat Training completed (Trenowanie zakończone) i użyj przycisku View (Podgląd), aby sprawdzić, czy wymagane informacje i linki zostały zachowane. Czas przetwarzania zależy od strony - większe skanowania mogą potrwać dłużej i działać w tle. Następnie użyj zweryfikowanych filtrów do pełnego skanowania strony lub mapy witryny (sitemap) i przetestuj przykładowe pytania w zakładce Overview (Przegląd). Jeśli pełne skanowanie pominie strony, sprawdź opcje podążania za linkami lub użyj mapy witryny.