Wenn Sie Ihren Chatbot anhand einer Website trainieren, hilft die Beschränkung der gescannten Daten auf das Nützlichste dabei, den Zeichenverbrauch zu reduzieren, das Training zu beschleunigen und die Antwortqualität zu verbessern, indem Sie sich nur auf relevante Inhalte konzentrieren.
Erstellen Sie zunächst einen Chatbot und lesen Sie Neue Website-Quellen hinzufügen für den vollständigen Scan-Ablauf. Wählen Sie Ihren Chatbot aus, bevor Sie Training öffnen. Diese Anleitung erklärt, wie Sie Ihren Scan mithilfe der erweiterten Einstellungen (Advanced settings) im Website-Trainingsfenster (Training > Links > Add New Training: Website) optimieren.
Warum weniger Training besser sein kann
ChatLab nutzt eine RAG-Architektur (Retrieval-Augmented Generation). Anstatt den gesamten Website-Inhalt auswendig zu lernen, sucht die KI bei jeder Nutzerfrage nach den relevantesten Informationen und nutzt diese, um eine Antwort zu generieren.
Das Problem mit zu vielen Daten
Mehr Daten bedeuten nicht automatisch bessere Antworten. Das Hinzufügen irrelevanter oder redundanter Inhalte kann den Abrufprozess beeinträchtigen:
- RAG bewertet Textabschnitte (Chunks) nach ihrer Relevanz für die Frage des Nutzers. Wenn Ihre Website viele Seiten mit sich wiederholenden, vagen oder allgemeinen Texten enthält (Menüs, Footer, Pressemitteilungen, Blog-Tag-Seiten), verwässert dies die Qualität der Suchergebnisse.
- Wenn der Chatbot mehrere minderwertige Abschnitte abruft, die zwar passende Schlüsselwörter enthalten, denen es aber an hilfreichem Kontext fehlt, kann er ungenaue, zu allgemeine oder unpassende Antworten liefern.
- Ein Beispiel: Wenn Ihr Footer auf jeder Seite Links wie "Startseite", "Kontakt", "Datenschutz", "FAQ" enthält, antwortet der Bot auf die Frage "Wie kann ich Sie kontaktieren?" möglicherweise mit einem allgemeinen Abschnitt aus dem Footer anstelle einer hilfreichen Telefonnummer oder E-Mail-Adresse.
Hohe Signalstärke, wenig Rauschen = bessere Antworten
Indem Sie nur nützliche Inhalte scannen, helfen Sie der KI, für jede Frage klaren, spezifischen und hochwertigen Kontext abzurufen. Konzentrieren Sie sich auf:
- Produktbeschreibungen
- FAQ-Seiten
- Support-Artikel
- Richtliniendokumente
- Wichtige Landingpages
Betreiben Sie einen Online-Shop? Die größte Ersparnis erzielen Sie, wenn Sie Produkte vom Scan ausschließen. Wenn Produkte über AI Search oder die Live-Shop-Suche bezogen werden, schließen Sie Produkt- und Kategorieseiten mit den unten stehenden URL-Filtern aus und scannen Sie nur Informationsseiten. Produkte in AI Search verbrauchen keine Trainingszeichen. Siehe E-Commerce-Pläne und Limits.
Sitemap statt vollständigem Website-Scan verwenden
Empfohlen: Verwenden Sie nach Möglichkeit die Option Sitemap.
Ein vollständiger Website-Scan folgt allen sichtbaren Links auf der Seite, einschließlich Links aus Fußzeilen, Menüs und Seitenleisten. Dies führt häufig dazu, dass sich wiederholende oder irrelevante Inhalte gescannt werden. Diese Abschnitte sind typischerweise auf jeder Seite vorhanden und enthalten selten einzigartige Informationen, die für Chat-Antworten nützlich sind.
Eine Sitemap (oft unter https://yourdomain.com/sitemap.xml) liefert dem Crawler eine Liste potenzieller URLs. Prüfen Sie, was sie enthält: Sie kann immer noch irrelevante Seiten auflisten. Verwenden Sie URL-Filter, um diese Seiten auszuschließen, und Content Filtering (Inhaltsfilterung), um wiederkehrende Kopfzeilen, Fußzeilen oder Menüs von jeder Seite zu entfernen.
Übersicht der erweiterten Einstellungen
Um auf die erweiterten Einstellungen zuzugreifen, klicken Sie im Tab Training auf Add New Training: Website und klappen Sie dann den Bereich Advanced settings aus. Die Einstellungen sind in vier Kategorien unterteilt:
- URL Filtering (URL-Filterung) - Steuern, welche URLs einbezogen oder ausgeschlossen werden sollen
- Query Parameters (Query-Parameter) - Umgang mit URL-Parametern
- Content Filtering (Inhaltsfilterung) - Bestimmte Seitenelemente filtern
- Scraping Behavior (Scraping-Verhalten) - Konfigurieren, wie Inhalte extrahiert werden
URL-Filterung
Nur bestimmte URLs einbeziehen
Feld: Advanced Settings (Erweiterte Einstellungen) > URL Filtering (URL-Filterung) > Include only URLs that contain (Nur URLs einbeziehen, die Folgendes enthalten)
Fügen Sie durch Semikolons getrennte Schlüsselwörter hinzu, um nur bestimmte URLs in den Scan einzubeziehen.
Beispiel: Um Seiten einzubeziehen, deren URL entweder /en oder /help enthält:
/en;/help
Diese Muster sind Alternativen und keine Schnittmenge: Sie bedeuten nicht, dass nur englische Hilfeseiten einbezogen werden. Wenn alle Ihre englischen Hilfeseiten /en/help/ gemeinsam haben, verwenden Sie stattdessen diese einzelne Teilzeichenfolge. Prüfen Sie die tatsächliche URL-Struktur, bevor Sie ein Muster auswählen.
Irrelevante URLs ausschließen
Feld: Advanced Settings (Erweiterte Einstellungen) > URL Filtering (URL-Filterung) > Exclude URLs that contain (URLs ausschließen, die Folgendes enthalten)
Fügen Sie durch Semikolons getrennte Schlüsselwörter hinzu, um Bereiche wie Blogs, Bilder oder Neuigkeiten zu überspringen.
Beispiel:
/news;/pictures;/press
Dadurch wird das Scannen von inhaltsreichen, aber für den Chatbot irrelevanten Bereichen wie News oder Bildergalerien vermieden.
Query Parameters (Abfrageparameter)
Alle Abfrageparameter ignorieren
Feld: Advanced Settings (Erweiterte Einstellungen) > Query Parameters > Ignore all query parameters (Alle Abfrageparameter ignorieren)
Aktivieren Sie dieses Kontrollkästchen, um URLs mit unterschiedlichen Abfrageparametern als dieselbe Seite zu behandeln. Dies kann doppelte Inhalte verhindern, kann aber auch unterschiedliche Produkte oder Artikel zusammenführen, wenn der Abfrageparameter den Inhalt identifiziert. Behalten Sie aussagekräftige Parameter wie eine Produkt-ID bei.
Bestimmte Abfrageparameter ignorieren
Feld: Advanced Settings (Erweiterte Einstellungen) > Query Parameters > Ignore specific query parameters (Bestimmte Abfrageparameter ignorieren)
Fügen Sie durch Semikolons getrennte Parameternamen hinzu, um bestimmte Tracking- oder Filterparameter zu ignorieren.
Beispiel:
ref;source;campaign;utm_source
Dadurch werden page.html?ref=email und page.html?ref=social als dieselbe URL behandelt.
Inhaltsfilterung (Content Filtering)
Bestimmte Elemente einbeziehen
Feld: Advanced Settings > Content Filtering > Include element IDs (Element-IDs einbeziehen)
Fügen Sie durch Semikolon getrennte Element-Identifikatoren hinzu, um nur bestimmte Bereiche der Seite zu scannen. Verwenden Sie #id für Element-IDs, .classname für Klassen und eckige Klammern für Attribute: [data-id="82874db"] erfasst Elemente mit genau diesem Attributwert, [data-content] erfasst jedes Element, das dieses Attribut überhaupt besitzt.
Beispiel:
#main-content;.article-body;[data-section="product"]
Dadurch werden nur der Hauptinhaltsbereich, Artikeltexte und Produktabschnitte gescannt; alles andere wird ignoriert.
Nur Links in einbezogenen Elementen folgen
Feld: Advanced Settings > Content Filtering > Follow only links in included elements (Nur Links in einbezogenen Elementen folgen)
Dieser Umschalter erscheint, wenn Sie "Include element IDs" angeben. Wenn die Option aktiviert ist, folgt der Crawler nur Links, die sich innerhalb der einbezogenen Elemente befinden. Das ist nützlich, wenn Sie das Crawlen auf bestimmte Bereiche der Website beschränken möchten, wie etwa den Artikelbereich, und Navigationsmenüs in Headern oder Footern ignorieren wollen.
Standard: Deaktiviert (allen Links auf der Seite wird gefolgt)
Seitenelemente ausschließen
Feld: Advanced Settings > Content Filtering > Exclude element IDs (Element-IDs ausschließen)
Verhindern Sie das Scannen von Headern, Footern und anderen Layout-Elementen. Es gilt dieselbe Selektorsyntax: header und footer ohne Präfix, #id, .classname oder ein Attribut in eckigen Klammern wie [data-id="82874db"] oder [data-nosnippet]. Attribut-Selektoren sind praktisch, wenn das auszuschließende Element keine feste ID oder Klasse hat, aber ein data-*-Attribut aufweist, das Sie aus den Entwicklertools des Browsers kopieren können.
Beispiel:
header;footer;#navigation;.sidebar;[data-nosnippet]
Dadurch werden HTML-Blöcke entfernt, die sich auf jeder Seite wiederholen und in der Regel keine nützlichen Inhalte für Ihren Chatbot enthalten.
Links in ausgeschlossenen Elementen folgen
Feld: Advanced Settings > Content Filtering > Follow links in excluded elements (Links in ausgeschlossenen Elementen folgen)
Dieser Umschalter erscheint, wenn Sie "Exclude element IDs" angeben. Wenn die Option aktiviert ist, folgt der Crawler weiterhin Links, die sich innerhalb ausgeschlossener Elemente befinden (wie Navigationsmenüs in Headern), obwohl der Inhalt selbst vom Training ausgeschlossen ist.
Standard: Deaktiviert (Links in ausgeschlossenen Elementen wird nicht gefolgt)
Anwendungsfall: Aktivieren Sie dies, wenn Sie Header- oder Footer-Inhalte vom Training ausschließen möchten, der Crawler aber dennoch Seiten über die Navigationslinks in diesen Bereichen finden soll. So erhalten Sie das Beste aus beiden Welten: saubere Trainingsdaten ohne Menü-Ballast bei gleichzeitig vollständigem Crawlen Ihrer Website.
Wichtig: Wenn Sie einen vollständigen Website-Scan nutzen und Elemente wie den Header ausschließen, ohne "Follow links in excluded elements" zu aktivieren, entdeckt der Scanner möglicherweise tiefer liegende Links nicht (da sich Menüs oft im Header befinden). Aktivieren Sie in diesem Fall entweder den Umschalter oder nutzen Sie eine Sitemap als sicherste und effizienteste Methode.
Scraping-Verhalten (Scraping Behavior)
Dokumente erfassen (Scrape Documents)
Feld: Erweiterte Einstellungen (Advanced Settings) > Scraping-Verhalten (Scraping Behavior) > Dokumente erfassen (Scrape documents)
Wenn diese Option aktiviert ist, extrahiert und verarbeitet das System Dokumenteninhalte, die auf der Website gefunden werden. Derzeit werden PDF-Dateien unterstützt.
Bild-Links ausschließen (Exclude Image Links)
Feld: Erweiterte Einstellungen (Advanced Settings) > Scraping-Verhalten (Scraping Behavior) > Bild-Links ausschließen (Exclude image links)
Aktivieren Sie diesen Schalter, um alle Bild-Links aus dem Trainingsdatensatz auszuschließen. Bild-URLs können Zeichen verbrauchen, obwohl die Bilddatei selbst nicht als Text trainiert wird. Das Entfernen dieser Links kann jedoch auch nützliche Bildreferenzen für Offer Cards entfernen.
Vergleichen Sie die gespeicherte Vorschau, um zu sehen, wie viele Zeichen dadurch eingespart werden und ob benötigte Bildreferenzen erhalten bleiben.
Versteckte Inhalte erfassen (Scrape Hidden Contents)
Feld: Erweiterte Einstellungen (Advanced Settings) > Scraping-Verhalten (Scraping Behavior) > Versteckte Inhalte erfassen (Scrape hidden contents)
Wenn diese Option aktiviert ist (Standard), extrahiert das System Inhalte aus versteckten HTML-Elementen (Elemente, die durch unterstützte Inline-Stile, HTML-Attribute oder gängige CSS-Klassen für versteckte Inhalte als unsichtbar markiert sind).
Standard: Aktiviert
Wann deaktivieren: Deaktivieren Sie diese Option, um versteckte Inhalte und Elemente zu überspringen, die nach diesen Regeln als verborgen erkannt werden. Dies ist nützlich, wenn Websites versteckte Inhalte enthalten wie:
- Eingeklappte Akkordeon-Bereiche
- Reine Mobil- oder Desktop-Inhalte
- Versteckte Formularfelder
- Wiederholter Layout-Text, der von der Seite ausgeblendet wird
Das Deaktivieren dieser Option kann irrelevante Texte reduzieren, möglicherweise aber auch nützliche Akkordeon-Antworten oder Produktdetails entfernen. Prüfen Sie die extrahierte Quelle, anstatt davon auszugehen, dass jedes versteckte Element unerwünscht ist.
Verzögerung zwischen Seiten (Delay Between Pages)
Feld: Erweiterte Einstellungen (Advanced Settings) > Scraping-Verhalten (Scraping Behavior) > Verzögerung zwischen Seiten (Delay between pages)
Fügen Sie eine Verzögerung (in Sekunden) zwischen dem Scannen der einzelnen Seiten hinzu, um eine Überlastung Ihres Servers zu verhindern. Nützlich für Websites mit Ratenbegrenzung (Rate Limiting).
Besuch aus einem bestimmten Land simulieren (Simulate Visit From Specific Country)
Feld: Erweiterte Einstellungen (Advanced Settings) > Scraping-Verhalten (Scraping Behavior) > Ländercode (Country code)
Wenn Ihre Website je nach Standort des Besuchers unterschiedliche Inhalte anzeigt, geben Sie einen 2-stelligen Ländercode ein (z. B. US, PL, DE), um das Scannen von diesem Standort aus zu simulieren.
Empfohlene Konfiguration für die meisten Websites
Nutzen Sie diese Einstellungen als Ausgangspunkt und überprüfen Sie die extrahierten Inhalte, bevor Sie sie auf Ihrer gesamten Website anwenden:
- "Use sitemap" (Sitemap verwenden) aktivieren, sofern verfügbar, um URLs präzise zu steuern
- Element-IDs ausschließen ("Exclude element IDs"):
header;footer;#navigation;.sidebar - "Exclude image links" (Bild-Links ausschließen) aktivieren, um Bild-URLs aus dem Training zu entfernen
- "Scrape hidden contents" (Versteckte Inhalte erfassen) deaktivieren, wenn Ihre Website viele verborgene Elemente enthält
- "Follow links in excluded elements" (Links in ausgeschlossenen Elementen folgen) in Betracht ziehen, wenn Sie einen vollständigen Scan mit ausgeschlossenen Kopfzeilen (Headern) durchführen
Es gibt keinen festen Prozentsatz für die Ersparnis. Testen Sie die Einstellungen zuerst auf einer repräsentativen Seite und vergleichen Sie den extrahierten Inhalt, die Zeichenanzahl sowie die Antworten des Chatbots. Verwenden Sie einen Selektor nur dann, wenn er auch zu Ihrer Website passt.
Zusammenfassung: Best Practices
- Sitemap nutzen statt Vollscan für präzise Kontrolle
- URLs einbeziehen, um gezielt nur wertvolle Inhalte zu erfassen
- URLs ausschließen, um irrelevante oder sehr umfangreiche Seiten zu überspringen
- Query-Parameter ignorieren, um doppelte Inhalte zu vermeiden
- Element-IDs ausschließen, um wiederkehrende Seitenteile wie Header und Footer zu entfernen
- Link-Verfolgung steuern mit "Follow only links in included elements" oder "Follow links in excluded elements" für eine präzise Crawl-Steuerung
- Bild-Links ausschließen, um die Zeichenanzahl deutlich zu senken
- Scrapen versteckter Inhalte deaktivieren, falls Ihre Website unnötige verborgene Elemente enthält
- Auf nützliche Inhalte konzentrieren, die für Ihren Bot relevant sind (FAQs, Produktseiten, Support-Artikel)
Scan abschließen und überprüfen
Beginnen Sie mit Single address (Einzelne Adresse), um die Filter auf einer repräsentativen Seite zu testen. Klicken Sie auf Start scanning the website (Website-Scan starten), warten Sie auf Training completed (Training abgeschlossen) und prüfen Sie über View (Anzeigen), ob die erforderlichen Fakten und Links erhalten geblieben sind. Die Verarbeitungszeit hängt von der Seite ab; größere Scans können länger dauern und laufen im Hintergrund weiter. Nutzen Sie die geprüften Filter anschließend für Ihren umfassenderen Website- oder Sitemap-Scan und testen Sie repräsentative Fragen in Overview (Übersicht). Wenn bei einem vollständigen Crawl Seiten fehlen, überprüfen Sie die Optionen zum Folgen von Links oder verwenden Sie eine Sitemap.