Chatbotunuzu bir web sitesi üzerinden eğitirken taranan veri miktarını yalnızca en yararlı olanlarla sınırlamak, karakter kullanımını azaltmaya yardımcı olur, eğitimi hızlandırır ve yalnızca alakalı içeriğe odaklanarak yanıt kalitesini artırır.
Öncelikle bir chatbot oluşturun ve tarama sürecinin tamamı için Yeni web sitesi kaynakları ekleme bölümünü okuyun. Training (Eğitim) alanını açmadan önce chatbotunuzu seçin. Bu kılavuz, web sitesi eğitim penceresindeki (Training > Links > Add New Training: Website - Eğitim > Bağlantılar > Yeni Eğitim Ekle: Web Sitesi) Advanced settings (Gelişmiş ayarlar) özelliğini kullanarak taramanızı nasıl optimize edeceğinizi açıklar.
Daha Az Eğitim Neden Daha İyi Olabilir
ChatLab, RAG (Retrieval-Augmented Generation) mimarisini kullanır. Yapay zeka, tüm web sitesi içeriğini ezberlemek yerine, her kullanıcı sorusu sırasında en alakalı bilgi parçalarını arar ve bunları bir yanıt oluşturmak için kullanır.
Çok Fazla Verinin Yarattığı Sorun
Daha fazla veri, her zaman daha iyi yanıtlar anlamına gelmez. Alakasız veya yinelenen içerikler eklemek, bilgi getirme sürecini karıştırabilir:
- RAG, içerik parçalarını kullanıcının sorusuyla olan alakasına göre puanlar. Siteniz tekrarlayan, belirsiz veya genel metinler içeren çok sayıda sayfa barındırıyorsa (menüler, altbilgiler, basın bültenleri, blog etiket sayfaları), bunlar arama sonuçlarının kalitesini düşürür.
- Chatbot, anahtar kelimeleri paylaşan ancak faydalı bağlamdan yoksun birden fazla düşük değerli parça getirdiğinde; hatalı, aşırı genel veya konu dışı yanıtlar üretebilir.
- Örneğin: Altbilginiz her sayfada "Ana Sayfa", "İletişim", "Gizlilik", "SSS" gibi bağlantılar içeriyorsa, bir kullanıcı "Sizinle nasıl iletişime geçebilirim?" diye sorduğunda bot, faydalı bir telefon numarası veya e-posta yerine altbilgideki genel bir paragrafla yanıt verebilir.
Yüksek Sinyal, Düşük Gürültü = Daha İyi Yanıtlar
Yalnızca faydalı içerikleri tarayarak, yapay zekanın her soru için net, belirgin ve yüksek kaliteli bir bağlam getirmesine yardımcı olursunuz. Şunlara odaklanın:
- Ürün açıklamaları
- SSS sayfaları
- Destek makaleleri
- Politika belgeleri
- Temel açılış sayfaları
Bir çevrimiçi mağaza mı yönetiyorsunuz? En büyük tasarruf, ürünleri taramanın dışında tutmaktır. Ürünler AI Search veya canlı mağaza aramasından geldiğinde, aşağıdaki URL filtreleriyle ürün ve kategori sayfalarını hariç tutun ve yalnızca bilgilendirici sayfaları tarayın. AI Search içindeki ürünler eğitim karakterlerini tüketmez. Bkz. E-ticaret planları ve limitleri.
Tam web sitesi taraması yerine site haritası kullanın
Önerilen: Mümkün olan her durumda site haritası seçeneğini kullanın.
Tam web sitesi taraması, altbilgiler, menüler ve kenar çubuklarındaki bağlantılar da dahil olmak üzere sayfadaki tüm görünür bağlantıları takip eder; bu da genellikle yinelenen veya değersiz içeriğin taranmasına yol açar. Bu bölümler genellikle her sayfada bulunur ve sohbet yanıtları için yararlı olabilecek benzersiz bilgileri nadiren içerir.
Bir site haritası (genellikle https://yourdomain.com/sitemap.xml adresinde bulunur), tarayıcıya aday URL'lerin bir listesini sunar. Neleri içerdiğini kontrol edin: yine de alakasız sayfaları listeleyebilir. Bu sayfaları hariç tutmak için URL filtrelerini, her sayfadan yinelenen üstbilgileri, altbilgileri veya menüleri kaldırmak için ise İçerik filtreleme özelliğini kullanın.
Gelişmiş ayarlara genel bakış
Gelişmiş ayarlara erişmek için Training (Eğitim) sekmesinde Add New Training: Website (Yeni Eğitim Ekle: Web Sitesi) seçeneğine tıklayın ve ardından Advanced settings (Gelişmiş ayarlar) bölümünü genişletin. Ayarlar dört kategoride düzenlenmiştir:
- URL Filtering (URL filtreleme) - Hangi URL'lerin dahil edileceğini veya hariç tutulacağını kontrol edin
- Query Parameters (Sorgu parametreleri) - URL parametrelerini yönetin
- Content Filtering (İçerik filtreleme) - Belirli sayfa öğelerini filtreleyin
- Scraping Behavior (Tarama davranışı) - İçeriğin nasıl çıkarılacağını yapılandırın
URL filtreleme
Yalnızca belirli URL'leri dahil edin
Alan: Advanced Settings > URL Filtering > Include only URLs that contain (Gelişmiş ayarlar > URL filtreleme > Yalnızca içeren URL'leri dahil et)
Taramaya yalnızca belirli URL'leri dahil etmek için noktalı virgülle ayrılmış anahtar kelimeler ekleyin.
Örnek: URL'sinde /en veya /help geçen sayfaları dahil etmek için:
/en;/help
Bu desenler kesişim değil, alternatif belirtir: yalnızca İngilizce yardım sayfaları anlamına gelmez. İngilizce yardım sayfalarınızın tümü /en/help/ içeriyorsa bunun yerine yalnızca bu alt dizeyi kullanın. Bir desen seçmeden önce gerçek URL yapısını kontrol edin.
İlgisiz URL'leri hariç tutun
Alan: Advanced Settings > URL Filtering > Exclude URLs that contain (Gelişmiş ayarlar > URL filtreleme > İçeren URL'leri hariç tut)
Blog, görsel veya haber gibi bölümleri atlamak için noktalı virgülle ayrılmış anahtar kelimeler ekleyin.
Örnek:
/news;/pictures;/press
Bu işlem haberler veya görsel galerileri gibi yoğun içerikli ancak chatbot ile ilgisiz bölümlerin taranmasını önler.
Sorgu parametreleri (Query Parameters)
Tüm sorgu parametrelerini yoksayın
Alan: Advanced Settings (Gelişmiş ayarlar) > Query Parameters > Ignore all query parameters (Tüm sorgu parametrelerini yoksay)
Farklı sorgu parametrelerine sahip URL'lerin aynı sayfa olarak kabul edilmesi için bu onay kutusunu işaretleyin. Bu işlem yinelenen içeriği önleyebilir ancak sorgu parametresi içeriği tanımlıyorsa farklı ürünlerin veya makalelerin birbiriyle birleştirilmesine de neden olabilir. Ürün kimliği gibi anlam taşıyan parametreleri koruyun.
Belirli sorgu parametrelerini yoksayın
Alan: Advanced Settings (Gelişmiş ayarlar) > Query Parameters > Ignore specific query parameters (Belirli sorgu parametrelerini yoksay)
Belirli izleme veya filtreleme parametrelerini yoksaymak için noktalı virgülle ayrılmış parametre adları ekleyin.
Örnek:
ref;source;campaign;utm_source
Bu işlem page.html?ref=email ve page.html?ref=social adreslerini aynı URL olarak değerlendirir.
İçerik filtreleme
Belirli öğeleri dahil etme
Alan: Advanced Settings > Content Filtering > Include element IDs (Öğe kimliklerini dahil et)
Sayfanın yalnızca belirli bölümlerini taramak için noktalı virgülle ayrılmış öğe tanımlayıcıları ekleyin. Öğe ID'leri için #id, sınıflar için .classname ve nitelikler için köşeli parantez kullanın: [data-id="82874db"] tam olarak bu nitelik değerine sahip öğelerle eşleşir, [data-content] ise bu niteliğe sahip tüm öğelerle eşleşir.
Örnek:
#main-content;.article-body;[data-section="product"]
Bu işlem yalnızca ana içerik alanını, makale gövdelerini ve ürün bölümlerini tarar; diğer her şeyi yoksayar.
Yalnızca dahil edilen öğelerdeki bağlantıları takip etme
Alan: Advanced Settings > Content Filtering > Follow only links in included elements (Yalnızca dahil edilen öğelerdeki bağlantıları takip et)
Bu seçenek, Include element IDs belirttiğinizde görünür. Etkinleştirildiğinde tarayıcı yalnızca dahil edilen öğelerin içinde bulunan bağlantıları takip eder. Bu ayar; üstbilgilerdeki veya altbilgilerdeki gezinme menülerini yoksayarken taramayı makale içeriği alanları gibi web sitesinin belirli bölümleriyle sınırlandırmak istediğinizde kullanışlıdır.
Varsayılan: Devre dışı (sayfadaki tüm bağlantılar takip edilir)
Sayfa öğelerini hariç tutma
Alan: Advanced Settings > Content Filtering > Exclude element IDs (Öğe kimliklerini hariç tut)
Üstbilgilerin, altbilgilerin ve diğer düzen öğelerinin taranmasını engelleyin. Aynı seçici sözdizimi geçerlidir: önek olmadan header ve footer, #id, .classname veya [data-id="82874db"] ya da [data-nosnippet] gibi köşeli parantez içindeki bir nitelik. Nitelik seçiciler, çıkarmak istediğiniz öğenin sabit bir ID'si veya sınıfı olmadığında ancak tarayıcının geliştirici araçlarından kopyalayabileceğiniz bir data-* niteliği taşıdığında oldukça pratiktir.
Örnek:
header;footer;#navigation;.sidebar;[data-nosnippet]
Bu işlem, her sayfada tekrarlanan ve genellikle chatbotunuz için yararlı içerik barındırmayan HTML bloklarını kaldırır.
Hariç tutulan öğelerdeki bağlantıları takip etme
Alan: Advanced Settings > Content Filtering > Follow links in excluded elements (Hariç tutulan öğelerdeki bağlantıları takip et)
Bu seçenek, Exclude element IDs belirttiğinizde görünür. Etkinleştirildiğinde, içeriğin kendisi eğitimden hariç tutulsa bile tarayıcı, hariç tutulan öğelerin içinde bulunan bağlantıları (üstbilgilerdeki gezinme menüleri gibi) takip etmeye devam eder.
Varsayılan: Devre dışı (hariç tutulan öğelerdeki bağlantılar takip edilmez)
Kullanım senaryosu: Üstbilgi/altbilgi içeriğini eğitimden hariç tutmak istediğiniz halde tarayıcının bu alanlardaki gezinme bağlantıları aracılığıyla sayfaları keşfetmesine ihtiyaç duyduğunuzda bunu etkinleştirin. Bu sayede her iki avantajdan da yararlanırsınız: menü kalabalığı olmadan temiz eğitim verisi elde ederken tüm sitenizi taramaya devam edebilirsiniz.
Önemli: Tam web sitesi taraması kullanıyorsanız ve "Follow links in excluded elements" seçeneğini etkinleştirmeden header gibi öğeleri hariç tutarsanız tarayıcı daha derin bağlantıları keşfedemeyebilir (menüler genellikle üstbilgilerin içindedir). Bu durumda ya bu ayarı etkinleştirin ya da en güvenli ve verimli yöntem olan site haritasını kullanın.
Tarama davranışı (Scraping Behavior)
Belgeleri tarama (Scrape documents)
Alan: Advanced Settings (Gelişmiş ayarlar) > Scraping Behavior > Scrape documents
Etkinleştirildiğinde sistem, web sitesinde bulunan belge içeriklerini ayıklar ve işler. Şu anda PDF dosyalarını destekler.
Görsel bağlantılarını hariç tutma (Exclude image links)
Alan: Advanced Settings (Gelişmiş ayarlar) > Scraping Behavior > Exclude image links
Tüm görsel bağlantılarını eğitim veri kümesinden hariç tutmak için bu seçeneği etkinleştirin. Görsel dosyasının kendisi metin olarak eğitilmese bile görsel URL'leri karakter sayısına katkıda bulunabilir. Bunları kaldırmak, Offer Cards için yararlı görsel referanslarını da kaldırabilir.
Ne kadar tasarruf sağladığını ve gereken görsel referanslarının kalıp kalmadığını görmek için depolanan önizlemeyi karşılaştırın.
Gizli içerikleri tarama (Scrape hidden contents)
Alan: Advanced Settings (Gelişmiş ayarlar) > Scraping Behavior > Scrape hidden contents
Etkinleştirildiğinde (varsayılan), sistem gizli HTML öğelerindeki içerikleri ayıklar (desteklenen satır içi stiller, HTML öznitelikleri veya yaygın gizli sınıflar tarafından gizli olarak işaretlenmiş öğeler).
Varsayılan: Etkin
Ne zaman devre dışı bırakılmalı: Gizli içerikleri ve bu kurallarla gizli olarak tanımlanan öğeleri atlamak için bu seçeneği devre dışı bırakın. Web siteleri şu gibi gizli içerikler barındırdığında bu yararlıdır:
- Daraltılmış akordeon bölümleri
- Yalnızca mobil veya yalnızca masaüstü içerikler
- Gizli form alanları
- Sayfa tarafından gizlenen yinelenen düzen metinleri
Bunu devre dışı bırakmak alakasız metinleri azaltabilir, ancak yararlı akordeon yanıtlarını veya ürün ayrıntılarını da kaldırabilir. Her gizli öğenin istenmediğini varsaymak yerine ayıklanan kaynağı inceleyin.
Sayfalar arası gecikme (Delay between pages)
Alan: Advanced Settings (Gelişmiş ayarlar) > Scraping Behavior > Delay between pages
Sunucunuzun aşırı yüklenmesini önlemek için her sayfanın taranması arasına bir gecikme (saniye cinsinden) ekleyin. İstek sınırlaması (rate limiting) bulunan web siteleri için yararlıdır.
Belirli bir ülkeden ziyareti simüle etme
Alan: Advanced Settings (Gelişmiş ayarlar) > Scraping Behavior > Country code
Siteniz ziyaretçinin konumuna bağlı olarak farklı içerikler gösteriyorsa, taramayı o konumdan simüle etmek için 2 harfli bir ülke kodu girin (örneğin US, PL, DE).
Çoğu web sitesi için önerilen yapılandırma
Bu ayarları bir başlangıç noktası olarak kullanın ve tüm web sitenize uygulamadan önce çıkarılan içeriği doğrulayın:
- Hassas URL denetimi için mevcut olduğunda Site haritası kullanın (Use sitemap)
- Öğe kimliklerini hariç tutun (Exclude element IDs):
header;footer;#navigation;.sidebar - Görsel URL'lerini eğitimden çıkarmak için "Görsel bağlantılarını hariç tut" (Exclude image links) seçeneğini etkinleştirin
- Sitenizde çok sayıda gizli öğe varsa "Gizli içerikleri tara" (Scrape hidden contents) seçeneğini devre dışı bırakın
- Başlıkları hariç tutulmuş tam tarama kullanıyorsanız "Hariç tutulan öğelerdeki bağlantıları takip et" (Follow links in excluded elements) seçeneğini değerlendirin
Sabit bir tasarruf yüzdesi yoktur. Ayarları önce temsil niteliğindeki tek bir sayfada test edin; çıkarılan içeriği, karakter sayısını ve chatbot yanıtlarını karşılaştırın. Web sitenizle eşleşmediği sürece herhangi bir seçiciyi kullanmayın.
Özet: En iyi uygulamalar
- Hassas kontrol için tam tarama yerine site haritası kullanın
- Yalnızca değerli içeriği hedeflemek için URL'leri dahil edin
- Alakasız veya ağır sayfaları atlamak için URL'leri hariç tutun
- Yinelenen içeriği önlemek için sorgu parametrelerini yoksayın
- Üstbilgiler ve altbilgiler gibi yinelenen sayfa bölümlerini kaldırmak için öğe kimliklerini hariç tutun
- Ayrıntılı tarama kontrolü için "Follow only links in included elements" veya "Follow links in excluded elements" ile bağlantı takibini kontrol edin
- Karakter sayısını önemli ölçüde azaltmak için görsel bağlantılarını hariç tutun
- Sitenizde gereksiz gizli öğeler varsa gizli içerikleri taramayı devre dışı bırakın
- Botunuz için yararlı içeriğe odaklanın (SSS'ler, ürün sayfaları, destek makaleleri)
Taramayı tamamlayın ve doğrulayın
Filtreleri örnek bir sayfada test etmek için Single address (Tek adres) seçeneğiyle başlayın. Start scanning the website (Web sitesini taramaya başla) butonuna tıklayın, Training completed (Eğitim tamamlandı) durumunu bekleyin ve gerekli bilgilerin ve bağlantıların korunduğunu doğrulamak için View (Görüntüle) seçeneğini kullanın. İşlem süresi sayfaya bağlıdır; daha büyük taramalar daha uzun sürebilir ve arka planda devam eder. Ardından, doğrulanmış filtreleri daha kapsamlı web sitesi veya site haritası taramanız için kullanın ve Overview (Genel bakış) bölümünde örnek soruları test edin. Tam taramada bazı sayfalar atlanıyorsa bağlantı takip seçeneklerini kontrol edin veya bir site haritası kullanın.