Sohbet bağlam boyutu nedir?
Sohbet bağlam boyutu, bir ziyaretçi her soru sorduğunda yapay zekaya ne kadar bilgi gönderileceğini belirler. Bağlam; chatbot'unuzun rol talimatlarını (prompt), o ana kadarki sohbet geçmişini ve bilgi bankanızdan getirilen en alakalı eğitim verisi parçalarını içerir. Token, yapay zekanın okuduğu küçük bir metin parçasıdır - bu sayı dile ve modele göre değişir, bu nedenle token'lar karakter veya kelimelerle aynı şey değildir.
Daha büyük bir bağlamın avantajları:
- Bilgi bankanızı sıkıştırmadan ayrıntılı rol talimatları için daha fazla alan
- Daha uzun sohbetleri daha iyi anlama
- Aynı anda daha fazla eğitim verisine başvurarak karmaşık soruları yanıtlayabilme
- Sohbet hafızası etkinleştirildiğinde, önceki sohbetlerden özetler ve müşteri profilleri için daha fazla alan
Bağlam boyutu nasıl değiştirilir
Chatbot'unuzu seçin, Settings (Ayarlar) sekmesine tıklayın ve ardından sol kenar çubuğundan Model & Advanced (Model ve Gelişmiş) seçeneğini belirleyin.
Context size (Bağlam boyutu) açılır menüsünü bulun ve tercih ettiğiniz seçeneği belirleyin:
- 8000 tokens (default) (8000 token, varsayılan) - 1 kat mesaj kredisi
- 16000 tokens (2x message credits/message) (mesaj başına 2 kat mesaj kredisi)
- 32000 tokens (4x message credits/message) (mesaj başına 4 kat mesaj kredisi)
16K ve 32K seçenekleri premium özellikler olarak sunulur; listede yalnızca planınız daha geniş sohbet bağlamını kapsadığında görünürler.
Saved (Kaydedildi) bildirimini bekleyin, ardından Overview (Genel Bakış) sekmesinde birbiriyle ilişkili birkaç bilgi gerektiren bir soruyla yeni bir konuşmayı test edin. Daha büyük bir bağlam boyutu, eğitim depolama sınırınızı artırmaz veya daha iyi bir yanıtı garanti etmez; daha yüksek kredi maliyetini kalıcı olarak tercih etmeden önce sonuçları karşılaştırın.
Bağlam penceresi nasıl paylaşılır
Bağlam, paylaşılan bir bütçedir. Her mesajda şu unsurlar arasında bölünür:
- Prompt'unuz - önceden tanımlanmış oluşturulan rol talimatları veya Özel Rol Tanımı (Custom Role Definition) alanına yazdığınız talimatlar
- Sistem talimatları - botun doğru davranması için ChatLab'in eklediği küçük bir miktar
- Araçlar - botunuz AI Actions veya entegrasyonlar kullanıyorsa, bunların talimatları da bir pay alır
- Sohbet belleği - son konuşmalar ve sohbet belleği etkinleştirildiğinde özetler ve müşteri profilleri
- Bilgi bankanıza kalan kısım - geriye kalan her şey, ziyaretçinin sorusuyla eşleşen eğitim verileri için kullanılır
Önemli çıkarım: Talimatlarınız ne kadar çok yer kaplarsa, yapay zekanın yanıt vermek için kullanabileceği bilgi o kadar azalır. Bağlam boyutunu artırmak toplam bütçeyi büyütür; böylece hem talimatlarınıza hem de bilginize daha fazla alan kalır.
Bağlam kullanım göstergesi
Özel bir rol tanımladığınızda ChatLab, talimatlarınızın bağlamın ne kadarını kullandığını canlı olarak gösterir. Chatbot'unuzu seçip Ayarlar > Rol ve Davranış (Settings > Role & Behavior) bölümüne gidin, ardından Özel Rol Tanımı (Custom Role Definition) sekmesine geçin. Gösterge doğrudan talimat düzenleyicisinin altında görünür.
Renkli çubuk, tüm bağlam pencerenizin bir minyatürüdür: her bölüm yukarıda listelenen parçalardan biridir ve sağdaki yeşil bölüm bilgi bankanız için kalan alanı temsil eder. Çubuğun yanında, önerilen bir kılavuza göre prompt'unuzun token sayısını (örneğin "~788 / 2.400 token · 8k") ve bir değerlendirmeyi görürsünüz:
- Optimal - prompt'unuz rahatça sığıyor; bilgi bankası için bolca yer kalıyor.
- Büyüyor (Getting large) - prompt bağlamı sıkıştırmaya başlıyor; kısaltmayı düşünebilirsiniz.
- Çok büyük (Too large) - prompt önerilen kılavuz sınırını aşıyor veya bilgi için çok az yer bırakıyor; yanıtların kalitesi düşebilir.
Ayrıntılı dökümü genişletmek için çubuğa tıklayın:
Genişletilmiş panel, her bir parçanın yaklaşık token sayısını ve Model ve Gelişmiş (Model & Advanced) bölümüne gitmenize gerek kalmadan bağlam boyutunu hemen orada artırabilmeniz için bir Sohbet bağlam boyutu (Chat context size) açılır menüsünü gösterir. Tam dağılım konuşmaya göre değişir - panel kesin bir ölçüm değil, bir tahmindir.
Düzenleyicinin etrafında iki sınır gösterilir ve bunlar farklı çalışır:
- Karakter sınırı - düzenleyicinin sayacı tarafından gösterilen ve bot sahibinin aboneliğine bağlı olabilen kesin bir sınır; düzenleyici daha uzun bir prompt kabul etmez.
- Token kılavuzu (gösterge) - esnek bir kılavuz; bunu aşmak kaydetmeyi engellemez, ancak bilgi bankanız ve konuşma hafızanız için daha az yer bırakır.
Gösterge kırmızıya dönerse iki çözüm önerir: sohbet bağlam boyutunu artırmak (bu durumda mesajlar daha fazla krediye mal olur - 16K 2 kat, 32K 4 kattır; bkz. mesaj kredileri) veya adım adım senaryoları prompt dışına çıkarıp birazdan açıklanacak olan Konuşma Akışı aşamalarına taşımak.
Bağlam boyutu ve Conversation Flow
Conversation Flow, botunuzun davranışını her biri kendi talimatlarına sahip aşamalara bölmenize olanak tanır. Akış etkinleştirildiğinde, aktif aşamanın talimatları prompt'a eklenir - yani aynı bağlam bütçesini paylaşırlar. Uzun bir özel role ek olarak uzun aşama talimatlarının bulunması, aynı bağlam boyutunda bilgi tabanınıza daha az alan bırakır.
Bağlam boyutu aynı zamanda her aşamanın talimatlarının ne kadar uzun olabileceğini de belirler:
- 8.000 token bağlam - aşama başına 1.000 karaktere kadar
- 16.000 veya 32.000 token bağlam - aşama başına 6.000 karaktere kadar
Dolayısıyla bağlam boyutunu artırmak aynı anda iki işlem yapar: aşama başına talimat sınırını yükseltir ve bilgi tabanı için alanı geri kazandırır. Tersi de geçerlidir - özel rol prompt'unuz çok büyükse, adım adım senaryoları akış aşamalarına taşımak temel rolü kısa tutar; çünkü her aşamanın talimatları yalnızca konuşma o aşamadayken yüklenir.
Bağlam boyutuna göre kredi maliyeti
Varsayılan bağlam boyutu 8.000 tokendir. Bunu artırmak, her yanıtın ne kadar mesaj kredisi tüketeceğini katlar:
- 8.000 token - 1x mesaj kredisi (varsayılan)
- 16.000 token - mesaj başına 2x mesaj kredisi
- 32.000 token - mesaj başına 4x mesaj kredisi
Bu çarpan, seçtiğiniz yapay zeka modelinin kredi maliyetiyle birleşir - daha büyük bir bağlam, o modelin her yanıtını orantılı olarak daha maliyetli hale getirir.