Ce este dimensiunea contextului de chat?
Dimensiunea contextului de chat determină câtă informație este trimisă către AI de fiecare dată când un vizitator adresează o întrebare. Contextul conține instrucțiunile privind rolul chatbotului dumneavoastră (promptul), conversația de până în acel punct și cele mai relevante fragmente din datele de antrenare extrase din baza dumneavoastră de cunoștințe. Un token este o mică bucată de text pe care AI-ul o citește - în medie, 1 token reprezintă aproximativ 4 caractere sau circa 3/4 dintr-un cuvânt.
Beneficiile unui context mai mare:
- Mai mult spațiu pentru instrucțiuni detaliate de rol, fără a reduce spațiul pentru baza dumneavoastră de cunoștințe
- O mai bună înțelegere a conversațiilor mai lungi
- Capacitatea de a răspunde la întrebări complexe prin corelarea simultană a mai multor date de antrenare
- Atunci când funcția de memorare a conversațiilor este activată, mai mult spațiu pentru rezumate și profiluri de clienți din conversațiile anterioare
Cum se modifică dimensiunea contextului
Selectați chatbotul dumneavoastră, faceți clic pe fila Settings (Setări), apoi selectați Model & Advanced (Model și avansate) din bara laterală din stânga.
Găsiți meniul derulant Context size (Dimensiune context) și alegeți opțiunea dorită:
- 8000 tokens (default) - 1x credite pentru mesaje
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Opțiunile de 16K și 32K sunt disponibile ca funcții premium - acestea apar în listă numai dacă planul dumneavoastră include un context de chat extins.
Cum este împărțită fereastra de context
Contextul este un buget partajat. La fiecare mesaj, acesta este împărțit între:
- Promptul dumneavoastră - instrucțiunile de rol și comportament pe care le-ați scris (numai atunci când utilizați Custom Role Definition)
- Instrucțiunile de sistem - un volum mic adăugat de ChatLab pentru ca botul să funcționeze corect
- Instrumente - dacă botul dumneavoastră folosește AI Actions sau integrări, instrucțiunile acestora ocupă o parte
- Memoria conversației - conversația recentă, plus rezumatele și profilurile de clienți atunci când memoria de chat este activată
- Rămas pentru baza dumneavoastră de cunoștințe - tot ceea ce rămâne este folosit pentru datele de antrenare asociate cu întrebarea vizitatorului
Concluzia esențială: cu cât instrucțiunile dumneavoastră ocupă mai mult spațiu, cu atât AI-ul poate utiliza mai puține cunoștințe pentru a răspunde. Creșterea dimensiunii contextului mărește întregul buget, astfel încât atât instrucțiunile, cât și cunoștințele dumneavoastră primesc mai mult spațiu.
Indicatorul de utilizare a contextului
Când definiți un rol personalizat, ChatLab vă arată în timp real cât din context este consumat de instrucțiunile dumneavoastră. Selectați chatbotul dumneavoastră și navigați la Settings > Role & Behavior (Setări > Rol și comportament), apoi comutați la fila Custom Role Definition (Definire rol personalizat). Indicatorul apare direct sub editorul de instrucțiuni.
Bara colorată reprezintă o miniatură a întregii ferestre de context: fiecare segment corespunde uneia dintre componentele menționate mai sus, iar segmentul verde din dreapta este ceea ce rămâne pentru baza dumneavoastră de cunoștințe. Lângă bară vedeți numărul de tokeni ai promptului dumneavoastră raportat la o recomandare (de exemplu, „~788 / 2,400 tokens · 8k”) și o evaluare:
- Optimal - promptul dumneavoastră se încadrează confortabil; rămâne mult spațiu pentru cunoștințe.
- Getting large - promptul începe să aglomereze contextul; luați în considerare scurtarea acestuia.
- Too large - promptul depășește recomandarea sau lasă prea puțin spațiu pentru cunoștințe; calitatea răspunsurilor poate scădea.
Faceți clic pe bară pentru a extinde detalierea completă:
Panoul extins afișează numărul aproximativ de tokeni pentru fiecare componentă și un meniu derulant Chat context size (Dimensiune context chat), astfel încât să puteți mări dimensiunea contextului direct de acolo, fără a merge la Model & Advanced. Împărțirea exactă variază în funcție de conversație - panoul afișează o estimare, nu o măsurătoare exactă.
În jurul editorului sunt afișate două limite, iar acestea funcționează diferit:
- Limita de caractere (de exemplu, „2,882 / 8,000 characters”) - o limită strictă; editorul nu acceptă un prompt mai lung.
- Recomandarea de tokeni (indicatorul) - o recomandare orientativă; depășirea acesteia nu blochează salvarea, dar lasă mai puțin spațiu pentru baza dumneavoastră de cunoștințe și pentru memoria conversației.
Dacă indicatorul devine roșu, acesta sugerează două soluții: creșteți dimensiunea contextului de chat (mesajele vor costa atunci mai multe credite - 16K înseamnă 2x, 32K înseamnă 4x, consultați credite pentru mesaje) sau mutați scenariile pas cu pas din prompt în etapele din Conversation Flow, detaliate mai jos.
Dimensiunea contextului și Conversation Flow
Conversation Flow vă permite să împărțiți comportamentul botului dumneavoastră în etape, fiecare având propriile instrucțiuni. Când fluxul este activat, instrucțiunile etapei active sunt adăugate la prompt - partajând astfel același buget de context. Instrucțiunile lungi de etapă combinate cu un rol personalizat extins lasă mai puțin spațiu pentru baza dumneavoastră de cunoștințe la aceeași dimensiune a contextului.
Dimensiunea contextului controlează, de asemenea, cât de lungi pot fi instrucțiunile fiecărei etape:
- Context de 8.000 de tokeni - până la 1.000 de caractere per etapă
- Context de 16.000 sau 32.000 de tokeni - până la 6.000 de caractere per etapă
Prin urmare, creșterea dimensiunii contextului are două efecte simultane: mărește limita de instrucțiuni per etapă și eliberează spațiu pentru cunoștințe. Varianta inversă funcționează de asemenea - dacă promptul pentru rolul personalizat este prea lung, mutarea scenariilor pas cu pas în etapele de flux menține rolul de bază scurt, deoarece instrucțiunile fiecărei etape sunt încărcate doar atât timp cât conversația se află în acea etapă.
Costul în credite per dimensiune de context
Dimensiunea implicită a contextului este de 8.000 de tokeni. Creșterea acesteia multiplică numărul de credite pentru mesaje consumat de fiecare răspuns:
- 8.000 de tokeni - 1x credite pentru mesaje (implicit)
- 16.000 de tokeni - 2x credite pentru mesaje per mesaj
- 32.000 de tokeni - 4x credite pentru mesaje per mesaj
Multiplicatorul se cumulează cu costul în credite aferent modelului AI pe care îl selectați - un context mai mare face ca fiecare răspuns al acelui model să fie proporțional mai costisitor.