Ce este dimensiunea contextului de chat?
Dimensiunea contextului de chat stabilește câtă informație este trimisă către AI de fiecare dată când un vizitator adresează o întrebare. Contextul conține instrucțiunile de rol ale chatbotului dumneavoastră (promptul), conversația de până în acel moment și cele mai relevante fragmente din datele de antrenare extrase din baza dumneavoastră de cunoștințe. Un token este o mică bucată de text pe care AI-ul o citește - numărul variază în funcție de limbă și model, astfel încât tokenurile nu sunt identice cu caracterele sau cuvintele.
Beneficiile unui context mai mare:
- Mai mult spațiu pentru instrucțiuni de rol detaliate, fără a reduce spațiul pentru baza de cunoștințe
- O înțelegere mai bună a conversațiilor lungi
- Posibilitatea de a răspunde la întrebări complexe prin corelarea simultană a mai multor date de antrenare
- Atunci când este activată funcția de memorare a conversațiilor, mai mult spațiu pentru rezumate și profiluri de clienți din conversațiile anterioare
Cum se modifică dimensiunea contextului
Selectați chatbotul dumneavoastră, faceți clic pe fila Settings (Setări), apoi selectați Model & Advanced (Model și avansat) în bara laterală din stânga.
Găsiți meniul derulant Context size (Dimensiune context) și alegeți opțiunea dorită:
- 8000 tokens (default) - 1x credite pentru mesaje
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Opțiunile de 16K și 32K sunt disponibile ca funcții premium - acestea apar în listă doar dacă planul dumneavoastră include contextul extins de chat.
Așteptați confirmarea Saved (Salvat), apoi testați o conversație nouă în Overview (Prezentare generală) cu o întrebare care necesită mai multe informații conexe. Un context mai mare nu crește limita de stocare pentru antrenare și nu garantează un răspuns mai bun; comparați rezultatele înainte de a păstra costul mai ridicat în credite.
Cum este împărțită fereastra de context
Contextul reprezintă un buget comun. La fiecare mesaj, acesta este împărțit între:
- Promptul dumneavoastră - instrucțiunile de rol predefinite generate sau instrucțiunile pe care le-ați redactat în Custom Role Definition
- Instrucțiunile de sistem - o cantitate redusă adăugată de ChatLab pentru ca botul să funcționeze corect
- Instrumente - dacă botul folosește AI Actions sau integrări, instrucțiunile acestora ocupă o parte din spațiu
- Memoria conversației - conversația recentă, plus rezumate și profiluri de clienți atunci când memoria de chat este activată
- Restul alocat bazei de cunoștințe - tot ceea ce rămâne este folosit pentru datele de antrenare corelate cu întrebarea vizitatorului
Concluzia esențială: cu cât instrucțiunile dumneavoastră ocupă mai mult spațiu, cu atât AI-ul dispune de mai puțină informație pentru a răspunde. Creșterea dimensiunii contextului mărește întregul buget, astfel încât atât instrucțiunile, cât și baza de cunoștințe beneficiază de mai mult spațiu.
Indicatorul de utilizare a contextului
Când definiți un rol personalizat, ChatLab vă arată în timp real cât din context este consumat de instrucțiunile dumneavoastră. Selectați chatbotul dumneavoastră și navigați la Settings > Role & Behavior (Setări > Rol și comportament), apoi treceți la fila Custom Role Definition (Definire rol personalizat). Indicatorul apare direct sub editorul de instrucțiuni.
Bara colorată reprezintă o miniatură a întregii dumneavoastră ferestre de context: fiecare segment corespunde uneia dintre componentele menționate mai sus, iar segmentul verde din dreapta este ceea ce rămâne pentru baza de cunoștințe. Lângă bară puteți vedea numărul de tokenuri al promptului în raport cu o recomandare sugerată (de exemplu "~788 / 2,400 tokens · 8k") și o evaluare:
- Optimal (Optim) - promptul se încadrează fără probleme; rămâne mult spațiu pentru cunoștințe.
- Getting large (Devine mare) - promptul începe să ocupe prea mult din context; luați în considerare scurtarea acestuia.
- Too large (Prea mare) - promptul depășește recomandarea sugerată sau lasă prea puțin spațiu pentru cunoștințe; calitatea răspunsurilor poate scădea.
Faceți clic pe bară pentru a extinde detalierea completă:
Panoul extins arată numărul aproximativ de tokenuri pentru fiecare componentă și un meniu derulant Chat context size (Dimensiune context chat), astfel încât puteți mări dimensiunea contextului direct de acolo, fără a mai accesa Model & Advanced. Împărțirea exactă variază la fiecare conversație - panoul afișează o estimare, nu o măsurătoare exactă.
În jurul editorului sunt afișate două limite, care funcționează diferit:
- Limita de caractere - o limită strictă afișată de contorul editorului, care poate depinde de abonamentul proprietarului botului; editorul nu acceptă un prompt mai lung.
- Recomandarea de tokenuri (indicatorul) - o recomandare flexibilă; depășirea acesteia nu blochează salvarea, dar lasă mai puțin spațiu pentru baza de cunoștințe și memoria conversației.
Dacă indicatorul devine roșu, acesta sugerează două soluții: măriți dimensiunea contextului de chat (mesajele vor costa mai multe credite - 16K înseamnă 2x, 32K înseamnă 4x, consultați credite pentru mesaje) sau mutați scenariile pas cu pas din prompt în etapele din Conversation Flow, după cum este explicat în continuare.
Dimensiunea contextului și Conversation Flow
Funcția Conversation Flow vă permite să împărțiți comportamentul botului în etape, fiecare având propriile instrucțiuni. Când fluxul este activat, instrucțiunile etapei curente sunt adăugate la prompt - astfel încât împart același buget de context. Instrucțiunile lungi pentru etape, suprapuse peste un rol personalizat extins, lasă mai puțin spațiu pentru baza de cunoștințe la aceeași dimensiune a contextului.
De asemenea, dimensiunea contextului controlează lungimea maximă a instrucțiunilor pentru fiecare etapă:
- Context de 8.000 de tokenuri - până la 1.000 de caractere per etapă
- Context de 16.000 sau 32.000 de tokenuri - până la 6.000 de caractere per etapă
Prin urmare, creșterea dimensiunii contextului aduce două beneficii simultan: crește limita de instrucțiuni per etapă și eliberează spațiu pentru cunoștințe. Valabilă este și abordarea inversă - dacă promptul pentru rolul personalizat este prea mare, mutarea scenariilor pas cu pas în etapele fluxului menține rolul principal scurt, deoarece instrucțiunile fiecărei etape sunt încărcate doar atunci când conversația se află în etapa respectivă.
Costul în credite în funcție de dimensiunea contextului
Dimensiunea implicită a contextului este de 8.000 de tokenuri. Creșterea acesteia multiplică numărul de credite pentru mesaje consumate de fiecare răspuns:
- 8.000 de tokenuri - 1x credite pentru mesaje (implicit)
- 16.000 de tokenuri - 2x credite pentru mesaje per mesaj
- 32.000 de tokenuri - 4x credite pentru mesaje per mesaj
Multiplicatorul se cumulează cu costul în credite al modelului AI pe care îl selectați - un context mai mare face ca fiecare răspuns al acelui model să fie proporțional mai scump.