Čo je veľkosť kontextu chatu?
Veľkosť kontextu chatu určuje, koľko informácií sa odošle umelej inteligencii zakaždým, keď návštevník položí otázku. Kontext obsahuje inštrukcie k úlohe vášho chatbota (prompt), doterajšiu konverzáciu a najrelevantnejšie časti trénovacích dát získané z vašej bázy znalostí. Token je malý kúsok textu, ktorý AI číta - počet sa líši podľa jazyka a modelu, takže tokeny nie sú to isté ako znaky alebo slová.
Výhody väčšieho kontextu:
- Viac priestoru na podrobné inštrukcie k úlohe bez vytláčania vašej bázy znalostí
- Lepšie porozumenie dlhším konverzáciám
- Schopnosť odpovedať na zložité otázky odkazovaním na viac trénovacích dát naraz
- Keď je povolená pamäť chatu, viac miesta na zhrnutia a profily klientov z predchádzajúcich konverzácií
Ako zmeniť veľkosť kontextu
Vyberte svojho chatbota, kliknite na kartu Settings (Nastavenia) a potom v ľavom bočnom paneli zvoľte Model & Advanced (Model a pokročilé nastavenia).
Nájdite rozbaľovaciu ponuku Context size (Veľkosť kontextu) a vyberte preferovanú možnosť:
- 8 000 tokenov (predvolené) - 1x kredity na správy
- 16 000 tokenov (2x kredity na správy/správa)
- 32 000 tokenov (4x kredity na správy/správa)
Možnosti 16K a 32K sú dostupné ako prémiové funkcie - v zozname sa zobrazia iba vtedy, ak váš plán zahŕňa väčší kontext chatu.
Počkajte na hlásenie Saved (Uložené) a potom otestujte novú konverzáciu v časti Overview (Prehľad) s otázkou, ktorá si vyžaduje viacero súvisiacich faktov. Väčší kontext nezvyšuje váš limit úložiska na trénovanie ani nezaručuje lepšiu odpoveď; pred ponechaním vyšších nákladov na kredity porovnajte výsledky.
Ako sa delí kontextové okno
Kontext predstavuje spoločný rozpočet. Pri každej správe sa rozdeľuje medzi:
- Váš prompt - vygenerované preddefinované inštrukcie roly alebo inštrukcie, ktoré ste napísali v Custom Role Definition (Vlastná definícia roly)
- Systémové inštrukcie - malý objem, ktorý pridáva ChatLab, aby sa bot správal správne
- Nástroje - ak váš bot používa AI akcie alebo integrácie, ich inštrukcie si vezmú časť rozpočtu
- Pamäť konverzácie - nedávna konverzácia spolu so zhrnutiami a profilmi klientov, ak je zapnutá pamäť chatu
- Zostatok pre vašu bázu znalostí - všetko, čo zostane, sa použije na trénovacie dáta zodpovedajúce otázke návštevníka
Hlavný záver: čím viac miesta zaberú vaše inštrukcie, tým menej znalostí môže AI použiť na odpoveď. Zvýšenie veľkosti kontextu zväčšuje celý rozpočet, takže vaše inštrukcie aj vaše znalosti získajú viac priestoru.
Ukazovateľ využitia kontextu
Keď definujete vlastnú rolu, ChatLab vám naživo ukazuje, koľko kontextu spotrebúvajú vaše inštrukcie. Vyberte svojho chatbota a prejdite do časti Settings > Role & Behavior (Nastavenia > Rola a správanie), potom sa prepnite na kartu Custom Role Definition (Definícia vlastnej roly). Ukazovateľ sa zobrazuje priamo pod editorom inštrukcií.
Farebný pásik predstavuje zmenšeninu celého vášho kontextového okna: každý segment zodpovedá jednej z vyššie uvedených častí a zelený segment vpravo znázorňuje to, čo zostáva pre vašu bázu znalostí. Vedľa pásika vidíte počet tokenov vášho promptu v porovnaní s odporúčaným limitom (napríklad „~788 / 2,400 tokens · 8k“) a hodnotenie:
- Optimal (Optimálne) - váš prompt sa bez problémov zmestí; pre znalosti zostáva dostatok miesta.
- Getting large (Začína byť veľký) - prompt začína zapĺňať kontext; zvážte jeho skrátenie.
- Too large (Príliš veľký) - prompt prekračuje odporúčaný limit alebo ponecháva príliš málo miesta pre znalosti; odpovede sa môžu zhoršiť.
Kliknutím na pásik rozbalíte podrobný rozpis:
Rozbalený panel zobrazuje približný počet tokenov každej časti a rozbaľovací zoznam Chat context size (Veľkosť kontextu chatu), vďaka čomu môžete veľkosť kontextu navýšiť priamo tu bez prechodu do sekcie Model & Advanced. Presné rozdelenie sa pri každej konverzácii líši - panel slúži ako odhad, nejde o exaktné meranie.
V okolí editora sa zobrazujú dva limity, pričom každý funguje inak:
- Character limit (Limit znakov) - pevný limit zobrazený počítadlom editora, ktorý môže závisieť od predplatného majiteľa bota; editor dlhší prompt neprijme.
- Token guideline (Odporúčaný počet tokenov - ukazovateľ) - mäkké odporúčanie; jeho prekročenie nebráni uloženiu, ale ponecháva menej priestoru pre vašu bázu znalostí a pamäť konverzácie.
Ak ukazovateľ sčervená, navrhne dve riešenia: zvýšiť veľkosť kontextu chatu (správy potom stoja viac kreditov - 16K stojí 2x toľko, 32K je 4x, pozrite si kredity na správy) alebo presunúť podrobné scenáre krok za krokom z promptu do fáz Conversation Flow, ktoré si vysvetlíme ďalej.
Veľkosť kontextu a funkcia Conversation Flow
Conversation Flow vám umožňuje rozdeliť správanie bota do fáz, z ktorých každá má vlastné inštrukcie. Keď je flow zapnutý, inštrukcie aktívnej fázy sa pridajú k promptu - zdieľajú teda rovnaký rozpočet kontextu. Dlhé inštrukcie fáz v kombinácii s dlhou vlastnou rolou ponechávajú pri rovnakej veľkosti kontextu menej miesta pre vašu bázu znalostí.
Veľkosť kontextu zároveň určuje, aké dlhé môžu byť inštrukcie pre jednotlivé fázy:
- Kontext 8 000 tokenov - až 1 000 znakov na fázu
- Kontext 16 000 alebo 32 000 tokenov - až 6 000 znakov na fázu
Zvýšenie veľkosti kontextu teda prináša dva efekty naraz: navýši limit inštrukcií na fázu a obnoví priestor pre znalosti. Funguje to aj opačne - ak je prompt vašej vlastnej roly príliš veľký, presun podrobných scenárov do fáz toku udrží základnú rolu stručnú, pretože inštrukcie každej fázy sa načítavajú iba vtedy, keď sa konverzácia v danej fáze práve nachádza.
Cena v kreditoch podľa veľkosti kontextu
Predvolená veľkosť kontextu je 8 000 tokenov. Jej navýšenie násobí počet kreditov na správy, ktoré každá odpoveď spotrebuje:
- 8 000 tokenov - 1x kredity (predvolené)
- 16 000 tokenov - 2x kredity na správu
- 32 000 tokenov - 4x kredity na správu
Tento násobiteľ sa kombinuje s kreditovou cenou zvoleného AI modelu - väčší kontext úmerne predražuje každú odpoveď daného modelu.