Čo je veľkosť kontextu chatu?
Veľkosť kontextu chatu určuje, koľko informácií sa odošle umelej inteligencii zakaždým, keď návštevník položí otázku. Kontext obsahuje inštrukcie k role vášho chatbota (prompt), doterajšiu konverzáciu a najrelevantnejšie časti trénovacích dát získané z vašej bázy znalostí. Token je malý kúsok textu, ktorý AI číta - v priemere 1 token zodpovedá približne 4 znakom, teda zhruba 3/4 slova.
Výhody väčšieho kontextu:
- Viac priestoru na podrobné inštrukcie k role bez toho, aby vytláčali vašu bázu znalostí
- Lepšie porozumenie dlhším konverzáciám
- Schopnosť odpovedať na zložité otázky vďaka súčasnému využitiu väčšieho množstva trénovacích dát
- Pri zapnutej funkcii pamäť chatu viac miesta na súhrny a profily klientov z predchádzajúcich konverzácií
Ako zmeniť veľkosť kontextu
Vyberte svojho chatbota, kliknite na kartu Settings (Nastavenia) a v ľavom bočnom paneli vyberte Model & Advanced (Model a pokročilé).
Nájdite rozbaľovací zoznam Context size (Veľkosť kontextu) a vyberte preferovanú možnosť:
- 8000 tokens (default) - 1x správové kredity
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Možnosti 16K a 32K sú k dispozícii ako prémiové funkcie - v zozname sa zobrazia iba vtedy, keď váš plán zahŕňa väčší kontext chatu.
Ako sa okno kontextu delí
Kontext predstavuje zdieľaný rozpočet. Pri každej správe sa rozdeľuje medzi:
- Váš prompt - vami napísané inštrukcie k role a správaniu (iba v prípade, že používate Custom Role Definition)
- Systémové inštrukcie - menší objem dát, ktorý pridáva ChatLab, aby sa bot správal správne
- Nástroje - ak váš bot používa AI Actions alebo integrácie, ich inštrukcie si vezmú časť z rozpočtu
- Pamäť konverzácie - nedávna konverzácia spolu so súhrnmi a profilmi klientov, ak je zapnutá pamäť chatu
- Zvyšok pre vašu bázu znalostí - všetko, čo zostane, sa využije na trénovacie dáta priradené k otázke návštevníka
Hlavný záver: čím viac miesta zaberajú vaše inštrukcie, tým menej znalostí môže AI použiť na odpoveď. Zvýšenie veľkosti kontextu zväčšuje celý rozpočet, takže vaše inštrukcie aj znalosti získajú viac priestoru.
Ukazovateľ využitia kontextu
Keď definujete vlastnú rolu, ChatLab vám v reálnom čase ukazuje, koľko kontextu vaše inštrukcie spotrebúvajú. Vyberte svojho chatbota, prejdite do Settings > Role & Behavior (Nastavenia > Rola a správanie) a prepnite sa na kartu Custom Role Definition (Vlastná definícia role). Ukazovateľ sa zobrazuje priamo pod editorom inštrukcií.
Farebný pruh predstavuje miniatúru celého vášho kontextového okna: každý segment zodpovedá jednej z vyššie uvedených častí a zelený segment vpravo znázorňuje to, čo zostáva pre vašu bázu znalostí. Vedľa pruhu vidíte počet tokenov vášho promptu v porovnaní s odporúčanou hodnotou (napríklad „~788 / 2,400 tokens · 8k“) a hodnotenie:
- Optimal (Optimálne) - váš prompt sa bez problémov zmestí; pre znalosti zostáva dostatok miesta.
- Getting large (Začína byť veľký) - prompt začína zapĺňať kontext; zvážte jeho skrátenie.
- Too large (Príliš veľký) - prompt prekračuje odporúčanú hranicu alebo ponecháva príliš málo miesta pre znalosti; odpovede sa môžu zhoršiť.
Kliknutím na pruh rozbalíte podrobný rozpis:
Rozbalený panel zobrazuje približný počet tokenov pre každú časť a rozbaľovací zoznam Chat context size (Veľkosť kontextu chatu), vďaka čomu môžete kontext zväčšiť priamo na mieste bez prechodu do sekcie Model & Advanced. Presné rozdelenie sa pri každej konverzácii líši - panel slúži ako odhad, nie ako exaktné meranie.
V okolí editora sa zobrazujú dva limity, pričom každý funguje inak:
- Limit znakov (napríklad „2,882 / 8,000 characters“) - pevný limit; editor dlhší prompt neprijme.
- Odporúčaný počet tokenov (ukazovateľ) - orientačné odporúčanie; jeho prekročenie nezabráni uloženiu, ale zanechá menej miesta pre vašu bázu znalostí a pamäť konverzácie.
Ak ukazovateľ sčervená, navrhne dve riešenia: zvýšte veľkosť kontextu chatu (správy potom stoja viac kreditov - 16K stojí 2x, 32K stojí 4x, pozrite si správové kredity), alebo presuňte podrobné scenáre z promptu do fáz Conversation Flow, ako je vysvetlené nižšie.
Veľkosť kontextu a funkcia Conversation Flow
Conversation Flow vám umožňuje rozdeliť správanie bota do fáz, z ktorých každá má vlastné inštrukcie. Keď je flow zapnutý, inštrukcie aktívnej fázy sa pridajú k promptu - zdieľajú teda rovnaký rozpočet kontextu. Dlhé inštrukcie fáz v kombinácii s dlhou vlastnou rolou ponechávajú pri rovnakej veľkosti kontextu menej miesta pre vašu bázu znalostí.
Veľkosť kontextu zároveň určuje, aké dlhé môžu byť inštrukcie pre jednotlivé fázy:
- Kontext 8 000 tokenov - až 1 000 znakov na fázu
- Kontext 16 000 alebo 32 000 tokenov - až 6 000 znakov na fázu
Zvýšenie veľkosti kontextu teda prináša dva efekty naraz: navýši limit inštrukcií na fázu a obnoví priestor pre znalosti. Funguje to aj opačne - ak je prompt vašej vlastnej role príliš veľký, presun podrobných scenárov do fáz toku udrží základnú rolu stručnú, pretože inštrukcie každej fázy sa načítavajú iba vtedy, keď sa konverzácia v danej fáze práve nachádza.
Cena v kreditoch podľa veľkosti kontextu
Predvolená veľkosť kontextu je 8 000 tokenov. Jej navýšenie násobí počet správových kreditov, ktoré každá odpoveď spotrebuje:
- 8 000 tokenov - 1x správové kredity (predvolené)
- 16 000 tokenov - 2x správové kredity na správu
- 32 000 tokenov - 4x správové kredity na správu
Tento násobiteľ sa kombinuje s kreditovou cenou zvoleného AI modelu - väčší kontext úmerne predražuje každú odpoveď daného modelu.