Co je velikost kontextu chatu?
Velikost kontextu chatu určuje, kolik informací se odešle do AI pokaždé, když návštěvník položí otázku. Kontext obsahuje pokyny k roli vašeho chatbota (prompt), dosavadní konverzaci a nejrelevantnější části trénovacích dat získané z vaší báze znalostí. Token je malý kousek textu, který AI čte - v průměru 1 token představuje přibližně 4 znaky neboli zhruba 3/4 slova.
Výhody většího kontextu:
- Více místa pro podrobné pokyny k roli, aniž by vytlačovaly vaši bázi znalostí
- Lepší porozumění delším konverzacím
- Schopnost odpovídat na složité otázky díky využití více trénovacích dat najednou
- Když je zapnutá paměť chatu, získáte více místa pro shrnutí a profily klientů z předchozích konverzací
Jak změnit velikost kontextu
Vyberte svého chatbota, klikněte na záložku Settings (Nastavení) a poté v levém postranním panelu zvolte Model & Advanced (Model a pokročilé).
Najděte rozbalovací nabídku Context size (Velikost kontextu) a vyberte preferovanou možnost:
- 8000 tokens (default) - 1x kredity na zprávy
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Možnosti 16K a 32K jsou k dispozici jako prémiové funkce - v seznamu se zobrazí pouze tehdy, když váš plán zahrnuje větší kontext chatu.
Jak je kontextové okno rozděleno
Kontext funguje jako sdílený rozpočet. Při každé zprávě se dělí mezi:
- Váš prompt - pokyny k roli a chování, které jste napsali (pouze při použití Custom Role Definition)
- Systémové pokyny - malé množství instrukcí, které přidává ChatLab, aby se bot choval správně
- Nástroje - pokud váš bot používá AI Actions nebo integrace, část místa zaberou jejich pokyny
- Paměť konverzace - nedávná konverzace a také shrnutí a profily klientů, pokud je paměť chatu zapnutá
- Místo pro vaši bázi znalostí - vše, co zbude, se použije pro trénovací data odpovídající otázce návštěvníka
Hlavní poznatek: čím více místa zaberou vaše pokyny, tím méně znalostí může AI při odpovědi použít. Zvýšení velikosti kontextu zvětší celý rozpočet, takže vaše pokyny i znalosti získají více prostoru.
Ukazatel využití kontextu
Když definujete vlastní roli, ChatLab vám v reálném čase ukazuje, kolik kontextu vaše pokyny spotřebovávají. Vyberte svého chatbota, přejděte na Settings > Role & Behavior (Nastavení > Role a chování) a přepněte na záložku Custom Role Definition (Vlastní definice role). Ukazatel se zobrazí přímo pod editorem pokynů.
Barevný pruh je miniaturou celého vašeho kontextového okna: každý segment představuje jednu z výše uvedených částí a zelený segment vpravo ukazuje, co zbývá pro vaši bázi znalostí. Vedle pruhu vidíte počet tokenů vašeho promptu v porovnání s doporučenou hodnotou (například „~788 / 2,400 tokens · 8k") a hodnocení:
- Optimal - váš prompt se pohodlně vejde; pro znalosti zbývá spousta místa.
- Getting large - prompt začíná kontext přeplňovat; zvažte jeho zkrácení.
- Too large - prompt překračuje doporučenou hodnotu nebo nechává příliš málo místa pro znalosti; kvalita odpovědí se může zhoršit.
Kliknutím na pruh rozbalíte podrobný přehled:
Rozbalený panel ukazuje přibližný počet tokenů pro každou část a rozbalovací nabídku Chat context size (Velikost kontextu chatu), takže můžete velikost kontextu navýšit přímo zde, aniž byste museli přecházet do sekce Model & Advanced. Přesné rozdělení se u každé konverzace liší - panel představuje odhad, nikoli přesné měření.
Kolem editoru se zobrazují dva limity, které fungují odlišně:
- Limit znaků (například „2,882 / 8,000 characters") - pevný limit; editor delší prompt nepřijme.
- Doporučený limit tokenů (ukazatel) - orientační vodítko; jeho překročení nebrání uložení, ale nechává méně místa pro vaši bázi znalostí a paměť konverzace.
Pokud ukazatel zčervená, navrhne dvě řešení: zvyšte velikost kontextu chatu (zprávy pak stojí více kreditů - 16K je 2x, 32K je 4x, viz kredity na zprávy), nebo přesuňte postupné scénáře z promptu do fází v rámci Conversation Flow, jak je vysvětleno dále.
Velikost kontextu a Conversation Flow
Conversation Flow vám umožňuje rozdělit chování bota do fází, z nichž každá má své vlastní pokyny. Když je flow zapnuté, pokyny aktivní fáze se přidají k promptu - sdílejí tedy stejný rozpočet kontextu. Dlouhé pokyny k fázím v kombinaci s dlouhou vlastní rolí ponechávají při stejné velikosti kontextu méně místa pro vaši bázi znalostí.
Velikost kontextu také určuje, jak dlouhé mohou být pokyny jednotlivých fází:
- Kontext 8 000 tokenů - až 1 000 znaků na fázi
- Kontext 16 000 nebo 32 000 tokenů - až 6 000 znaků na fázi
Zvýšení velikosti kontextu tedy přináší dvě výhody současně: navyšuje limit pokynů pro jednotlivé fáze a obnovuje prostor pro znalosti. Funguje to i naopak - pokud je prompt vaší vlastní role příliš velký, přesunutí podrobných scénářů do fází toku udrží hlavní roli stručnou, protože pokyny pro každou fázi se načítají pouze ve chvíli, kdy se konverzace v dané fázi nachází.
Spotřeba kreditů podle velikosti kontextu
Výchozí velikost kontextu je 8 000 tokenů. Její navýšení násobí počet kreditů na zprávy, které každá odpověď spotřebuje:
- 8 000 tokenů - 1x kredity na zprávy (výchozí)
- 16 000 tokenů - 2x kredity na zprávy za zprávu
- 32 000 tokenů - 4x kredity na zprávy za zprávu
Tento násobitel se sčítá s kreditovou cenou zvoleného modelu AI - větší kontext úměrně prodražuje každou odpověď daného modelu.