Co je velikost kontextu chatu?
Velikost kontextu chatu určuje, kolik informací se odešle do AI pokaždé, když návštěvník položí otázku. Kontext obsahuje instrukce k roli vašeho chatbota (prompt), dosavadní konverzaci a nejrelevantnější části trénovacích dat získané z vaší báze znalostí. Token je malý kousek textu, který AI čte - počet se liší podle jazyka a modelu, takže tokeny nejsou totéž co znaky nebo slova.
Výhody většího kontextu:
- Více místa pro podrobné instrukce k roli, aniž by došlo k vytlačení vaší báze znalostí
- Lepší porozumění delším konverzacím
- Schopnost odpovídat na složité otázky díky využití více trénovacích dat najednou
- Když je povolena funkce paměť chatu, získáte více místa pro shrnutí a profily klientů z předchozích konverzací
Jak změnit velikost kontextu
Vyberte svého chatbota, klikněte na záložku Settings (Nastavení) a poté v levém postranním panelu zvolte Model & Advanced (Model a pokročilé).
Najděte rozbalovací nabídku Context size (Velikost kontextu) a vyberte preferovanou možnost:
- 8000 tokens (default) (8 000 tokenů, výchozí) - 1x kredity zpráv
- 16000 tokens (2x message credits/message) (16 000 tokenů, 2x kredity za zprávu)
- 32000 tokens (4x message credits/message) (32 000 tokenů, 4x kredity za zprávu)
Možnosti 16K a 32K jsou dostupné jako prémiové funkce - v seznamu se zobrazují pouze tehdy, když váš tarif zahrnuje větší kontext chatu.
Počkejte na potvrzení Saved (Uloženo) a poté otestujte novou konverzaci v sekci Overview (Přehled) pomocí otázky, která vyžaduje několik souvisejících faktů. Větší kontext nezvyšuje limit vašeho trénovacího úložiště ani nezaručuje lepší odpověď; než si ponecháte vyšší spotřebu kreditů, porovnejte výsledky.
Jak se kontextové okno dělí
Kontext funguje jako sdílený rozpočet. Při každé zprávě se dělí mezi:
- Váš prompt - vygenerované předdefinované instrukce role nebo instrukce, které jste zadali do Custom Role Definition (vlastní definice role)
- Systémové instrukce - malou část, kterou přidává ChatLab, aby se bot choval správně
- Nástroje - pokud váš bot používá AI Actions nebo integrace, jejich instrukce si také vezmou svůj podíl
- Paměť konverzace - nedávnou konverzaci a navíc shrnutí a profily klientů, když je paměť chatu zapnutá
- Prostor pro vaši bázi znalostí - vše, co zbude, se použije pro trénovací data odpovídající dotazu návštěvníka
Klíčové shrnutí: čím více místa zaberou vaše instrukce, tím méně znalostí může AI použít k odpovědi. Zvětšení velikosti kontextu navýší celý rozpočet, takže vaše instrukce i znalosti získají více prostoru.
Ukazatel využití kontextu
Když definujete vlastní roli, ChatLab vám v reálném čase ukazuje, kolik kontextu vaše instrukce spotřebovávají. Vyberte svého chatbota, přejděte do Settings > Role & Behavior (Nastavení > Role a chování) a přepněte na kartu Custom Role Definition (Vlastní definice role). Ukazatel se zobrazuje přímo pod editorem instrukcí.
Barevný pruh představuje zmenšeninu celého vašeho kontextového okna: každý segment odpovídá jedné z výše uvedených částí a zelený segment vpravo ukazuje, co zbývá pro vaši bázi znalostí. Vedle pruhu vidíte počet tokenů svého promptu v porovnání s doporučenou hodnotou (například „~788 / 2 400 tokenů · 8k“) a hodnocení:
- Optimal (Optimální) - váš prompt se pohodlně vejde; pro znalosti zbývá dostatek místa.
- Getting large (Začíná být velký) - prompt začíná zaplňovat kontext; zvažte jeho zkrácení.
- Too large (Příliš velký) - prompt překračuje doporučenou hodnotu nebo nechává příliš málo místa pro znalosti; odpovědi se mohou zhoršit.
Kliknutím na pruh rozbalíte kompletní rozpis:
Rozbalený panel ukazuje přibližný počet tokenů každé části a rozbalovací nabídku Chat context size (Velikost kontextu chatu), takže můžete velikost kontextu navýšit přímo zde, aniž byste museli přecházet do Model & Advanced. Přesné rozdělení se u každé konverzace liší - panel představuje odhad, nikoli přesné měření.
V okolí editoru se zobrazují dva limity a každý funguje jinak:
- Limit znaků - pevný limit zobrazený počítadlem editoru, který může záviset na předplatném vlastníka bota; editor delší prompt nepřijme.
- Doporučený počet tokenů (ukazatel) - orientační limit; jeho překročení nebrání uložení, ale ponechává méně místa pro vaši bázi znalostí a historii konverzace.
Pokud ukazatel zčervená, navrhne dvě řešení: zvyšte velikost kontextu chatu (zprávy pak stojí více kreditů - 16K je 2x, 32K je 4x, viz kredity za zprávy), nebo přesuňte podrobné scénáře z promptu do fází v Conversation Flow, jak je popsáno dále.
Velikost kontextu a Conversation Flow
Conversation Flow vám umožňuje rozdělit chování bota do fází, z nichž každá má své vlastní pokyny. Když je flow zapnuté, pokyny aktivní fáze se přidají k promptu - sdílejí tedy stejný rozpočet kontextu. Dlouhé pokyny k fázím v kombinaci s dlouhou vlastní rolí ponechávají při stejné velikosti kontextu méně místa pro vaši bázi znalostí.
Velikost kontextu také určuje, jak dlouhé mohou být pokyny jednotlivých fází:
- Kontext 8 000 tokenů - až 1 000 znaků na fázi
- Kontext 16 000 nebo 32 000 tokenů - až 6 000 znaků na fázi
Zvýšení velikosti kontextu tedy přináší dvě výhody současně: navyšuje limit pokynů pro jednotlivé fáze a obnovuje prostor pro znalosti. Funguje to i naopak - pokud je prompt vaší vlastní role příliš velký, přesunutí podrobných scénářů do fází toku udrží hlavní roli stručnou, protože pokyny pro každou fázi se načítají pouze ve chvíli, kdy se konverzace v dané fázi nachází.
Spotřeba kreditů podle velikosti kontextu
Výchozí velikost kontextu je 8 000 tokenů. Její navýšení násobí počet kreditů na zprávy, které každá odpověď spotřebuje:
- 8 000 tokenů - 1x kredity na zprávy (výchozí)
- 16 000 tokenů - 2x kredity na zprávy za zprávu
- 32 000 tokenů - 4x kredity na zprávy za zprávu
Tímto násobitelem se násobí kreditová cena zvoleného modelu AI - větší kontext úměrně prodražuje každou odpověď daného modelu.