Czym jest rozmiar kontekstu czatu?
Rozmiar kontekstu czatu określa, ile informacji jest przesyłanych do AI za każdym razem, gdy odwiedzający zadaje pytanie. Kontekst mieści instrukcje dotyczące roli Twojego chatbota (prompt), dotychczasową rozmowę oraz najbardziej trafne fragmenty danych treningowych pobrane z Twojej bazy wiedzy. Token to mały fragment tekstu odczytywany przez AI - ich liczba zależy od języka i modelu, więc tokeny to nie to samo co znaki lub słowa.
Korzyści z większego kontekstu:
- Więcej miejsca na szczegółowe instrukcje roli bez ograniczania miejsca na Twoją bazę wiedzy
- Lepsze zrozumienie dłuższych rozmów
- Możliwość odpowiadania na złożone pytania dzięki odwoływaniu się do większej ilości danych treningowych naraz
- Gdy pamięć czatu jest włączona, więcej miejsca na podsumowania i profile klientów z poprzednich rozmów
Jak zmienić rozmiar kontekstu
Wybierz swojego chatbota, kliknij zakładkę Settings (Ustawienia), a następnie wybierz Model & Advanced (Model i zaawansowane) na pasku bocznym po lewej stronie.
Znajdź listę rozwijaną Context size (Rozmiar kontekstu) i wybierz preferowaną opcję:
- 8 000 tokenów (domyślnie) - 1x kredyty wiadomości
- 16 000 tokenów (2x kredyty wiadomości/wiadomość)
- 32 000 tokenów (4x kredyty wiadomości/wiadomość)
Opcje 16K i 32K są dostępne jako funkcje premium - pojawiają się na liście tylko wtedy, gdy Twój plan obejmuje większy kontekst czatu.
Poczekaj na komunikat Saved (Zapisano), a następnie przetestuj nową rozmowę w zakładce Overview (Przegląd), zadając pytanie wymagające powiązania kilku faktów. Większy kontekst nie zwiększa limitu miejsca na trenowanie ani nie gwarantuje lepszej odpowiedzi; porównaj wyniki, zanim zdecydujesz się na stałe ponosić wyższy koszt w kredytach.
Jak dzielone jest okno kontekstu
Kontekst to wspólny budżet. Przy każdej wiadomości jest dzielony pomiędzy:
- Twój prompt - wygenerowane instrukcje domyślnej roli lub instrukcje wpisane przez Ciebie w Custom Role Definition (Niestandardowa definicja roli)
- Instrukcje systemowe - niewielka część dodawana przez ChatLab, aby bot zachowywał się poprawnie
- Narzędzia - jeśli Twój bot używa AI Actions lub integracji, ich instrukcje zabierają część budżetu
- Pamięć rozmowy - ostatnie wypowiedzi w rozmowie oraz podsumowania i profile klientów, gdy włączona jest pamięć czatu
- Pozostałe miejsce na bazę wiedzy - wszystko, co zostanie, jest wykorzystywane na dane z trenowania dopasowane do pytania odwiedzającego
Najważniejszy wniosek: im więcej miejsca zajmują Twoje instrukcje, tym mniejszą ilością wiedzy dysponuje AI podczas odpowiadania. Zwiększenie rozmiaru kontekstu powiększa cały budżet, dzięki czemu zarówno Twoje instrukcje, jak i wiedza zyskują więcej przestrzeni.
Miernik użycia kontekstu
Kiedy definiujesz rolę niestandardową, ChatLab pokazuje Ci na żywo, ile kontekstu zużywają Twoje instrukcje. Wybierz swojego chatbota i przejdź do Settings > Role & Behavior (Ustawienia > Rola i zachowanie), a następnie przełącz się na zakładkę Custom Role Definition (Definicja roli niestandardowej). Miernik pojawia się bezpośrednio pod edytorem instrukcji.
Kolorowy pasek to miniatura całego Twojego okna kontekstu: każdy segment odpowiada jednej z części wymienionych powyżej, a zielony segment po prawej stronie to miejsce pozostałe na Twoją bazę wiedzy. Obok paska widzisz liczbę tokenów Twojego promptu w zestawieniu z zalecaną wartością (na przykład "~788 / 2,400 tokens · 8k") oraz ocenę:
- Optimal (Optymalny) - Twój prompt mieści się bez problemu; pozostaje mnóstwo miejsca na wiedzę.
- Getting large (Robi się duży) - prompt zaczyna zapełniać kontekst; warto rozważyć jego skrócenie.
- Too large (Zbyt duży) - prompt przekracza zalecaną wartość lub pozostawia zbyt mało miejsca na wiedzę; odpowiedzi mogą być gorszej jakości.
Kliknij pasek, aby rozwinąć pełne zestawienie:
Rozwinięty panel pokazuje przybliżoną liczbę tokenów każdej części oraz listę rozwijaną Chat context size (Rozmiar kontekstu czatu), dzięki czemu możesz zwiększyć rozmiar kontekstu bezpośrednio w tym miejscu, bez przechodzenia do sekcji Model & Advanced (Model i zaawansowane). Dokładny podział różni się w zależności od rozmowy - panel przedstawia szacunek, a nie precyzyjny pomiar.
Wokół edytora widoczne są dwa limity, które działają w różny sposób:
- Limit znaków - sztywny limit pokazywany przez licznik edytora, który może zależeć od subskrypcji właściciela bota; edytor nie przyjmie dłuższego promptu.
- Zalecana liczba tokenów (miernik) - elastyczna wskazówka; jej przekroczenie nie blokuje zapisywania, ale pozostawia mniej miejsca na Twoją bazę wiedzy i pamięć rozmowy.
Jeśli miernik zmieni kolor na czerwony, sugeruje dwa rozwiązania: zwiększenie rozmiaru kontekstu czatu (wiadomości kosztują wtedy więcej kredytów - 16K to 2x, 32K to 4x, zobacz kredyty wiadomości) lub przeniesienie scenariuszy krok po kroku z promptu do etapów Conversation Flow, co opisujemy poniżej.
Rozmiar kontekstu a Conversation Flow
Conversation Flow pozwala podzielić zachowanie bota na etapy, z których każdy posiada własne instrukcje. Gdy przepływ jest włączony, instrukcje aktywnego etapu są dodawane do promptu - dzielą więc ten sam budżet kontekstu. Długie instrukcje etapu nałożone na długą rolę niestandardową pozostawiają mniej miejsca na bazę wiedzy przy tym samym rozmiarze kontekstu.
Rozmiar kontekstu decyduje również o tym, jak długie mogą być instrukcje każdego etapu:
- Kontekst 8 000 tokenów - do 1 000 znaków na etap
- Kontekst 16 000 lub 32 000 tokenów - do 6 000 znaków na etap
Zwiększenie rozmiaru kontekstu działa zatem podwójnie: podnosi limit instrukcji na etap i przywraca miejsce na wiedzę. Działa to także w drugą stronę - jeśli Twój prompt roli niestandardowej jest zbyt duży, przeniesienie scenariuszy krok po kroku do etapów przepływu pozwala zachować zwięzłość głównej roli, ponieważ instrukcje danego etapu są ładowane tylko wtedy, gdy rozmowa znajduje się na tym konkretnym etapie.
Koszt kredytów w zależności od rozmiaru kontekstu
Domyślny rozmiar kontekstu wynosi 8 000 tokenów. Jego zwiększenie mnoży liczbę kredytów wiadomości zużywanych przez każdą odpowiedź:
- 8 000 tokenów - 1x kredyty wiadomości (domyślnie)
- 16 000 tokenów - 2x kredyty wiadomości na wiadomość
- 32 000 tokenów - 4x kredyty wiadomości na wiadomość
Mnożnik ten łączy się z kosztem kredytowym wybranego modelu AI - większy kontekst sprawia, że każda odpowiedź danego modelu staje się proporcjonalnie droższa.