Какво представлява размерът на контекста на чата?
Размерът на контекста на чата определя колко информация се изпраща към изкуствения интелект всеки път, когато посетител зададе въпрос. Контекстът съдържа инструкциите за ролята на Вашия чатбот (промпта), разговора до момента и най-подходящите части от данните за обучение, извлечени от Вашата база от знания. Токенът е малък текстов фрагмент, който AI чете - средно 1 токен е около 4 знака или приблизително 3/4 от дума.
Предимства на по-големия контекст:
- Повече място за подробни инструкции за ролята, без това да ограничава Вашата база от знания
- По-добро разбиране на по-дълги разговори
- Възможност за отговаряне на сложни въпроси чрез едновременно използване на повече данни за обучение
- Когато паметта на чата е активирана - повече пространство за обобщения и клиентски профили от предишни разговори
Как се променя размерът на контекста
Изберете Вашия чатбот, кликнете върху раздела Settings (Настройки), след което изберете Model & Advanced (Модел и разширени) в лявата странична лента.
Намерете падащото меню Context size (Размер на контекста) и изберете предпочитаната опция:
- 8000 tokens (default) - 1x кредити за съобщения
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Опциите 16K и 32K се предлагат като премиум функции - те се появяват в списъка само когато Вашият план включва по-големия контекст за чат.
Как се разпределя прозорецът на контекста
Контекстът е споделен бюджет. При всяко съобщение той се разделя между:
- Вашия промпт - инструкциите за ролята и поведението, които сте написали (само когато използвате Custom Role Definition)
- Системни инструкции - малък обем, който ChatLab добавя, за да може ботът да работи правилно
- Инструменти - ако Вашият бот използва AI Actions или интеграции, техните инструкции заемат част от обема
- Памет на разговора - последният разговор, плюс обобщения и клиентски профили, когато паметта на чата е активирана
- Останало за Вашата база от знания - всичко останало се използва за данни за обучение, съответстващи на въпроса на посетителя
Основният извод: колкото повече място заемат Вашите инструкции, толкова по-малко знания може да използва изкуственият интелект, за да отговори. Увеличаването на размера на контекста разширява целия бюджет, така че както Вашите инструкции, така и знанията получават повече пространство.
Индикатор за използване на контекста
Когато дефинирате персонализирана роля, ChatLab Ви показва в реално време каква част от контекста изразходват Вашите инструкции. Изберете Вашия чатбот и отидете на Settings > Role & Behavior (Настройки > Роля и поведение), след което преминете към раздела Custom Role Definition (Персонализирано дефиниране на роля). Индикаторът се появява точно под редактора за инструкции.
Цветната лента е миниатюра на целия Ви прозорец на контекста: всеки сегмент представлява една от изброените по-горе части, а зеленият сегмент вдясно е това, което остава за Вашата база от знания. До лентата виждате броя токени на Вашия промпт спрямо препоръчителния ориентир (например "~788 / 2,400 tokens · 8k") и оценка:
- Optimal - Вашият промпт се побира удобно; остава достатъчно място за знания.
- Getting large - промптът започва да препълва контекста; помислете за съкращаването му.
- Too large - промптът надхвърля препоръчителния ориентир или оставя твърде малко място за знания; отговорите могат да се влошат.
Кликнете върху лентата, за да разгънете пълната разбивка:
Разгънатият панел показва приблизителния брой токени за всяка част и падащо меню Chat context size (Размер на контекста на чата), така че можете да увеличите размера на контекста директно оттам, без да преминавате през Model & Advanced. Точното разпределение варира според разговора - панелът е ориентировъчна оценка, а не точно измерване.
Около редактора са показани два лимита, които функционират различно:
- Лимит на знаците (например "2,882 / 8,000 characters") - твърд лимит; редакторът не приема по-дълъг промпт.
- Ориентир за токени (индикаторът) - мек ориентир; надвишаването му не блокира запазването, но оставя по-малко място за Вашата база от знания и паметта на разговора.
Ако индикаторът светне в червено, той предлага две решения: увеличете размера на контекста на чата (тогава съобщенията струват повече кредити - 16K е 2x, 32K е 4x, вижте кредити за съобщения) или преместете поетапните сценарии от промпта в етапите на Conversation Flow, както е обяснено по-долу.
Размер на контекста и Conversation Flow
Conversation Flow Ви позволява да разделите поведението на бота на етапи, всеки със свои собствени инструкции. Когато работният процес е активиран, инструкциите на активния етап се добавят към промпта - така те споделят един и същ бюджет на контекста. Дългите инструкции за етапи в допълнение към дълга персонализирана роля оставят по-малко място за Вашата база от знания при същия размер на контекста.
Размерът на контекста управлява и колко дълги могат да бъдат инструкциите за всеки етап:
- Контекст от 8 000 токена - до 1 000 знака на етап
- Контекст от 16 000 или 32 000 токена - до 6 000 знака на етап
Следователно увеличаването на размера на контекста прави две неща едновременно: вдига лимита за инструкции за всеки етап и възстановява свободното място за знания. Обратният подход също работи - ако промптът за персонализирана роля е твърде голям, преместването на поетапните сценарии в етапите на работния процес запазва основната роля кратка, тъй като инструкциите за всеки етап се зареждат само докато разговорът е на този етап.
Цена в кредити според размера на контекста
Размерът на контекста по подразбиране е 8 000 токена. Увеличаването му умножава броя на кредитите за съобщения, които всеки отговор изразходва:
- 8 000 токена - 1x кредити за съобщения (по подразбиране)
- 16 000 токена - 2x кредити за съобщения на съобщение
- 32 000 токена - 4x кредити за съобщения на съобщение
Множителят се наслагва върху цената в кредити на избрания от Вас AI модел - по-големият контекст прави всеки отговор от този модел пропорционално по-скъп.