Что такое размер контекста чата?
Размер контекста чата определяет, какой объем информации отправляется в ИИ каждый раз, когда посетитель задает вопрос. В контексте содержатся инструкции по роли чатбота (промпт), текущая переписка и наиболее релевантные фрагменты обучающих данных, извлеченные из вашей базы знаний. Токен - это небольшой фрагмент текста, который считывает ИИ: в среднем 1 токен равен примерно 4 символам или приблизительно 3/4 слова.
Преимущества большего контекста:
- Больше места для подробных инструкций по роли без вытеснения вашей базы знаний
- Улучшенное понимание длинных разговоров
- Возможность отвечать на сложные вопросы, обращаясь сразу к большему объему обучающих данных
- При включенной памяти чата - больше места для сводок и профилей клиентов из предыдущих разговоров
Как изменить размер контекста
Выберите вашего чатбота, перейдите на вкладку Settings (Настройки), затем выберите Model & Advanced (Модель и расширенные настройки) в левой боковой панели.
Найдите выпадающий список Context size (Размер контекста) и выберите нужный вариант:
- 8000 tokens (default) - 1x кредитов сообщений
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Варианты 16K и 32K доступны как премиум-функции - они появляются в списке только в том случае, если ваш тарифный план включает увеличенный контекст чата.
Как распределяется окно контекста
Контекст - это общий бюджет. При каждом сообщении он распределяется между следующими элементами:
- Ваш промпт - написанные вами инструкции по роли и поведению (только при использовании функции Custom Role Definition)
- Системные инструкции - небольшой объем данных, который ChatLab добавляет для корректной работы бота
- Инструменты - если ваш бот использует AI Actions или интеграции, их инструкции занимают часть объема
- Память разговора - недавняя переписка, а также сводки и профили клиентов, если память чата включена
- Остаток для вашей базы знаний - все оставшееся место используется для обучающих данных, подобранных под вопрос посетителя
Главный вывод: чем больше места занимают ваши инструкции, тем меньшим объемом знаний может воспользоваться ИИ для ответа. Увеличение размера контекста расширяет общий бюджет, благодаря чему и ваши инструкции, и знания получают больше места.
Индикатор использования контекста
Когда вы настраиваете собственную роль, ChatLab в реальном времени показывает, сколько контекста расходуют ваши инструкции. Выберите чатбота, перейдите в Settings > Role & Behavior (Настройки > Роль и поведение), а затем откройте вкладку Custom Role Definition (Пользовательское определение роли). Индикатор расположен прямо под редактором инструкций.
Цветная шкала представляет собой уменьшенную копию всего окна контекста: каждый сегмент соответствует одной из перечисленных выше частей, а зеленый сегмент справа показывает объем, оставшийся для вашей базы знаний. Рядом со шкалой отображается количество токенов в вашем промпте относительно рекомендованного ориентира (например, "~788 / 2,400 tokens · 8k") и оценка:
- Optimal - промпт помещается без проблем; остается много места для базы знаний.
- Getting large - промпт начинает переполнять контекст; рекомендуется сократить его.
- Too large - промпт превышает рекомендуемый ориентир или оставляет слишком мало места для базы знаний; качество ответов может ухудшиться.
Нажмите на шкалу, чтобы развернуть подробную детализацию:
В развернутой панели отображается примерное количество токенов для каждой части, а также выпадающий список Chat context size (Размер контекста чата), позволяющий увеличить контекст прямо на месте, не переходя в раздел Model & Advanced. Точное распределение зависит от конкретного разговора - панель дает ориентировочную оценку, а не точный замер.
Вокруг редактора отображаются два лимита, которые действуют по-разному:
- Лимит символов (например, "2,882 / 8,000 characters") - жесткое ограничение; редактор не позволит ввести более длинный промпт.
- Ориентир по токенам (индикатор) - мягкая рекомендация; ее превышение не блокирует сохранение, но оставляет меньше места для вашей базы знаний и памяти разговора.
Если индикатор становится красным, предлагаются два решения: увеличить размер контекста чата (в этом случае сообщения будут расходовать больше кредитов - 16K стоит в 2 раза больше, 32K - в 4 раза больше, см. кредиты сообщений) либо перенести пошаговые сценарии из промпта в этапы Conversation Flow, о чем рассказывается далее.
Размер контекста и Conversation Flow
Conversation Flow позволяет разделить поведение бота на этапы, у каждого из которых есть свои инструкции. Когда сценарий включен, инструкции активного этапа добавляются к промпту - соответственно, они делят один и тот же бюджет контекста. Длинные инструкции этапа поверх объемной пользовательской роли оставляют меньше места для вашей базы знаний при том же размере контекста.
Размер контекста также определяет допустимую длину инструкций для каждого этапа:
- Контекст на 8 000 токенов - до 1 000 символов на этап
- Контекст на 16 000 или 32 000 токенов - до 6 000 символов на этап
Таким образом, увеличение размера контекста решает сразу две задачи: повышает лимит инструкций на этап и освобождает место для знаний. Верно и обратное: если ваш промпт с описанием роли стал слишком большим, перенос пошаговых сценариев в этапы сценария сохранит основную роль компактной, поскольку инструкции конкретного этапа загружаются только тогда, когда разговор доходит до него.
Стоимость в кредитах в зависимости от размера контекста
Размер контекста по умолчанию составляет 8 000 токенов. Его увеличение кратно умножает расход кредитов сообщений на каждый ответ:
- 8 000 токенов - 1x кредитов сообщений (по умолчанию)
- 16 000 токенов - 2x кредитов сообщений за каждое сообщение
- 32 000 токенов - 4x кредитов сообщений за каждое сообщение
Этот множитель суммируется со стоимостью выбранной модели ИИ - больший контекст делает каждый ответ этой модели пропорционально дороже.