Что такое размер контекста чата?
Размер контекста чата определяет, сколько информации отправляется в ИИ каждый раз, когда посетитель задает вопрос. Контекст содержит инструкции по роли чатбота (промпт), историю текущей беседы и наиболее подходящие фрагменты данных для обучения, извлеченные из вашей базы знаний. Токен - это небольшой фрагмент текста, который считывает ИИ; их количество зависит от языка и модели, поэтому токены не совпадают с символами или словами.
Преимущества увеличенного контекста:
- Больше места для подробных инструкций по роли без вытеснения базы знаний
- Лучшее понимание длинных диалогов
- Способность отвечать на сложные вопросы, обращаясь сразу к большему объему данных для обучения
- При включенной памяти чата - больше пространства для кратких сводок и профилей клиентов из предыдущих разговоров
Как изменить размер контекста
Выберите своего чатбота, перейдите на вкладку Settings (Настройки), затем выберите Model & Advanced (Модель и расширенные настройки) в левом боковом меню.
Найдите выпадающий список Context size (Размер контекста) и выберите нужный вариант:
- 8000 tokens (default) - 1x message credits (кредиты на сообщения)
- 16000 tokens (2x message credits/message)
- 32000 tokens (4x message credits/message)
Варианты 16K и 32K доступны в качестве премиум-функций - они отображаются в списке только в том случае, если ваш тарифный план включает расширенный контекст чата.
Дождитесь появления статуса Saved (Сохранено), а затем протестируйте новый разговор в разделе Overview (Обзор), задав вопрос, требующий сопоставления нескольких связанных фактов. Увеличенный контекст не расширяет лимит хранилища для обучения и не гарантирует автоматически лучший ответ; сравните результаты перед тем, как оставлять более высокую стоимость в кредитах.
Как распределяется окно контекста
Контекст представляет собой общий бюджет. В каждом сообщении он разделяется между следующими элементами:
- Ваш промпт - сгенерированные стандартные инструкции по роли или инструкции, написанные вами в Custom Role Definition (Пользовательское определение роли)
- Системные инструкции - небольшой объем текста, добавляемый ChatLab для правильного поведения бота
- Инструменты - если ваш бот использует AI Actions или интеграции, их инструкции также занимают часть объема
- Память разговора - недавний диалог, а также сводки и профили клиентов при включенной функции памяти чата
- Остаток для вашей базы знаний - все свободное место используется под данные для обучения, соответствующие вопросу посетителя
Главный вывод: чем больше места занимают ваши инструкции, тем меньше знаний ИИ сможет применить для ответа. Увеличение размера контекста расширяет весь бюджет, поэтому и инструкции, и знания получают больше пространства.
Индикатор использования контекста
При настройке пользовательской роли ChatLab показывает в реальном времени, какую часть контекста занимают ваши инструкции. Выберите чатбота и перейдите в Settings > Role & Behavior (Роль и поведение), затем откройте вкладку Custom Role Definition. Индикатор появится прямо под редактором инструкций.
Цветная полоса - это миниатюра всего вашего окна контекста: каждый сегмент соответствует одной из перечисленных выше частей, а зеленый сегмент справа обозначает пространство, оставшееся для базы знаний. Рядом с полосой отображается количество токенов вашего промпта относительно рекомендуемого значения (например, "~788 / 2,400 tokens · 8k") и оценка:
- Optimal (Оптимально) - промпт помещается без проблем; остается много места для знаний.
- Getting large (Становится большим) - промпт начинает переполнять контекст; подумайте о его сокращении.
- Too large (Слишком большой) - промпт превышает рекомендуемое значение или оставляет слишком мало места для знаний; качество ответов может ухудшиться.
Нажмите на полосу, чтобы развернуть подробную детализацию:
Развернутая панель показывает приблизительное количество токенов для каждой части, а также выпадающий список Chat context size, позволяющий увеличить контекст прямо на месте, не переходя в Model & Advanced. Точное распределение меняется от разговора к разговору - данные на панели являются оценочными, а не абсолютными.
Вокруг редактора отображаются два лимита, которые действуют по-разному:
- Character limit (Лимит символов) - жесткий лимит, отображаемый счетчиком редактора, который может зависеть от подписки владельца бота; редактор не примет более длинный промпт.
- Token guideline (Ориентир по токенам, индикатор) - мягкий ориентир; его превышение не блокирует сохранение, но оставляет меньше места для базы знаний и памяти разговора.
Если индикатор становится красным, система предлагает два решения: увеличить размер контекста чата (в этом случае сообщения будут расходовать больше кредитов - 16K стоит в 2 раза дороже, 32K - в 4 раза, см. message credits), либо вынести пошаговые сценарии из промпта в этапы Conversation Flow, о чем рассказывается далее.
Размер контекста и Conversation Flow
Conversation Flow позволяет разбить поведение бота на этапы, у каждого из которых будут свои инструкции. Когда сценарий включен, инструкции текущего активного этапа добавляются к промпту, то есть расходуют тот же общий бюджет контекста. Длинные инструкции этапа поверх объемной пользовательской роли оставляют меньше места для базы знаний при том же размере контекста.
Размер контекста также определяет максимальную длину инструкций для каждого этапа:
- Контекст на 8 000 токенов - до 1 000 символов на этап
- Контекст на 16 000 или 32 000 токенов - до 6 000 символов на этап
Таким образом, увеличение контекста решает сразу две задачи: повышает лимит символов для инструкций этапа и возвращает место для знаний. Это работает и в обратную сторону: если промпт пользовательской роли слишком велик, перенос пошаговых сценариев в этапы флоу позволяет сохранить основную роль краткой, поскольку инструкции каждого шага загружаются только тогда, когда диалог доходит до соответствующего этапа.
Стоимость в кредитах в зависимости от размера контекста
Размер контекста по умолчанию составляет 8 000 токенов. Его увеличение кратно умножает расход message credits на каждый ответ:
- 8 000 токенов - 1x кредитов на сообщения (по умолчанию)
- 16 000 токенов - 2x кредита на сообщение
- 32 000 токенов - 4x кредита на сообщение
Этот множитель суммируется со стоимостью кредитов выбранной модели ИИ - увеличенный контекст делает каждый ответ данной модели пропорционально дороже.