Термин глоссария
Токен (token)
Токен — это кусочек текста, которым ИИ измеряет объём: примерно слово или часть слова. В токенах считают, сколько помещается в контекст и сколько стоит запрос. Грубо: чем больше текста — тем больше токенов.
Знать про токены полезно по двум причинам. Во-первых, у контекста есть предел в токенах — когда он заполняется, старое «выпадает». Во-вторых, оплата по API считается за токены: и за то, что вы отправили, и за то, что модель ответила.
Подробно в статьях
Связанные термины
- Контекст (контекстное окно)Контекст — это то, что ИИ-помощник держит «в голове» прямо сейчас: ваш вопрос, открытые файлы, ход беседы. Объём этой «головы» ограничен — что в неё не поместилось, того помощник в этот момент как будто не знает.
- LLM (большая языковая модель)LLM (large language model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста и умеющая понимать запрос и продолжать его осмысленным ответом. На LLM работают и чат-боты, и ИИ-помощники вроде Claude Code.
- Инференс (работа модели)Инференс — это сам момент, когда обученная модель работает: получает ваш запрос и выдаёт ответ. Грубо говоря, это «модель думает прямо сейчас». За инференс по API и берут плату — по числу токенов.