Token
L'unité de base que traite un LLM — environ 3/4 d'un mot en français. Les limites en tokens déterminent la longueur maximale d'une conversation.
Un token est la plus petite unité de texte que traite un modèle d'IA. Ce n'est ni un mot, ni un caractère — c'est un fragment intermédiaire. En français, un mot courant fait 1 à 2 tokens. Un mot long ou technique peut en faire 3 ou plus.
Pourquoi c'est important ?
Chaque modèle a une fenêtre de contexte mesurée en tokens. Par exemple, 128 000 tokens ≈ un livre de 200 pages. Cette fenêtre inclut votre prompt ET la réponse. Si vous dépassez la limite, le modèle "oublie" le début de la conversation.
Ordres de grandeur
| Texte | Tokens (environ) | |-------|------------------| | 1 phrase | 15-25 | | 1 page A4 | 300-400 | | 1 article de newsletter | 800-1 500 | | 1 livre | 80 000-120 000 |
En pratique
Quand un outil d'IA vous dit "contexte maximum atteint", c'est que vous avez épuisé votre budget de tokens. Solution : résumez le contexte précédent ou démarrez une nouvelle conversation.