Que sont les tokens en IA ? Comprendre la tarification des LLM

Points clés à retenir

• Les tokens sont les petits fragments de texte qu’un modèle d’IA traite, pas nécessairement des mots entiers.
• De nombreuses API d’IA facturent séparément les tokens d’entrée et de sortie : des requêtes et des réponses plus longues peuvent donc augmenter les coûts.
• Vous pouvez maîtriser vos dépenses en choisissant des modèles adaptés, en supprimant le contexte inutile et en vérifiant votre utilisation réelle.

Les tokens sont les unités qu’un grand modèle de langage (LLM) utilise pour traiter du texte : il peut s’agir de mots, de parties de mots, de signes de ponctuation ou d’espaces. Ils influent sur le coût, car de nombreux services d’IA facturent selon le nombre de tokens que le modèle reçoit et génère. Les offres de chatbots grand public peuvent toutefois reposer sur des abonnements ou des quotas d’utilisation.

Fonctionnement

Du texte aux tokens

Avant qu’un LLM ne traite votre message, un composant appelé tokeniseur le découpe en unités plus petites. Chaque token devient un identifiant numérique que le modèle peut traiter.

Un mot courant peut tenir dans un seul token. Un mot plus long ou moins courant peut être découpé en plusieurs tokens. La ponctuation, les nombres, le code et les espaces influent également sur le résultat.

Pour un texte en anglais, on estime généralement qu’un token représente environ quatre caractères, soit à peu près trois quarts de mot. Ainsi, 1 000 tokens correspondent à environ 750 mots, mais ce n’est qu’une estimation.

Le nombre exact dépend du tokeniseur et du contenu. Selon la langue, un même sens peut produire des nombres de tokens très différents : le nombre de mots seul n’est donc pas une mesure fiable pour la facturation.

Tokens d’entrée et tokens de sortie

La plupart des tarifications fondées sur les tokens distinguent deux catégories :

• Tokens d’entrée : Tout ce qui est envoyé au modèle, notamment votre message, les instructions de l’application, l’historique pertinent de la conversation et tout texte de référence fourni.
• Tokens de sortie : Le contenu que le modèle génère en réponse.

Les tokens de sortie sont souvent facturés à un tarif supérieur à celui des tokens d’entrée, mais les tarifs varient selon le modèle et le fournisseur.

Lorsque les tarifs sont indiqués par million de tokens, le calcul de base est le suivant :

Coût = (tokens d’entrée ÷ 1 000 000 × tarif d’entrée) + (tokens de sortie ÷ 1 000 000 × tarif de sortie)

C’est le point de départ, pas toujours la facture complète. Selon le service, les entrées mises en cache peuvent bénéficier d’une tarification différente, les tokens de raisonnement peuvent être comptabilisés dans l’utilisation facturée et des outils tels que la recherche peuvent entraîner des frais distincts.

Pourquoi la longueur d’une conversation compte

Un chatbot ne se souvient pas nécessairement des messages précédents gratuitement. Pour maintenir la continuité, une application peut renvoyer les messages précédents au modèle à chaque nouvelle requête.

À mesure qu’une conversation s’allonge, le volume d’entrée peut lui aussi augmenter, même si votre dernier message se limite à « Peux-tu expliquer cela ? »

Les modèles disposent également d’une fenêtre de contexte : une limite au nombre de tokens qu’ils peuvent traiter dans une seule requête, incluant généralement l’entrée et la sortie générée. Une grande fenêtre de contexte permet de fournir davantage d’informations ; elle ne rend pas leur traitement gratuit.

Exemples concrets

Un court e-mail ou l’analyse d’un document

Imaginez que vous demandiez à une IA de reformuler un court e-mail. Vos instructions et votre e-mail pourraient totaliser 200 tokens d’entrée, avec une réponse de 150 tokens.

Imaginez maintenant que vous lui demandiez d’analyser un long rapport. Cette requête pourrait contenir 20 000 tokens d’entrée et produire un résumé de 1 000 tokens.

Ces chiffres sont donnés à titre d’exemple et ne proviennent pas de mesures effectuées sur un produit. À modèle et règles de facturation identiques, l’analyse du rapport coûte plus cher, car elle traite et génère davantage de tokens. Une réponse finale courte ne signifie pas nécessairement que la requête coûte peu cher si le volume d’entrée est important.

Un chatbot d’assistance client

Une entreprise qui utilise Chatbase pour créer un chatbot à partir du contenu de son site web et de ses documents doit vérifier comment son offre mesure l’utilisation. Le quota présenté au client peut être exprimé en messages ou en crédits plutôt qu’en nombre brut de tokens.

En coulisses, une réponse peut mobiliser des questions de clients, des instructions, l’historique de la conversation et des textes de référence récupérés. Envoyer uniquement les passages pertinents peut réduire la consommation de tokens par rapport à l’envoi d’une base de connaissances entière.

Dans une application plus complexe, un seul message client peut aussi déclencher plusieurs appels au modèle. Le « coût par message » et le « coût par requête au modèle » ne sont donc pas toujours identiques.

Un assistant par abonnement

Si vous utilisez ChatGPT via son interface grand public, vous êtes généralement soumis à des conditions d’accès et à des limites d’utilisation liées à votre offre, plutôt qu’à une facturation distincte des tokens pour chaque réponse.

Cela diffère de l’utilisation d’une API facturée à l’usage. Ne supposez pas qu’un abonnement à un chatbot inclut des crédits d’API, ni que son prix mensuel indique le coût de création de votre propre application.

Avantages et limites

La tarification par token donne aux développeurs une unité mesurable pour estimer l’utilisation. Le suivi des tokens facilite la comparaison des modèles, la prévision des dépenses et l’identification des processus coûteux.

Elle offre aussi des possibilités concrètes d’économiser. Supprimer les instructions en double ou demander une réponse concise peut réduire l’utilisation sans modifier la tâche.

Cependant, les tokens ne mesurent pas la qualité. Une réponse plus courte peut omettre des détails essentiels, tandis qu’un modèle moins cher peut nécessiter de nouvelles tentatives qui annulent les économies initiales.

Le nombre de tokens présente également des limites comme outil de comparaison :

• Les tokeniseurs diffèrent : Un même document peut produire un nombre de tokens différent selon le modèle.
• Davantage de contexte n’est pas toujours préférable : Des éléments non pertinents peuvent augmenter le coût et détourner l’attention de la tâche.
• La facturation multimodale varie : Les images, l’audio et la vidéo peuvent faire l’objet d’un décompte particulier des tokens ou utiliser d’autres unités de facturation.
• L’auto-hébergement a toujours un coût : Éviter une facture d’API au token ne supprime pas les coûts de matériel, d’électricité ou de maintenance.

L’objectif pratique est d’obtenir un résultat utile et fiable au moindre coût, et non simplement d’utiliser le moins de tokens possible.

Comment commencer

1. Identifiez votre mode de facturation. Vérifiez si votre service facture par abonnement, message, crédit, token ou utilisation de l’infrastructure. Confirmez ce qui est inclus avant de comparer les tarifs.

1. Mesurez une tâche représentative. Utilisez le tokeniseur du fournisseur ou les données d’utilisation communiquées par l’API. Testez une requête typique, une requête longue et une conversation avec des échanges de suivi, plutôt que de vous fier uniquement au nombre de mots.

1. Définissez clairement la sortie attendue. Demandez « cinq points clés » ou « un résumé de moins de 200 mots » lorsque cela convient. Les développeurs peuvent également configurer des limites de sortie, mais des limites trop strictes risquent de tronquer les réponses.

1. Fournissez uniquement le contexte pertinent. Supprimez les répétitions et les sections sans rapport avec la tâche. Des frameworks tels que LlamaIndex peuvent aider les développeurs à relier des documents à des applications utilisant des LLM et à récupérer les éléments pertinents plutôt que de tout envoyer.

1. Comparez le coût total des tâches. Tenez compte des nouvelles tentatives, des appels aux outils et de la qualité des réponses. Pour expérimenter en local, Ollama permet d’exécuter des modèles ouverts sur des ordinateurs personnels, mais son adéquation dépend du matériel disponible et du modèle choisi.

1. Surveillez l’utilisation dans la durée. Suivez les tokens et les coûts par tâche accomplie. Configurez des budgets ou des alertes lorsque cette fonction est disponible, et vérifiez s’ils se contentent de vous avertir ou s’ils bloquent réellement les dépenses.

Questions fréquentes

Un token correspond-il à un mot ?

Non. Un token peut être un mot entier, une partie de mot, un signe de ponctuation ou un espace. Les estimations fondées sur le nombre de mots en anglais sont utiles pour une planification approximative, mais utilisez le tokeniseur du modèle ou les données d’utilisation pour obtenir un décompte précis.

Pourquoi une courte question posée à un chatbot coûte-t-elle parfois plus cher ?

Le modèle peut aussi recevoir des instructions de l’application, des messages précédents et des documents de référence. Votre question visible ne représente qu’une partie de l’entrée. Certains processus effectuent également plusieurs appels au modèle avant de renvoyer une seule réponse.

Puis-je réduire le coût des tokens sans diminuer la qualité des réponses ?

Souvent, oui. Supprimez le contexte en double, récupérez uniquement les passages pertinents et précisez la longueur de réponse souhaitée. Testez ensuite les résultats : supprimer des instructions essentielles ou utiliser un modèle inadapté peut entraîner des erreurs et des requêtes supplémentaires.