Comment fonctionne une LLM ? La magie derrière Claude et ChatGPT

Le pipeline d'une LLM expliqué simplement

Quand vous écrivez une question à Claude, voici ce qui se passe en coulisses :

Votre texte → Tokenization → Encoding → Transformers (attention) → Décodage → Réponse générée

Décortiquons chaque étape.

Étape 1 : Tokenization (Découpe du texte)

Une LLM ne comprend pas le texte comme vous. Elle le coupe d'abord en petits morceaux appelés tokens — généralement des mots ou des parties de mots.

Exemple :

• Texte : "Bonjour comment ça va ?"
• Tokens : ["Bon", "jour", " comment", " ça", " va", " ?"]

Pourquoi ? Parce que c'est plus facile pour la machine de traiter des chunks standards.

Fait intéressant : 1000 mots français ≈ 1300-1500 tokens. C'est pourquoi les limites de contexte sont exprimées en tokens, pas en mots.

Étape 2 : Vectorization (Transformer en nombres)

Chaque token est converti en un vecteur — une liste de centaines de nombres représentant le "sens" du mot dans le contexte global.

Imaginez une machine avec des cadrans :

• Un cadran mesure "si c'est un verbe"
• Un autre mesure "si c'est positif ou négatif"
• Beaucoup d'autres mesurent des sens subtils...

Ces représentations numériques permettent à la machine de "comprendre" les relations entre les mots.

Étape 3 : Les Transformers et l'Attention (Le cœur)

Les Transformers sont l'architecture révolutionnaire découverte en 2017. Le concept clé s'appelle attention.

Qu'est-ce que l'attention ?

Imaginez lire une phrase :

"La banque était fermée car le directeur était malade."

Pour comprendre "elle" dans "Elle était malade", votre cerveau se concentre (attend) sur les mots pertinents ("directeur") plutôt que sur tous les mots.

L'attention fonctionne exactement ainsi ! À chaque étape, le modèle calcule quels tokens sont les plus pertinents pour prédire le token suivant, puis les "regarde" attentivement.

Couches de Transformers

Une LLM moderne a 200-400 couches de transformers empilées. Chaque couche affine un peu plus la compréhension :

• Couche 1 : "Ces tokens vont ensemble"
• Couche 50 : "C'est une structure de phrase passive"
• Couche 200 : "Le contexte parle d'informatique, pas de biologie"
• Couche 400 : "La prochaine réponse doit être concise et technique"

Étape 4 : La prédiction et la génération

Après avoir traité tout votre texte, le modèle calcule une probabilité pour chaque token possible en réponse.

Exemple :

"Bonjour, je m'appelle..."
↓
Prédictions :
- "Claude" : 65%
- "Jean" : 12%
- "l'IA" : 8%
- [autres] : 15%

Le modèle choisit "Claude" (le plus probable) puis répète le processus pour le token suivant.

Important : C'est pourquoi l'IA peut produire des réponses différentes même à la même question — il y a une part de probabilité à chaque étape.

Les hyperparamètres de génération

Vous pouvez contrôler comment le modèle génère :

Paramètre	Effet
Temperature	0 = toujours le choix le plus probable (déterministe) → 1.0 = plus créatif
Top-k	Ne considère que les k tokens les plus probables
Max tokens	Limite la longueur de la réponse
Stop sequences	Arrête la génération si certains mots sont atteints

Combien ça coûte en ressources ?

À l'entraînement :

• Claude 3.5 : ~$1 million d'électricité (plusieurs mois sur milliers de GPUs)
• C'est pourquoi les modèles puissants sont rares — très coûteux à créer

À l'inférence (quand vous l'utilisez) :

• Quelques millisecondes et quelques milliwatts par requête
• Très efficace une fois le modèle entraîné

Limitations intrinsèques d'une LLM

Comprendre l'architecture révèle les limites :

1. Pas de vrai raisonnement : Le modèle suit des motifs statistiques, il ne "pense" pas vraiment
2. Hallucinations : Parfois, la prédiction probabiliste produit des mensonges convaincants
3. Pas d'accès aux données réelles : Les connaissances s'arrêtent à la date d'entraînement
4. Pas de long-terme : Le contexte a une limite (mais elle augmente : Claude 3.5 a 200k tokens)
5. Pas de vrai apprentissage rapide : Chaque conversation est indépendante (pas de mémoire persistante)

Les futures améliorations

Les chercheurs travaillent sur :

• RAG (Retrieval-Augmented Generation) : Donner au modèle accès à des documents externes
• Tool use : Laisser l'IA appeler des APIs, exécuter du code, chercher des données
• Agents : Boucles de raisonnement + action autonome (sujet du Bloc 4)
• Multimodal : Pas juste du texte, mais images, audio, vidéo
• Fine-tuning : Adapter le modèle à votre domaine spécifique

Checklist pour ce chapitre

• ✅ Je comprends que tokenization découpe le texte en morceaux
• ✅ Je sais que l'attention est le mécanisme clé (choisir quoi regarder)
• ✅ Je peux expliquer que les prédictions sont probabilistes, d'où la variation
• ✅ Je connais une limitation majeure des LLMs (hallucinations, pas d'accès réel-time, etc.)

À lire ensuite

→ Prochain chapitre : L'IA vs autres technologies : Quand l'utiliser, quand pas