LLM

Un LLM (Large Language Model, grand modèle de langage) est un réseau de neurones entraîné sur de très grands corpus de texte à prédire la suite d’une séquence. Le modèle génère ainsi du texte : il répond, résume, traduit ou reformule à partir d’une consigne appelée prompt. Les LLM actuels reposent sur l’architecture Transformer, décrite en 2017 par Ashish Vaswani et sept coauteurs.

Comment ça fonctionne

L’architecture Transformer constitue la base technique des LLM. L’article « Attention Is All You Need », présenté à la conférence NIPS 2017, propose un réseau « based solely on an attention mechanism » (arXiv:1706.03762). Le mécanisme d’attention permet au modèle de pondérer chaque élément d’une phrase au regard de tous les autres.

L’entraînement d’un LLM consiste à prédire le token suivant d’un texte. Un token est une unité de texte : un mot, un fragment de mot ou un signe. Le modèle calcule une probabilité pour chaque token possible, en retient un, puis recommence. Un modèle de ce type est dit autorégressif, car chaque token produit sert à prédire le suivant.

Les hallucinations représentent la limite la plus étudiée des LLM. Ziwei Ji et ses coauteurs ont publié en 2023 une revue du sujet dans ACM Computing Surveys. Selon eux, la génération par apprentissage profond tend à « hallucinate unintended text » (doi:10.1145/3571730). Un LLM produit un texte probable, pas un texte vérifié. Toute affirmation se contrôle donc sur une source primaire, en veille comme en OSINT.

Exemple

GPT-3 est l’un des LLM les mieux documentés par ses auteurs. L’article « Language Models are Few-Shot Learners », de Tom B. Brown et trente coauteurs (2020), le décrit comme « an autoregressive language model with 175 billion parameters » (arXiv:2005.14165). Selon cet article, le modèle accomplit une tâche à partir de quelques exemples placés dans la consigne, sans nouvel entraînement.

À ne pas confondre avec

• IA générative : catégorie plus large, qui produit aussi des images, du son ou de la vidéo. Le LLM en constitue la branche textuelle ; les vidéos et voix truquées relèvent du deepfake.
• Chatbot : interface de conversation. ChatGPT est un produit construit sur des LLM, pas le modèle lui-même.
• RAG : technique qui relie un LLM à une base documentaire interrogée à chaque question (voir la fiche RAG). Les moteurs de réponse fondés sur ce principe font l’objet de la Generative Engine Optimization.

Ce que dit le droit

Le règlement (UE) 2024/1689 sur l’intelligence artificielle (AI Act) ne définit pas le LLM. Son article 3, point 63, définit en revanche le « modèle d’IA à usage général ». Un tel modèle présente « une généralité significative » et exécute « un large éventail de tâches distinctes » (EUR-Lex). La qualification d’un LLM donné se fait au regard de ces critères. Selon l’article 113, les obligations des fournisseurs de ces modèles (chapitre V) s’appliquent depuis le 2 août 2025. Le règlement (UE) 2026/1744, dit omnibus numérique sur l’IA, a modifié l’AI Act sans toucher à cette définition. À jour au 27/09/2026.