Rag ou Cag : quelle stratégie choisir ?
Les grands modèles linguistiques (LLM) ont des lacunes cognitives car ils ne peuvent pas se souvenir d’informations qui ne figuraient pas dans leur ensemble de données d’apprentissage. Pour résoudre ce problème, il existe des techniques de génération augmentée, telles que la génération augmentée de récupération (RAG) et la génération augmentée de cache (CAG). Le RAG interroge une base de connaissances externe, tandis que le CAG précharge l’ensemble de la base de connaissances dans la fenêtre contextuelle du modèle.
Points clés
- Le RAG est un système en deux phases avec une phase hors ligne pour l’ingestion et l’indexation des connaissances, et une phase en ligne pour la récupération et la génération à la demande.
- Le RAG utilise un modèle d’intégration pour créer des intégrations et les stocker dans une base de données vectorielle, créant ainsi un index consultable des connaissances.
- Le CAG précharge toutes les connaissances dans la fenêtre contextuelle du modèle, qui peut contenir des dizaines, voire des centaines de milliers de jetons.
- Le CAG traite cette quantité massive d’informations en une seule passe avant et capture et stocke l’état interne du modèle, appelé cache KV (clé-valeur).
- Le RAG est plus précis si le moteur de recherche récupère des documents pertinents, tandis que le CAG confie au modèle le soin d’extraire les informations pertinentes d’un contexte plus large.
- Le RAG a une latence plus élevée en raison de l’étape de récupération supplémentaire, tandis que le CAG a une latence plus faible une fois les connaissances mises en cache.
- Le RAG peut s’adapter à des ensembles de données très volumineux, tandis que le CAG est limité par la taille de la fenêtre contextuelle du modèle.
- Le RAG peut facilement mettre à jour l’index lorsque les connaissances changent, tandis que le CAG nécessite un re-calcul lorsque des modifications sont apportées.
À retenir
Alors, RAG ou CAG ? Si vous avez une montagne de données et que vous aimez les mises à jour fréquentes, optez pour RAG. Si votre base de connaissances est plus petite qu’un tweet et que la vitesse est essentielle, CAG est votre ami. Ou, soyez audacieux et combinez les deux pour une approche hybride ! Après tout, pourquoi choisir quand on peut avoir le beurre et l’argent du beurre, n’est-ce pas ?
Sources
Quiz sur la vidéo: 5 questions
