Tendances du marché de l’IA et coûts d’évaluation
Ce rapport explore les tendances actuelles du marché de l’IA, mettant en évidence la croissance rapide des utilisateurs et des investissements, tout en soulignant l’augmentation des coûts d’évaluation des modèles de raisonnement. Il présente également les avancées dans la génération de vidéo, notamment le modèle STORM qui réduit le nombre de tokens nécessaires pour une meilleure efficacité.
Points clés
- Les utilisateurs de ChatGPT ont atteint 1 million en 5 jours et 800 millions depuis.
- Les dépenses d’investissement des six plus grandes entreprises technologiques (principalement axées sur l’IA) ont augmenté de 63 % pour atteindre 212 milliards de dollars entre 2023 et 2024.
- Les ensembles de données d’entraînement augmentent de 260 % par an, la puissance de traitement dédiée à l’entraînement de 360 % par an et la puissance de traitement effective de 200 % par an.
- Artificial Analysis a dépensé environ 5 200 $ pour tester 12 modèles de raisonnement contre environ 2 400 $ pour tester plus de 80 modèles sans raisonnement.
- L’évaluation de GPT-4o a coûté 109 $, tandis que Claude 3.5 Sonnet a coûté 81 $.
- STORM a obtenu une précision de 70,6 % sur MVBench, dépassant GPT-4o (64,6 %) et Qwen2-VL (67,0 %).
- Sur MLVU, STORM a atteint une précision de 72,9 %, dépassant GPT-4o (66,2 %).
- STORM traite 1/8e du nombre de tokens vidéo et utilise 1/8e de la puissance de calcul pour les traiter, ce qui le rend plus de 3 fois plus rapide que le système de base.
À retenir
Alors, si vous pensiez que l’IA allait rendre tout moins cher et plus simple, détrompez-vous ! Les coûts d’évaluation montent en flèche, et apparemment, il faut dépenser des fortunes juste pour savoir si un modèle est un peu plus intelligent qu’un autre. Mais bon, au moins, la génération de vidéo s’améliore et devient plus rapide. Peut-être qu’un jour, on pourra générer des vidéos de nous en train de gagner au loto pour compenser les coûts de benchmarking ? Qui sait !
Sources
