Avec l’évolution de la technologie de l’IA, les modèles linguistiques à grande échelle les plus récents fonctionnent dans tous les environnements, du nuage à la périphérie, et sont indispensables pour maximiser le potentiel et les possibilités de l’IA.
Ils sont indispensables pour maximiser le potentiel et les opportunités de l’IA. Le défi, cependant, est qu’ils nécessitent d’énormes ressources informatiques et de l’énergie.
Éliminez les défis de la charge de calcul et de la consommation d’énergie ! La nouvelle génération de LLM open source est désormais disponible.

Pour résoudre ce problème, Meta a publié la dernière version de son LLM open source (Llama 3.2) avec une efficacité accrue pour fournir rapidement aux utilisateurs une expérience d’IA rapide sans précédent.
En exécutant la dernière version du LLM sur un processeur Arm, le traitement des requêtes a été amélioré d’un facteur 5 et la génération de jetons d’un facteur 3, atteignant 19,92 jetons par seconde dans la phase de génération.

En particulier, il y a eu une amélioration de la latence lors du traitement des charges de travail d’IA sur les appareils, ce qui permet au traitement de l’IA d’être plus efficace.
L’augmentation du traitement de l’IA à la périphérie réduit également l’énergie et les coûts en diminuant la consommation d’énergie due au déplacement des données vers et depuis le nuage.

Les performances de l’IA sur les processeurs Arm se sont considérablement améliorées, et plus de 100 milliards d’appareils basés sur Arm devraient être compatibles avec l’IA à l’avenir.
Cela devrait rendre l’IA encore plus utile dans la vie quotidienne et dans le monde des affaires.

Détails de la dernière version de l’open source développée conjointement par Arm et Meta, et comment les technologies d’accélération rapide de l’IA, en particulier les outils tels que “Kleidi” et “PyTorch”, ont amélioré les performances de l’IA.
Cette section explique comment ils ont contribué aux performances de l’IA.
Les entreprises qui souhaitent utiliser la dernière version de LLM pour Arm afin d’accélérer et d’étendre l’inférence de l’IA sont invitées à acheter le rapport.