Avec l’évolution de la technologie de l’IA, les derniers modèles de langage à grande échelle (LLM) fonctionnent dans tous les environnements, du nuage à la périphérie, et sont essentiels pour maximiser le potentiel et les opportunités de l’IA.
Ils sont essentiels pour maximiser le potentiel et les opportunités de l’IA. Cependant, le défi réside dans le fait qu’ils sont gourmands en ressources de calcul et en énergie.

Pour résoudre ce problème, Meta a publié la dernière version de son LLM open source (Llama 3.2) avec une efficacité accrue pour fournir rapidement aux utilisateurs une expérience d’IA d’une rapidité sans précédent.
L’exécution de la dernière version du LLM sur un processeur Arm a permis d’améliorer de 5 fois le traitement des requêtes et de 3 fois la génération de jetons, atteignant 19,92 jetons/seconde dans la phase de génération.
Des améliorations de la latence ont été constatées, en particulier lors du traitement des charges de travail d’IA sur les appareils, ce qui permet un traitement plus efficace de l’IA. La mise à l’échelle du traitement de l’IA à la périphérie permet également de réduire l’énergie et les coûts en diminuant la consommation d’énergie due au déplacement des données vers et depuis le nuage.

Les performances de l’IA sur les processeurs Arm se sont considérablement améliorées, et plus de 100 milliards d’appareils basés sur Arm devraient être compatibles avec l’IA à l’avenir. L’IA devrait donc être de plus en plus utilisée dans la vie quotidienne et dans les entreprises.
Découvrez la dernière version de l’open source développée conjointement par Arm et Meta et comment les technologies d’accélération rapide de l’IA, en particulier des outils tels que “Kleidi” et “PyTorch”, ont contribué à l’amélioration des performances de l’IA. Intéressant.