Jusqu’à présent, l’optimisation des performances des dispositifs cloud et edge avec l’IA nécessitait une ingénierie spécialisée et de vastes ressources.
Dans ce contexte, Arm a annoncé l’intégration de la technologie Arm Kleidi avec PyTorch et ExecuTorch, permettant aux applications de nouvelle génération d’exécuter des modèles de langage à grande échelle (LLM) sur les processeurs Arm.
Cela permet d’étendre les avantages de la performance de l’IA de la périphérie au nuage, permettant la création d’applications de nouvelle génération capables d’exécuter des modèles de langage à grande échelle sur les processeurs Arm.

Les développeurs pourront adopter les derniers modèles d’IA générative dans l’ensemble de la pile et utiliser immédiatement les performances d’inférence considérablement améliorées.
La collaboration avec les fournisseurs de services en nuage et les principales entreprises de la communauté ML ISV apportera également un soutien supplémentaire aux développeurs d’IA.
Parmi les résultats déjà confirmés, citons la première réponse en temps réel à un chat en PyTorch avec le chatbot de démonstration d’Arm fonctionnant sur un processeur AWS Graviton et utilisant le modèle de langage à grande échelle Meta Llama 3.

Dans cet exemple, le temps de réponse au premier jeton était 2,5 fois plus rapide, tel que mesuré par AWS Graviton4, après l’intégration de la technologie Kleidi dans la base de code open source PyTorch.
Le rapport détaille les nouvelles technologies visant à maximiser les performances de l’IA dans le nuage et sur les appareils périphériques, ainsi que la manière dont ces technologies sont utilisées sur le terrain.