Dans le passé, les LLM qui sous-tendent l’IA générée étaient généralement grands et complexes, et l’échelle de leur infrastructure opérationnelle était inévitable, mais ces dernières années, on a assisté à une augmentation des LLM plus petits et plus efficaces, avec beaucoup moins de paramètres.
Cette maturité des technologies liées à l’IA a conduit à une tendance à l’abandon des environnements d’exécution de l’IA centralisés traditionnels au profit d’une exécution de l’IA plus proche de la périphérie ou à la périphérie elle-même.

La possibilité d’exécuter l’IA sur des PC, des appareils intelligents et l’IdO devrait accroître considérablement l’efficacité énergétique et financière et minimiser le temps de latence pour obtenir des résultats de calcul.
En outre, le fonctionnement traditionnel des grandes charges de travail d’IA manquait d’agilité, et il y avait de nombreuses préoccupations concernant la sécurité des serveurs qui forment l’infrastructure d’exécution opérationnelle pour l’IA et le LLM, ainsi que l’augmentation de la consommation d’énergie des centres de données.

La solution qui a attiré l’attention est une combinaison d’une plateforme informatique et d’unités centrales dédiées qui peuvent gérer des fonctions et des charges de travail d’IA de pointe.
La solution est basée sur l’open source, ce qui signifie qu’elle peut être instantanément adaptée à de nouveaux modèles d’IA grâce à la puissance de la communauté et qu’elle est hautement personnalisable.
Découvrez comment l’exécution de charges de travail d’IA à la périphérie devient une réalité et les défis auxquels sont confrontés les environnements d’exécution d’IA à grande échelle.

Elle explique également comment ces défis peuvent être résolus par l’IA périphérique et comment les solutions CPU peuvent y contribuer. Si vous envisagez d’utiliser l’IA périphérique, veuillez consulter cette section.