75 % des dirigeants considèrent que l’utilisation de l’IA générative et de l’apprentissage automatique offre un avantage concurrentiel.

Dans le passé, les LLM qui finançaient l’IA générative étaient généralement grands et complexes, et leur infrastructure opérationnelle était inévitablement importante, mais ces dernières années, on a assisté à une augmentation des LLM plus petits et plus efficaces, avec beaucoup moins de paramètres.
Cette maturité des technologies liées à l’IA a conduit à une tendance à l’abandon des environnements d’exécution de l’IA centralisés traditionnels au profit d’une exécution de l’IA plus proche de la périphérie ou à la périphérie elle-même.

La possibilité d’exécuter l’IA sur des PC, des appareils intelligents et l’IdO devrait accroître considérablement l’efficacité énergétique et financière et minimiser le temps de latence pour obtenir des résultats de calcul.
En outre, l’exploitation des charges de travail d’IA conventionnelles à grande échelle manquait d’agilité, et il y avait de nombreuses préoccupations concernant la sécurité des serveurs qui forment l’infrastructure d’exécution opérationnelle pour l’IA et le LLM, ainsi que l’augmentation de la consommation d’énergie des centres de données.

La solution qui a attiré l’attention est une combinaison d’une plateforme informatique et d’unités centrales dédiées qui peuvent gérer des fonctions et des charges de travail d’IA de pointe.
La solution est basée sur l’open source, ce qui signifie qu’elle peut être instantanément adaptée à de nouveaux modèles d’IA grâce à la puissance de la communauté et qu’elle est hautement personnalisable.

Il identifie la réalité actuelle de l’exécution des charges de travail d’IA à la périphérie et les défis auxquels sont confrontés les environnements d’exécution d’IA à grande échelle.
Elle explique également comment ces défis peuvent être résolus par l’IA périphérique et comment les solutions CPU peuvent y contribuer. Si vous envisagez d’utiliser l’IA périphérique, veuillez consulter cette section.