En el pasado, los LLM subyacentes a la IA generada solían ser grandes y complejos, y la escala de su infraestructura operativa era inevitable, pero en los últimos años se ha producido un aumento de LLM más pequeños y eficientes con muchos menos parámetros.
Esta madurez de las tecnologías relacionadas con la IA ha provocado una tendencia a alejarse de los entornos de ejecución de IA centralizados tradicionales para ejecutar la IA más cerca del borde o en el propio borde.

Se espera que la capacidad de ejecutar IA en PC, dispositivos inteligentes y el IoT aumente drásticamente la eficiencia energética y de costes y minimice la latencia para obtener resultados computacionales.
Además, el funcionamiento tradicional de las grandes cargas de trabajo de IA carecía de agilidad, y existían muchas preocupaciones sobre la seguridad de los servidores que forman la infraestructura de ejecución operativa para la IA y el LLM, así como sobre el aumento del consumo energético de los centros de datos.

La solución que ha llamado la atención es una combinación de plataforma informática y CPU dedicadas que pueden gestionar funciones y cargas de trabajo de IA de vanguardia.
La solución se basa en código abierto, lo que significa que puede adaptarse instantáneamente a nuevos modelos de IA gracias al poder de la comunidad y es altamente personalizable.
Descubra cómo la ejecución de cargas de trabajo de IA en la periferia se está convirtiendo en una realidad y los retos a los que se enfrentan los entornos de ejecución de IA a gran escala.

También explica cómo pueden resolverse estos retos mediante la IA en el borde y cómo pueden contribuir las soluciones de CPU, por lo que si está considerando utilizar IA generada en el borde, consulte esta sección.