Il 75% dei leader ritiene che l’uso dell’AI generativa e dell’apprendimento automatico fornisca un vantaggio competitivo.

In passato, i LLM che finanziavano l’AI generativa erano solitamente grandi e complessi, e la loro infrastruttura operativa era inevitabilmente grande, ma negli ultimi anni c’è stato un aumento di LLM più piccoli e più efficienti, con un numero di parametri molto inferiore.
Questa maturità delle tecnologie legate all’IA ha portato a una tendenza ad abbandonare i tradizionali ambienti di esecuzione dell’IA centralizzati, per passare a un’esecuzione dell’IA più vicina all’edge o all’edge stesso.

Si prevede che la capacità di eseguire l’IA su PC, dispositivi intelligenti e l’IoT aumenterà drasticamente l’efficienza energetica e dei costi e ridurrà al minimo la latenza per ottenere risultati di calcolo.
Inoltre, il funzionamento dei carichi di lavoro AI convenzionali su larga scala mancava di agilità e c’erano molte preoccupazioni sulla sicurezza dei server che formano l’infrastruttura di esecuzione operativa per l’AI e l’LLM, oltre all’aumento del consumo energetico dei centri dati.

La soluzione che ha attirato l’attenzione è una combinazione di piattaforma informatica e CPU dedicate, in grado di gestire funzioni e carichi di lavoro AI all’avanguardia.
La soluzione si basa sull’open source, il che significa che può essere adattata istantaneamente a nuovi modelli di AI grazie al potere della comunità ed è altamente personalizzabile.

Il documento identifica la realtà attuale dell’esecuzione di carichi di lavoro di IA nell’edge e le sfide affrontate dagli ambienti di esecuzione di IA su larga scala.
Spiega anche come queste sfide possono essere risolte dall’AI edge e come le soluzioni della CPU possono contribuire, quindi se sta pensando di utilizzare l’AI generata dall’edge, faccia riferimento a questa sezione.