Con l’evoluzione della tecnologia AI, gli LLM, i più recenti modelli linguistici su larga scala, funzionano in tutti gli ambienti, dal cloud all’edge, e sono indispensabili per massimizzare il potenziale e le opportunità dell’AI.
La sfida, tuttavia, è che richiedono enormi risorse di calcolo ed energia.
Eliminare le sfide del carico computazionale e del consumo energetico! La prossima generazione di LLM open source è ora disponibile.

Per affrontare questo problema, Meta ha rilasciato l’ultima versione del suo LLM open source (Llama 3.2) con una maggiore efficienza, per offrire rapidamente agli utenti un’esperienza di AI veloce senza precedenti.
Eseguendo l’ultimo LLM su una CPU Arm, l’elaborazione dei prompt è stata migliorata di un fattore 5 e la generazione di token di un fattore 3, raggiungendo 19,92 token al secondo nella fase di generazione.

In particolare, si è registrato un miglioramento della latenza durante l’elaborazione dei carichi di lavoro AI sui dispositivi, consentendo un’elaborazione AI più efficiente.
La scalata dell’elaborazione dell’IA sull’edge riduce anche l’energia e i costi, riducendo il consumo energetico dovuto ai dati che viaggiano da e verso il cloud.

Le prestazioni dell’AI sulle CPU Arm sono migliorate notevolmente, e si prevede che in futuro oltre 100 miliardi di dispositivi basati su Arm saranno abilitati all’AI.
Si prevede che questo renderà l’AI ancora più utile nella vita quotidiana e negli affari.

Dettagli sull’ultima versione dell’open source sviluppato congiuntamente da Arm e Meta, e su come le tecnologie AI in rapida accelerazione, in particolare strumenti come ‘Kleidi’ e ‘PyTorch’, hanno migliorato le prestazioni AI.
Questa sezione spiega come hanno contribuito alle prestazioni dell’AI.
Le aziende che desiderano utilizzare l’ultima versione di LLM per Arm per accelerare ed estendere l’inferenza dell’AI sono invitate ad acquistare il rapporto.