Con l’evoluzione della tecnologia AI, i più recenti modelli linguistici su larga scala (LLM) funzionano in tutti gli ambienti, dal cloud all’edge, e sono essenziali per massimizzare il potenziale e le opportunità dell’AI.
Tuttavia, la sfida è rappresentata dal fatto che sono ad alta intensità di risorse computazionali ed energetiche.

Per risolvere questo problema, Meta ha rilasciato l’ultima versione del suo LLM open source (Llama 3.2) con una maggiore efficienza per fornire rapidamente agli utenti un’esperienza di IA senza precedenti.
Eseguendo l’ultima versione di LLM su una CPU Arm, Meta ha ottenuto un miglioramento di 5 volte nell’elaborazione dei prompt e di 3 volte nella generazione dei token, raggiungendo 19,92 token/secondo nella fase di generazione.
Sono stati riscontrati miglioramenti della latenza, in particolare durante l’elaborazione dei carichi di lavoro AI sui dispositivi, consentendo un’elaborazione AI più efficiente. L’aumento dell’elaborazione dell’intelligenza artificiale nell’edge riduce anche l’energia e i costi, riducendo il consumo energetico dovuto ai dati che viaggiano da e verso il cloud.

Le prestazioni dell’intelligenza artificiale sulle CPU Arm sono migliorate notevolmente e si prevede che in futuro oltre 100 miliardi di dispositivi basati su Arm saranno abilitati all’intelligenza artificiale. Si prevede che l’IA sarà sempre più utilizzata nella vita quotidiana e nelle aziende.
Per saperne di più sull’ultima versione dell’open source sviluppato congiuntamente da Arm e Meta e su come le tecnologie di IA in rapida accelerazione, in particolare strumenti come “Kleidi” e “PyTorch”, abbiano contribuito a migliorare le prestazioni dell’IA. Di interesse.