随着人工智能技术的发展，LLMs（最新的大规模语言模型）可在从云到边缘的所有环境中运行，对于最大限度地发挥人工智能的潜力和机遇不可或缺。
然而，挑战在于它们需要巨大的计算资源和能源。
消除计算负荷和能源消耗的挑战！ 新一代开源 LLM 现已面世。

为解决这一问题，Meta 发布了最新版本的开源 LLM（Llama 3.2），提高了效率，可迅速为用户提供前所未有的快速人工智能体验。
在 Arm CPU 上运行最新的 LLM，提示处理提高了 5 倍，令牌生成提高了 3 倍，在生成阶段实现了每秒 19.92 个令牌。

特别是在处理设备上的人工智能工作负载时，延迟得到了改善，从而使人工智能处理更加高效。
在边缘扩大人工智能处理规模还能减少数据往返云端所产生的功耗，从而降低能耗和成本。

Arm CPU 的人工智能性能已大幅提高，预计未来将有超过 1000 亿台基于 Arm 的设备支持人工智能。
这有望使人工智能在日常生活和业务中发挥更大的作用。

详细介绍 Arm 和 Meta 联合开发的最新版开放源代码，以及快速加速的人工智能技术，特别是 “Kleidi “和 “PyTorch “等工具如何提高人工智能性能。
本节将解释它们如何促进人工智能性能的提升。
我们鼓励希望利用最新版 LLM for Arm 来加速和扩展人工智能推理的公司购买本报告。