随着人工智能技术的发展，最新的大规模语言模型（LLM）可在从云到边缘的所有环境中运行，对于最大限度地发挥人工智能的潜力和机遇至关重要。
然而，它们所面临的挑战是计算资源和能源密集型。

为解决这一问题，Meta 发布了最新版的开源 LLM（Llama 3.2），提高了效率，可快速为用户提供前所未有的快速人工智能体验。
在 Arm CPU 上运行最新的 LLM，提示处理速度提高了 5 倍，令牌生成速度提高了 3 倍，在生成阶段达到了 19.92 令牌/秒。
尤其是在处理设备上的人工智能工作负载时，延迟得到了改善，从而实现了更高效的人工智能处理。在边缘扩大人工智能处理规模还能减少数据往返云端所产生的功耗，从而降低能耗和成本。

Arm CPU 的人工智能性能已大幅提升，预计未来将有超过 1000 亿台基于 Arm 的设备支持人工智能。这将使人工智能在日常生活和业务中发挥更大的作用。
了解更多有关 Arm 和 Meta 联合开发的最新版开放源代码的信息，以及快速加速的人工智能技术，特别是 “Kleidi “和 “PyTorch “等工具如何促进人工智能性能的提高。感兴趣的内容