迄今为止，利用人工智能最大限度地提高云和边缘设备的性能需要专业的工程设计和大量的资源。
在此背景下，Arm 宣布将 Arm Kleidi 技术与 PyTorch 和 ExecuTorch 集成，使下一代应用能够在 Arm CPU 上运行大规模语言模型 (LLM)。
这将人工智能性能的优势从边缘扩展到了云端，从而能够创建能够在 Arm CPU 上运行大规模语言模型的下一代应用程序。

开发人员将能够在整个堆栈中采用最新的生成式人工智能模型，并立即利用显著提高的推理性能。
与云服务提供商和 ML ISV 社区领先公司的合作也将为人工智能开发人员提供更多支持。
已经确认的成果包括在主线 PyTorch 中首次使用实时聊天响应，Arm 的示范聊天机器人在 AWS Graviton 处理器上运行，采用了 Meta Llama 3 大规模语言模型。

在这个例子中，在将 Kleidi 技术集成到开源 PyTorch 代码库后，用 AWS Graviton4 测得的第一个标记的时间快了 2.5 倍。
报告详细介绍了旨在最大限度提高云端和边缘设备人工智能性能的新技术，以及这些技术的实际应用情况。