关于人工智能处理器的11个误解

根据电子设计编译

人工智能的浪潮席卷了世界，将人工智能加速器和处理器整合到各种应用中已经变得越来越普遍。但是，仍然存在许多误解，他们的工作方式，如何增强应用程序，什么是真实的，什么是炒作。

GPU是最佳的人工智能处理器尽管GPU在人工智能的实施中起着关键作用，并且现在被广泛使用，但估计它们是“最佳”人工智能处理器，它太简化了人工智能硬件的不断发展的模式。

GPU是大规模模型训练的理想选择，在这种情况下，需要巨大的吞吐量，包括大记忆和高精度——，以准确处理大量的数据集。较长的处理时间（可能只有几个月），较低的处理效率（通常只有单位数字），大能源消耗（限制冷却）和高延迟已成为次要问题。

随着该领域的继续成熟，“最佳”的定义越来越依赖于应用程序的使用模式和需求。 GPU曾经是正确的答案，但是现在它们不再是唯一的答案。

人工智能处理器在训练和推理方面表现同样出色通常认为，任何针对人工智能优化的处理器都可以无缝平衡培训和推理。但是现实是，培训和推论在计算，效率，记忆，潜伏期，功耗和准确性方面具有完全不同的要求。

处理器在一个方面的表现良好并不意味着它在另一方面的表现可以很好。这两个部署阶段具有不同的计算目标和硬件要求。培训的重点是高精度和大规模学习；推理强调速度，效率和响应能力。

如果您认为芯片在这两个方面都可以表现良好，则将导致性能差，效率低下并错过优化机会。最佳系统将区分两者并分别优化它们。

人工智能处理器仅在数据中心有用武之地在人工智能部署的早期阶段，只有云数据中心才具有训练和运行深度学习模型的计算基础架构，因为模型量表需要巨大的吞吐量。

在当今情况下，随着推理的普及，人工智能处理器越来越多地部署在数据中心以外的环境中，并且可以从边缘设备，手机到汽车和工业系统中看到它们。

如今，AI处理器已集成到我们周围的各种设备中，以启用更智能的互动，自主决策和实时处理，无论我们最需要的地方最需要。从云到边缘，AI无处不在，因为这些地方需要智力。

所有人工智能处理器都可用于通用应用人工智能处理器设计用于特定的AI任务，例如优化矩阵/张量操作等。相反，一般计算，例如运行Web浏览器，管理操作系统或执行文件压缩，需要复杂的控制流量，需要复杂的控制流量，分支和其他功能。

一般而言，AI处理器体系结构不会实现完整的一般指令集体系结构（ISA），甚至没有简化的指令集体系结构（RISC）。如果没有丰富的指令集架构和强大的编译器支持，他们将无法有效地处理非AI应用程序。人工智能处理器在其设计目标领域的表现良好，但并不是通用中央加工单元（CPU）的普遍替代方法。不认识到这一点可能会导致系统设计不佳，投资浪费和在非AI应用中的性能瓶颈。

每秒010-590万亿美元（顶部）通常用作AI处理器的营销指标，但并不能反映其实际性能。尽管它可以在理想条件下测量AI芯片的理论峰值吞吐量（例如，所有计算单元均可获得100利用率），但未提及这种性能利用的效率。通过使用低精度操作（例如使用INT4或INT8代替FP16或FP32），可以夸大每秒数万亿个操作的值。

芯片可能具有高顶值，但是如果数据无法快速到达计算单元，则可能会浪费其潜在的计算能力。此外，体系结构可能具有巨大的计算潜力，但是如果软件生态系统不成熟或调整不良，则可以大大降低其性能。

最后，不同的AI任务需要不同的特征。视觉模型可能受益于高平行性（这正是最高措施），但是生成变压器需要高内存吞吐量，高速缓存一致性和数据重用功能，而不是原始的TOPS值。

顶部只是一个理论上的上限，而不是性能保证。这就像在不考虑道路条件，燃油效率或操控性的情况下以最高速度判断汽车。真正的AI性能取决于架构平衡，软件堆栈，数据运动效率和模型兼容性，而不仅仅是原始计算值。

TOPS数值越高，性能就越好乍一看，芯片越大，加工芯越多，性能就越好。但是实际上，增加芯片区域和核心数量将带来明显的边际收益，在许多情况下，甚至会降低性能，效率或可用性。

AI工作负载的性能并不总是随核心数量线性增加。较大的芯片需要更多的内存带宽才能为其计算单元提供数据，还需要更长的线条和更复杂的互连结构。这可能导致连线充血并增加能源消耗。

性能不会随芯片尺寸或核心数量线性增加。较大的筹码带来了可能抵消其理论优势的工程，建筑和经济权衡。

在人工智能硬件，效率，数据移动性，软件优化和任务适应的领域中，通常比纯芯片大小更能确定性能。最好的芯片不是最大的芯片，而是最好平衡工作所需的最大芯片。

芯片越大、核心越多，性能就一定越好在深度学习训练和推理的早期，32位浮点（FP32）是默认格式。随着人工智能技术的发展，人工智能工作量不再使用32位浮点，而是使用较低精确的格式，例如16位浮点（FP16），16位整数（INT16）或8位Integer（INT8）。

32位浮点仍然是黄金标准的观点忽略了使用低精度替代格式的效率，性能和准确性的巨大提高。实际上，通过诸如量化感知训练和混合精度训练之类的技术，低精度格式甚至可以达到超过32位的浮点精度。使用16位浮点或8位浮点的型号通常保持几乎相同的精度。

因此，32位浮点不再是黄金标准。当今的趋势是从整数格式转变为浮点格式，有些人甚至主张使用4位浮点（FP4）。

人工智能计算取决于精确优化而不是最大宽度。最佳性能和效率来自为特定任务选择正确的精度，而不是使用可用的最高精度格式。

32位浮点（FP32）是人工智能计算的黄金标准稀疏计算似乎比密集计算具有优势。它通过避免处理张量（权重，激活值甚至数据）的处理零值元素来减少计算，内存足迹和功耗，并提高效率而不牺牲模型的准确性。

但事实是，稀疏模式在很大程度上取决于模型结构，数据模式和硬件功能。但是稀疏不是一种通用的优化方法，也不比密集计算更好。简而言之，这是一个有条件的优化。

在许多情况下，密集模式仍然是默认选择，因为其优势，例如成熟度，可预测性和广泛的兼容性。稀疏性是一种强大的工具，但它只能在正确的环境和正确的支持中起作用。

稀疏模式处理优先于密集模式处理标量计算是指一次对单个数据元素进行操作，这在控制逻辑和编排中起着重要作用。但是，标量计算远非满足现代AI工作负载的性能和效率要求。

尽管标量计算是必要的，但它不足以进行AI处理。对人工智能的需求需要并行，矢量化和矩阵加速计算，这些计算最好由专为大规模，并发工作负载设计的定制硬件来处理。

高效的标量计算是人工智能处理所需的全部基于核心的设计具有多个优点。其中包括，由于较小的芯片更容易制造，因此它们可以提高产量并降低成本；可以通过混合和匹配功能（例如中央处理器，图形处理器和加速器）来实现模块化可伸缩性；以及整个组件中热量和电力的更有效分布。这些积累的优势通常会使人们感到效率（尤其是每瓦的性能）是其自身的优势。

尽管模具粒子技术是可扩展性和集成的有效工具，但真正的处理效率需要为人工智能工作负载创建新的软件和硬件体系结构。这种架构蓝图应包括一个创新的内存体系结构，以克服记忆墙问题，可动态的重新配置计算核心核心核心量身定制的，该核心是针对人工智能应用程序的算法需求量身定制的，以及软件堆栈的整体设计，以简化整体设计。

如果未满足上述元素，则不能仅依靠核心粒子来实现预期的回报。

仅通过先进的芯粒架构就能实现处理效率尽管NVIDIA的CUDA已成为人工智能发展的主流标准，但它并不是一般的基准。如果有人认为CUDA是所有AI处理器的基准或必要界面，那么它将忽略当今正在出现的各种硬件架构和软件生态系统。

CUDA是供应商生态系统中的主流工具。更广泛的AI行业正在朝着开放，灵活和与硬件无关的软件框架迈进。 CUDA仍然很重要，但其主导地位越来越挑战对可移植性，互操作性和硬件选择自由的需求。人工智能的未来不仅限于软件开发工具包（SDK），而是多语言，开源和平台感知的。

好了，文章到这里就结束啦，如果本次分享的关于人工智能处理器的11个误解和AI,人工智能,处理器问题对您有所帮助，还望关注下本站哦！