推理加速卡高频名词辞典：一文读懂核心术语

推理加速卡是AI落地的关键硬件，但与之相关的名词层出不穷。本文以名词小词典形式，逐一解释高频术语。

核心概念术语

推理

推理是AI模型完成训练后，对输入数据进行预测或分类的过程。与训练阶段需要大量并行计算不同，推理更注重低延迟和高吞吐量——比如在在线服务中，用户按下发送键到收到回复的时间必须控制在毫秒级。2026年，随着大模型应用普及，推理任务对硬件的要求已从单纯算力转向能效比和实时性。

加速卡

加速卡是专门为特定计算任务设计的硬件板卡，通常通过PCIe接口连接到服务器。推理加速卡的核心使命是高效运行已训练好的神经网络，而非训练新模型。其设计往往针对矩阵乘法、卷积等算子做了深度优化，比如集成专用乘法器阵列。

边缘推理

边缘推理指在靠近数据源头的设备（如摄像头、网关、手机）上执行推理，而非将数据上传到云端。其优势是低延迟、节省带宽、保护隐私。推理加速卡在边缘部署时，通常需要更小的功耗和尺寸，例如采用低功耗ASIC或FPGA方案。

硬件架构术语

Tensor Core

Tensor Core是GPU中专门用于张量运算（如矩阵乘加）的执行单元。它能在单个时钟周期内完成较大规模的矩阵运算，显著提升神经网络推理速度。相比传统CUDA核心，Tensor Core在特定精度（如FP16、INT8）下效率更高，是当前推理加速卡的核心组件之一。

NPU

NPU（神经网络处理器）是专门为神经网络推理设计的处理器，通常集成在SoC中或作为独立芯片。它通过大量PE（处理单元）和片上内存构成数据流架构，减少数据搬运开销。在2026年的旗舰手机和边缘设备中，NPU已普遍用于实时语音识别、图像增强等任务。

ASIC

ASIC（专用集成电路）是为固定算法或应用定制的芯片，在推理加速领域常见于比特币矿机、TPU等。其优势是能效比极高——同样的功耗下，ASIC的推理吞吐量可以是GPU的数倍。但缺点是灵活性差，一旦算法变更，芯片可能过时。

存算一体

存算一体技术将存储单元和计算单元在物理上融合，直接在存储器内完成计算，从而突破冯·诺依曼架构的“存储墙”瓶颈。对于推理任务，尤其是权重矩阵的乘加操作，存算一体能大幅降低数据搬运能耗。该技术尚处于早期阶段，但被视为未来推理加速卡的重要演进方向。

性能与指标术语

TOPS

TOPS（Tera Operations Per Second，万亿次操作每秒）是衡量推理加速卡算力的常用单位，特指定点运算（如INT8）的峰值吞吐量。例如，一款加速卡标称100 TOPS，意味着每秒可执行100万亿次整数运算。需要注意的是，TOPS只是理论上限，实际性能还会受内存带宽、算子支持度等因素影响。

延迟

延迟指从输入数据到达加速卡到输出结果返回的总耗时，单位常为毫秒。对于实时推理场景（如自动驾驶、在线翻译），延迟必须低于50毫秒甚至10毫秒。延迟受模型复杂度、硬件流水线深度、系统调度等多因素影响，是选择推理加速卡的关键指标。

内存带宽

内存带宽决定加速卡每秒能从显存读取或写入多少数据，单位GB/s。推理过程中，权重和中间特征图的反复读写极其依赖带宽。带宽不足会形成“内存墙”，导致计算单元空闲。2026年，高带宽内存（HBM）已成为推理加速卡标配，带宽普遍超过1 TB/s。

INT8/FP16精度

推理加速卡常支持混合精度计算，其中INT8和FP16是最常用的推理精度。INT8量化可将模型权重从FP32压缩为8位整数，在几乎不影响准确率的前提下，运算速度提升2-4倍，内存占用减半。FP16则提供更宽动态范围，适用于对精度更敏感的模型。

部署与优化术语

量化

量化是将浮点数模型参数转换为低位宽整数的过程，常见为INT8量化。它通过减小数据表示范围来降低计算和存储开销。量化后模型精度可能轻微下降，但通过校准数据集和量化感知训练可最小化损失。推理加速卡通常内置量化工具，帮助开发者快速部署。

剪枝

剪枝是移除神经网络中冗余连接（权重）或神经元的方法，可减少模型参数量和计算量。结构化剪枝（如通道剪枝）能直接减小矩阵维度，对硬件更友好。剪枝后的模型往往需要微调以恢复精度，但最终推理速度可提升30%-50%。

知识蒸馏

知识蒸馏利用一个大型教师模型指导小型学生模型训练，使学生模型在保持较高校准确率的同时，参数量和计算量大幅下降。蒸馏后的学生模型更易部署在推理加速卡上，尤其适用于资源受限的边缘设备。

批量推理

批量推理指将多个输入样本打包成一批次同时送入加速卡，一次性计算。通过提高批处理大小，可以摊薄固定开销（如驱动调用、内存原子操作），提升单卡吞吐量。但注意延迟会随批次增大而增加，因此在线服务需平衡吞吐和延迟。

动态形状

动态形状指推理时输入尺寸不固定，例如自然语言处理中的变长句子。许多推理加速卡原本为固定形状优化（训练时固定batch），动态形状会降低硬件利用率。2026年，新一代推理加速卡开始引入动态张量编译技术，支持运行时自动调整执行计划。

常见问题