推理

推理是将未见过的数据通过已训练的神经网络以获得预测（如类别标签、边界框或分割掩码）的过程。与训练不同，推理仅执行前向传播且权重冻结，使得每个样本的计算量更轻。

性能通过延迟-精度权衡来衡量。以 30 FPS 处理时，每帧需低于 33ms。

• 批量推理：同时处理多个输入以利用 GPU 并行性，提升吞吐量
• 边缘推理：使用 TensorFlow Lite、ONNX Runtime 和 Core ML 等引擎在智能手机或 IoT 设备上运行模型，针对受限硬件优化执行
• 推理优化：量化（FP32 到 INT8）、剪枝（移除冗余权重）和知识蒸馏（压缩大模型）旨在提升速度

通过 WebAssembly 的浏览器端推理实现了无需服务器通信的客户端图像处理，有利于隐私和延迟。