模型优化指南

模型优化是一个可选的离线步骤,通过应用量化、修剪、预处理优化等特殊优化方法来提升模型的最终性能。OpenVINO 在模型开发的不同步骤提供了几个工具来优化模型:

  • 模型优化器对模型进行优化,大多数是默认添加的,但您可以配置均值/标度值、批次大小、RGB 和 BGR 输入通道对比以及其他参数,加快模型的预处理(嵌入式预处理计算)。

  • 训练后优化工具 (POT) 旨在通过应用不需要模型重新训练或微调的训练后方法(如训练后 8 位量化)来优化深度学习模型的推理。

  • 神经网络压缩框架 (NNCF) 提供了一套高级方法,用于在 PyTorch 和 TensorFlow 等深度学习框架内进行训练时间模型优化。它支持量化感知训练和过滤器修剪等方法。经过 NNCF 优化的模型可以利用所有可用工作流程使用 OpenVINO 进行推理。

详细工作流程:

_images/DEVELOPMENT_FLOW_V3_crunch.svg

要了解您需要哪个开发优化工具,请参阅下图:

训练后方法可实现的精度有限,对于难度较大的用例,精度可能会降低。在这种情况下,可以选择使用 NNCF 进行训练时间优化。

使用上述工具优化模型之后,就可以通过常规 OpenVINO 推理工作流程使用该模型进行推理。不需要更改代码。

_images/WHAT_TO_USE.svg

如果您不熟悉模型优化方法,我们建议从训练后方法开始。

另请参阅