训练后优化工具

简介

训练后优化工具 (POT) 旨在通过应用无需模型重新训练或微调(如训练后量化)的特殊方法来加速深度学习模型的推理。因此,该工具不需要训练数据集或管道。要应用来自 POT 的训练后算法,您需要:

  • 浮点精度模型 FP32 或 FP16,转换为 OpenVINO™ 中间表示 (IR) 格式并使用 OpenVINO™ 在 CPU 上运行。
  • 一个代表用例场景的代表性校准数据集,例如 300 张图像。

训练后优化工具提供以下主要功能:

  • 两种训练后 8 位量化算法:快速 DefaultQuantization 和精确 AccuracyAwareQuantization
  • 针对不同硬件目标(例如 CPU 和 GPU)的压缩。
  • 多个领域:计算机视觉、自然语言处理、推荐系统、语音识别。
  • API,有助于在使用 OpenVINO Python* API 编写的自定义推理脚本中应用优化方法。
  • 对称和非对称量化方案。有关详情,请参阅量化部分。
  • 卷积层和全连接层的每通道量化。
  • 使用树结构 Parzen 估计器,对训练后量化参数进行全局优化。

该工具旨在完全自动执行模型转换过程,而无需在用户端更改模型。POT 仅在英特尔® 发行版 OpenVINO™ 工具套件中可用,并且未开源。有关 OpenVINO™ 中的低精度流程的详细信息,请参阅低精度优化指南

对于使用 POT 工具优化的模型所收集的基准测试结果,请参阅特定网络和平台上的 INT8 与 FP32 比较

进一步的文档假设您熟悉基本的深度学习概念,例如模型推理、数据集准备、模型优化,以及熟悉 OpenVINO™ 工具套件及其组件,例如模型优化器精度检查器工具

使用 POT

POT 提供了三种基本的使用场景:

:POT 也支持所谓简化模式下的优化(参阅配置文件描述),这基本上是

POT Python API 的本地实施,旨在使用简单预处理和推理流程对计算机视觉进行量化。但是,由于模型预处理的差异,使用此模式可能会导致优化后的模型不准确。

要开始使用 POT,按照安装指南操作。

另请参阅