使用 OpenVINO™ 运行时进行推理

简介

OpenVINO™ 运行时是一组包含 C 和 Python 绑定的 C++ 库,提供通用 API,以在您选择的平台上提供推理解决方案。使用 OpenVINO™ 运行时 API 读取中间表示 (IR)、ONNX 或 PaddlePaddle 模型并在首选设备上执行。

OpenVINO™ 运行时使用插件架构。它的插件是软件组件,包含用于在特定英特尔® 硬件设备(CPU、GPU、VPU 等)上进行推理的完整实现。每个插件实施统一的 API,并提供针对特定硬件的额外 API,用于配置设备,或在 OpenVINO™ 运行时与底层插件后端之间实现 API 互操作性。

下面的方案展示了部署经过训练的深度学习模型的典型工作流程:

_images/BASIC_FLOW_IE_C.svg