使用部署管理器部署应用

OpenVINO™ 部署管理器是一个 Python 命令行工具，可将模型、OpenVINO IR 文件、应用和相关依赖项组装到适用于您的目标设备的运行时包中，从而创建部署包。该工具在英特尔® 发行版 OpenVINO™ 工具套件的 Linux、Windows 和 macOS 版发行包中提供。安装后位于 <INSTALL_DIR>/tools/deployment_manager 目录中。

本文介绍了如何使用部署管理器创建程序包，然后将程序包部署到目标系统。

必备条件

要使用部署管理器工具，需要满足以下要求：

• 已安装英特尔® 发行版 OpenVINO™ 工具套件。请参阅 安装指南 ，了解针对不同操作系统的相关说明。

• 要在 CPU 以外的目标设备上进行推理，必须预先安装设备驱动程序：

  • 对于 GPU，请参阅 英特尔® 处理器显卡 (GPU) 配置 。

  • 对于 NCS2，请参阅 英特尔® 神经电脑棒 2 部分

  • 对于视觉处理器，请参阅 采用英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 配置 。

  • 对于 GNA，请参阅 英特尔® Gaussian & Neural Accelerator (GNA)

Important

目标系统上的操作系统必须与您创建程序包所用的开发系统相同。例如，如果目标系统是 Ubuntu 18.04，则必须从 Ubuntu 18.04 上安装的 OpenVINO™ 工具套件创建部署包。

Tip

如果应用需要更多依赖项，包括 Microsoft Visual C++ 可再发行程序包，请使用 “–user_data”选项 将其添加到部署档案。请在进行推理前，在目标主机上安装这些依赖项。

使用部署管理器创建部署包

要创建包含 OpenVINO™ 工具套件的推理相关组件的部署包，您可以以交互方式或标准 CLI 方式运行部署管理器工具。

以交互方式运行部署管理器

交互方式提供了用户友好的命令行界面，利用文本提示引导完成整个过程。

要在交互方式下启动部署管理器，请打开新的终端窗口，转至部署管理器工具目录，无参数运行工具指令码：

Linux

cd <INSTALL_DIR>/tools/deployment_manager
./deployment_manager.py

Windows

cd <INSTALL_DIR>\deployment_tools\tools\deployment_manager
.\deployment_manager.py

macOS

cd <INSTALL_DIR>/tools/deployment_manager
./deployment_manager.py

显示目标设备选择对话框：

使用屏幕上提供的选项来完成目标设备选择，然后按 Enter 键打开程序包生成对话框。要中断生成过程并退出程序，请键入 q，然后按 Enter。

接受选择后，将立即显示程序包生成对话框：

上一步选择的目标设备将显示在屏幕上。要返回并更改所选内容，请键入 b，然后按 Enter。使用默认设置，或使用以下选项来配置生成过程：

• o. Change output directory （可选）：输出目录的路径。默认情况下，将其设置为主目录。

• u. Provide (or change) path to folder with user data （可选）：包含推理所需的用户数据（OpenVINO IR、模型、数据集等）文件和子目录的目录路径，将添加到部署档案。默认情况下将设置为 None ，需要单独将用户数据复制到目标系统。

• t. Change archive name （可选）：不带扩展名的部署档案名称。默认情况下设置为 openvino_deployment_package 。

设置全部参数后，请键入 g，然后按 Enter 键，为所选目标设备生成程序包。要中断生成过程并退出程序，请键入 q，然后按 Enter。

指令码成功完成后，将在指定的输出目录中生成部署包。

以标准 CLI 方式运行部署管理器

您还可以在标准 CLI 方式下运行部署管理器工具。在此方式下，请指定目标设备，并指定其他参数作为部署管理器 Python 指令码的命令行参数。此方式便于在自动化管道中集成该工具。

在标准方式下启动部署管理器工具：打开新的终端窗口，转至部署管理器工具目录，然后使用以下语法运行工具命令：

Linux

cd <INSTALL_DIR>/tools/deployment_manager
./deployment_manager.py <--targets> [--output_dir] [--archive_name] [--user_data]

Windows

cd <INSTALL_DIR>\tools\deployment_manager
.\deployment_manager.py <--targets> [--output_dir] [--archive_name] [--user_data]

macOS

cd <INSTALL_DIR>/tools/deployment_manager
./deployment_manager.py <--targets> [--output_dir] [--archive_name] [--user_data]

提供以下选项：

• <--targets> （必需）：要进行推理的目标设备列表。要指定多个目标，请用空格进行分隔，如 --targets cpu gpu vpu 。要获取当前可用目标的列表，请使用 -h 选项运行程序。

• [--output_dir] （可选）：输出目录的路径。默认情况下，将其设置为主目录。

• [--archive_name] （可选）：不带扩展名的部署档案名称。默认情况下设置为 openvino_deployment_package 。

• [--user_data] （可选）：包含推理所需的用户数据（OpenVINO IR、模型、数据集等）文件和子目录的目录路径，将添加到部署档案。默认情况下将设置为 None ，需要单独将用户数据复制到目标系统。

指令码成功完成后，将在指定的输出目录中生成部署包。

在目标系统上部署程序包

在部署管理器成功完成后，将在指定的输出目录中生成 .tar.gz （Linux 或 macOS）或 .zip (Windows) 程序包。

要将 OpenVINO 运行时组件从开发机器部署到目标系统，请执行以下步骤：

1. 使用您的首选方法将生成的档案复制到目标系统。

2. 将档案解压缩到目标系统上的目标目录。如果档案的名称与下面显示的默认名称不同，请将 openvino_deployment_package 替换为指定名称。

   Linux

   tar xf openvino_deployment_package.tar.gz -C <destination_dir>
   

   Windows

   Use the archiver of your choice to unzip the file.
   

   macOS

   tar xf openvino_deployment_package.tar.gz -C <destination_dir>
   

   现在，程序包将解压缩到目标目录。将创建以下文件和子目录：

   • setupvars.sh — a copy of setupvars.sh.

   • runtime — contains the OpenVINO runtime binary files.

   • install_dependencies — a snapshot of the install_dependencies directory from the OpenVINO installation directory.

   • <user_data> — the directory with the user data (OpenVINO IR, model, dataset, etc.) specified while configuring the package.

3. 在目标 Linux 系统上，要在目标英特尔® GPU、英特尔 Movidius™ 视觉处理器或采用英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 上进行推理，请通过运行 install_openvino_dependencies.sh 指令码来安装其他依赖项：

   cd <destination_dir>/openvino/install_dependencies
   sudo -E ./install_openvino_dependencies.sh
   

4. 设置环境变量：

   Linux

   cd <destination_dir>/openvino/
   source ./setupvars.sh
   

   Windows

   cd <destination_dir>\openvino\
   .\setupvars.bat
   

   macOS

   cd <destination_dir>/openvino/
   source ./setupvars.sh
   

现在，您已完成将 OpenVINO 运行时组件部署到目标系统的操作。