OpenVINO™ 模型服务器¶
模型服务器可托管模型，方便软件组件通过标准网络协议访问模型：客户端向模型服务器发送请求，服务器进行模型推理后将响应发送回客户端。模型服务器优点很多，可以实现模型的高效部署：
远程推理支持使用轻量级客户端，仅包含进行 API 边缘调用或云部署所必需的功能。
应用独立于模型框架、硬件设备和基础设施。
使用支持 REST 或 gRPC 调用的任何编程语言开发的客户端应用都可用于在模型服务器上进行远程推理。
由于客户端库极少发生更改，因此客户端需要的更新也较少。
模型拓扑和权重不会直接向客户端应用公开，因而更容易控制对模型的访问。
云环境中基于微服务的应用和部署的理想架构 — 包括 Kubernetes 和 OpenShift 集群。
通过横向和纵向推理扩展，实现资源的高效利用。
使用 OpenVINO 模型服务器提供服务¶
OpenVINO™ 模型服务器 (OVMS) 是一个服务模型的高性能系统。该模型服务器使用 C++ 实现，以实现可扩展性，并针对在英特尔® 架构上部署进行了优化。它使用与 TensorFlow Serving 和 KServe 相同的架构和 API，同时应用 OpenVINO 来进行推理。推理服务通过 gRPC 或 REST API 提供，因此可以轻松部署新算法和 AI 实验。
服务器所用的模型需要存储在本地或由对象存储服务远程托管。欲了解更多详细信息，请参阅 准备模型存储库 文档。模型服务器在 Docker 容器, 裸机 和 Kubernetes 环境 中适用。 首先通过 快速入门指南 中的一个快速服务示例开始使用 OpenVINO 模型服务器，或者探索 模型服务器功能 。