在英特尔® 架构上构建和安装 TensorFlow Serving

简介

本教程系列的第一篇在英特尔® 架构上构建和安装 TensorFlow*,展示了如何通过 GitHub* 存储库中的可用资源构建和安装在英特尔® 架构上优化的 TensorFlow。本文所提供的信息将介绍如何构建和安装TensorFlow* Serving — 专为生产环境设计的高性能机器学习服务系统。

安装概述

本文所述的安装指南源于 TensorFlow Serving GitHub 网站提供的信息。下文中的步骤仅供大致了解安装流程;由于第三方信息可能随时更改,因此建议您同时查看 TensorFlow Serving 网站提供的信息。

重要提示:下面提供的分步指南假设读者已阅读过教程 在英特尔® 架构上构建和安装 TensorFlow,该教程提供了 Bazel* 构建工具的安装步骤,以及其他本文未介绍的必要相关性。

安装 gRPC*

首先安装 Google Protocol RPC* 存储库 (gRPC*) — 用于实施远程过程调用 (RPC) 服务的框架。

sudo pip install grpcio

安装相关性

接下来,通过以下命令确保已安装其他 TensorFlow Serving 相关性:

sudo apt-get update && sudo apt-get install -y \
build-essential \
curl \
libcurl3-dev \
git \
libfreetype6-dev \
libpng12-dev \
libzmq3-dev \
pkg-config \
python-dev \
python-numpy \
python-pip \
software-properties-common \
swig \
zip \
zlib1g-dev

安装 TensorFlow* Serving

使用以下命令,从 GitHub 存储库克隆 TensorFlow Serving:

   git clone --recurse-submodules https://github.com/tensorflow/serving

克隆过程中创建的 serving/tensorflow 目录包含一个名为 “configure” 的脚本,该脚本必须执行,以定义路径名称、相关性和其他构建配置选项。对于在英特尔架构上优化的 TensorFlow,该脚本还支持您设置英特尔® 数学核心函数库(英特尔® MKL)的相关环境设置。发布以下命令:

cd serving/tensorflow
./configure

重要:选择 ‘Y’ 构建支持 MKL 的 TensorFlow,并选择 ‘Y’ 从 Web 中下载 MKL LIB。为其他配置参数选择默认设置。

cd ..
bazel build --config=mkl --copt="-DEIGEN_USE_VML" tensorflow_serving/...

测试安装情况

使用以下命令,测试 TensorFlow Serving 的安装情况:

bazel test tensorflow_serving/...

如果一切运行良好,将出现如下图 1 所示的结果。

Screenshot of a command prompt window with results of correct installation

图 1.TensorFlow Serving 安装测试结果。

后续文章

本系列教程的下一篇文章将介绍如何培训和保存 TensorFlow 模型、如何在 TensorFlow Serving 中托管该模型,以及如何在客户端应用中引用该模型。

有关编译器优化的更完整信息,请参阅优化通知