TensorFlow Serving 入门教程（Windows）

TensorFlow Serving 介绍

     TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库，可以将训练好的模型直接上线并提供服务。其一个重要特性是：它支持模型热更新与自动模型版本管理，这意味着一旦部署 TensorFlow Serving 后，你再也不需要为线上服务操心，只需要关心你的线下模型训练。      TF Serving采用客户端/服务端模式，其通信方式有两种 gRPC和REST API（注：后者需TensorFlow 1.8及更高版本），下图为TensorFlow Serving的框架图：

Docker 安装 TensorFlow Serving

     安装TensorFlow Serving有三种方法：Docker，二进制，源码编译。本文只介绍其中最简单、最直接的方法：Docker 安装。如想尝试其他方式可以参考 https://www.tensorflow.org/tfx/serving/setup.

Docker 安装

可参考：https://www.runoob.com/docker/windows-docker-install.html

使用docker 拉取 TensorFlow Serving 最新版镜像

docker pull tensorflow/serving # 默认为 latest版本

如需拉取其他版本可以参考dockers hub tensorflow / serve repo

获取官方服务仓库(其中demo部分可以测试服务是否能够正常启动)

# 新建一个文件用于存放官方示例代码， 本文直接放在E盘下 git clone https://github.com/tensorflow/serving cd serving # 官方示例代码位置 E:/serving/tensorflow_serving/servables/tensorflow/testdata

Docker 运行 TensorFlow Serving 实例

使用docker命令启动服务(以 REST API 方式，端口：8501)

TESTDATA="E:/serving/tensorflow_serving/servables/tensorflow/testdata" docker run -t --rm -p 8501:8501 \ -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \ -e MODEL_NAME=half_plus_two \ tensorflow/serving '&'

建立磁盘映射除了使用-v参数，也可以使用mount参数:

docker run -p 8501:8501 --mount type=bind,source=E:/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,target=/models/half_plus_two -e MODEL_NAME=half_plus_two -t tensorflow/serving '&'

其中参数解析：

–mount： 表示要进行挂载 source： 指定要运行部署的模型地址， 也就是挂载的源，这个是在宿主机上的servable模型目录（pb格式模型而不是checkpoint模型）==注意：==此地址必须是模型的绝对路径！！！ target: 这个是要挂载的目标位置，也就是挂载到docker容器中的哪个位置，这是docker容器中的目录，模型默认挂在/models/目录下，如果改变路径会出现找不到model的错误 -t: 指定的是挂载到哪个容器 -d: 后台运行 -p: 指定主机到docker容器的端口映射 -e: 环境变量 -v: docker数据卷 –name: 指定容器name，后续使用比用container_id更方便

运行效果：

Windows 客户端访问服务

重新打开一个测试窗口，这里使用curl命令：

curl -XPOST http://localhost:8501/v1/models/half_plus_two:predict -d "{\"instances\":[1.0, 2.0, 5.0]}"

（注：这里需要注意，源码中half_plus_two的模型版本是00000123，但在访问时也必须输入v1而不是v000000123。） 运行效果：

参考文献

官方介绍 TensorFlow Serving使用指南 TensorFlow Serving入门 tensorflow serving docker tensorflow serving + docker部署模型 使用tensorflow-serving部署tensorflow模型