ONNX-keras模型使用

 

 

一、 ONNXRUNTIME加速效果

https://github.com/onnx/keras-onnx

  1，创建虚拟环境

             conda create -n keras-onnx python=3.6

   2，激活环境

             conda activate keras-onnx

  3，安装需要的依赖包

      pip install tensorflow-gpu

      pip install keras

      pip install onnxmltools

安装onnxruntime需要注意cpu和版本

cpu版本：

     pip install onnxruntime

gpu版本：

     pip install onnxruntime-gpu

        这个版本是1.0，要求cuda是10.0，cudnn是7.6

  4， 进行测试

        a，首先将h5文件转换为onnx文件

        b,   获取ONNX的输入和输出

        c，使用onnx和onnxruntime进行前向加速运算

import onnxmltools from keras.models import load_model import cv2 import numpy as np import onnxruntime import argparse parser = argparse.ArgumentParser() parser.add_argument("--keras_model", type=str, default='./Inception_v3_classification_dataset08_c_c_201982845.h5') parser.add_argument("--onnx_model", type=str, default='onnx_classification.model') args = parser.parse_args() input_model = args.keras_model output_model = args.onnx_model # 得到网络模型结构和参数 keras_net = load_model(input_model) # 将keras模型转换为onnx模型 onnx_net = onnxmltools.convert_keras(keras_net) # 将onnx模型文件保存下来 onnxmltools.utils.save_model(onnx_net, output_model) content = onnx_net.SerializeToString() # 创建session sess = onnxruntime.InferenceSession(content) # 获得模型的输入或输出名 for i in sess.get_inputs(): print(i.name) print(i.shape) for i in sess.get_outputs(): print(i.name) print(i.shape) # 构造输入图像 img = np.zeros((1,139,139,3),dtype=np.float32) # 使用模型默认输出作为输出结果，input_6是通过打印sess.get_inputs()的name得到 pred_onnx = sess.run(None,{'input_6':img}) print(pred_onnx)

得到的打印内容如下：

input_6 ['N', 139, 139, 3] dense_3/Softmax:0 ['N', 2] [array([[0.9215646 , 0.07843538]], dtype=float32)]