CV、NLP、语音识别深度学习模型部署(model serving)平台及项目整理分享

    什么是模型服务？

    在部署ML模型时，数据科学家或工程师必须根据他们的应用场景做出选择。如果他们需要大量的预测，并且延迟不是问题，通常会选择批量处理，向模型提供大量数据并将预测结果写入表中。如果他们需要低延迟的预测，例如响应应用程序中的用户操作，最好的方式是将ML模型部署为REST端点。这些应用程序向一个在线服务发送请求，并立即接收预测结果。

本资源整理了计算机视觉、NLP、语音识别领域深度学习模型部署常见的平台和方法，涉及Tensorflow Serving，TorchServe，BentoML，DeepDetect等十几种方法。

    资源整理自网络，源地址：https://github.com/balavenkatesh3322/model_deployment

    内容涉及多次跳转，点击文末“阅读原文“”查看资源详情。

目录

内容截图