【技术分享】面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战，美团视觉研发团队决定通过模型结构拆分和微服务化进行优化，他们提出一种通用高效的部署架构，来解决这种常见的性能瓶颈问题。本文会重点介绍推理服务部署架构优化的工程实践，希望对大家能有所帮助或启发。http://t.cn/A69svz5g
发布于 北京