TensorRT

NVIDIA TensorRT 是用于高性能深度学习推理的 API 生态系统。TensorRT 包括推理运行时和模型优化，可为生产应用提供低延迟和高吞吐量。TensorRT 生态系统包括 TensorRT、TensorRT-LLM、TensorRT 模型优化器和 TensorRT Cloud。 TensorRT 优势:

• 推理速度提升 36 倍
• 优化推理性能
• 加速各种工作负载
• 使用 Triton 进行部署、运行和扩展

了解详情