TensorRT

NVIDIA TensorRT是高性能深度学习推理的SDK,包括一个深度学习推理优化器和运行时(runtime)以提供低延迟高带宽的深度学习推理应用。基于TensorRT应用程序的执行效率比基于CPU的推理系统高效40x(官方宣传)。

参考