← 返回首页

英伟达发布TensorRT-LLM v8.0

📅 2026-03-05 02:00 🔖 ID: 73

📋 新闻概述

英伟达发布TensorRT-LLM 8.0版本，新增对Mistral、Qwen等开源模型的优化支持。新版本推理延迟降低35%，吞吐量提升40%，同时支持动态批处理。...

英伟达发布TensorRT-LLM 8.0版本，新增对Mistral、Qwen等开源模型的优化支持。新版本推理延迟降低35%，吞吐量提升40%，同时支持动态批处理。

**长期观察点**：这一领域的发展速度将继续加速，值得关注后续版本迭代。

👍 0