点燃未来:TensorRT-LLM发布加速AI推理性能,支持在RTX驱动的Windows 11电脑上运行新模型
原文英文,约900词,阅读约需4分钟。发表于: 。Artificial intelligence on Windows 11 PCs marks a pivotal moment in tech history, revolutionizing experiences for gamers, creators, streamers, office workers, students and even casual PC users. It...
具有人工智能功能的Windows 11电脑正在革新用户体验。NVIDIA RTX技术和微软的优化帮助开发者更快地创建人工智能应用。适用于Windows的TensorRT-LLM将兼容OpenAI的Chat API,使RTX电脑上可以本地运行项目。AI Workbench允许开发者定制预训练的生成式AI模型。DirectML的增强和即将发布的TensorRT-LLM将提高推理性能并支持更多的LLM。NVIDIA为Windows启用TensorRT-LLM,提供与OpenAI的ChatAPI类似的API接口,加速RTX电脑上的AI开发和部署。