2024-12-19 08:02:21
苹果公司表示ReDrafter已集成到NVIDIATensorRT-LLM推理加速框架中，在NVIDIAGPU上，每秒生成tokens速度最高提升2.7倍，有效降低了用户延迟和计算成本。苹果的机器学习研究人员指出，LLM越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。亚汇网援引苹果官方博文，ReDrafter使用RNN草稿模型，结合波束搜索（beamsearch）与动态树注意力（dynamictreeattention），可以让开源模型每步生成最多3.5个tokens，超越了先前推测性解码技术的性能。为将ReDrafter应用于生产环境，苹果与NVIDIA展开合作，将其集成到NVIDIATensorRT-LLM框架中。英伟达为此添加了新的运算符并公开了现有运算符，增强了TensorRT-LLM对复杂模型和解码方法的适应性。基准测试结果显示，在NVIDIAGPU上使用集成了ReDrafter的TensorRT-LLM框架，数百亿参数规模的生产模型的解码速度提升了2.7倍。这不仅降低了用户体验延迟，还减少了GPU使用数量和功耗。亚汇网附上参考地址广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。
您正在访问亚汇网香港分站，本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。
