【腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA】
【腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA】报道,6月5日,腾讯混元宣布提出Stem稀疏注意力算法,已被机器学习顶会ICML-26收录。根据Stem算法×HPC算子的全栈加速方案,算法层面,Stem通过Token位置衰减(TPD)和输出感知度量(OAM)实现25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文下首字延迟降低3.7倍。
免责声明:
内容来源金色财经、欧意交易所、gate.io交易平台以及Binance交易所官网
本站不对其做任何背书,也不代表赞成作者观点,如有失察或对您造成影响,可联系我们删除
内容来源金色财经、欧意交易所、gate.io交易平台以及Binance交易所官网
本站不对其做任何背书,也不代表赞成作者观点,如有失察或对您造成影响,可联系我们删除

还没有评论,来说两句吧...