［本站讯］近日，计算机科学与技术学院智能计算研究所副教授张啸成功揭榜华为难题第137期“面向低bit数据格式的高效投机解码微调算法”，获华为难题揭榜“火花奖”。

大语言模型当前被应用在众多行业和场景中，投机解码（Speculative Decoding）技术通过草稿模型预测与大模型验证有效降低了大模型推理延迟。然而现有投机模块在量化后难以有效对齐大模型特征分布，导致投机模块与主模型之间产生数值错位，最终表现为采信率下降、加速收益降低。

针对上述难题，本项目提出了一种融合特征引导的非自回归草稿模型高效微调框架，实现高采信率的同时降低端到端大模型推理时延。项目首先提出了非自回归草稿词元（Token）生成方案，设计并行注意力掩码损失函数，一次前向生成多个候选词元。其次，设计了多层特征融合的非自回归草稿模型引导机制，提升分布对齐能力。最终，在大批次推理场景下集成到vllm-ascend推理引擎中，在投机长度为3-5时，平均采信率达到了80%以上，相较于Eagle3方案实现了21%-33%的吞吐提升。

张啸，计算机科学与技术学院副教授、博士生导师，主要研究方向包括分布式学习算法/系统优化、边缘智能，以第一作者/通讯作者发表CCF-A类论文20余篇，主持国家自然科学基金项目、国家重点研发计划子课题及多项校企合作项目，获MobiHoc 2023最佳论文亚军奖，MSN 2025最佳论文奖等国际会议论文奖四项。

自2021年11月起，华为公司把产业会战和行业面临的“老大难”问题总结提炼为科学问题向社会发布，采用难题揭榜的形式，寻找基础理论扎实、有创新解题思路的人才，同时鼓励高校教师踊跃揭榜。华为公司设立难题揭榜“火花奖”，以感谢获奖者对产业界及科学界做出的贡献。