上游贡献 · #2361

让分块预填充之后的请求仍然走外部 VLM MTP

短 prompt 正常,长 prompt 静默退回普通解码且没有告警。路由判断只写在一条出口上。

状态
仍开放,尚未合并
提交
改动
+154 / −0
分组
调度与推测式预填充

现象是不对称的:短 prompt 正确走上了 MTP 加速通道,长到触发分块预填充的 prompt 却静默退回普通解码,日志里一句告警都没有。关掉分块预填充,同样的长 prompt 又正常。

原因是路由判断的物理位置。全代码只有一处决定请求走不走这条通道,而它写在非分块那条出口上;分块请求提前跳走,根本没经过。没有告警,是因为这些请求从头到尾没进过那段代码。

修法是把判断移到两条路径共同汇入的那个点。更彻底的做法是把「是否有资格」变成请求上的标记,但改动面大得多,这一版没有做。

截至 2026 年 7 月 27 日,这个 PR 仍开放且尚未合并;实时状态以 GitHub 为准。