Repository navigation
feat(specforge): 改用上游 capture 插件流程,镜像切到标准 CANN 镜像 - #276
Devin-DC-Huang wants to merge 1 commit into
Conversation
|
📖 文档预览:https://ascend.github.io/docs/pr-preview/pr-276/sources/specforge/ 也可打开整站首页。 构建自 |
状态PR 已在 CI 上跑了几轮,目前:
CI 这几轮帮我抓到的、已经修掉的问题(都是这条新流程暴露出来的):
一点说明新流程下 examples 的每条腿都要自己装一遍 SGLang(源码构建 + 13 MB wheel + 全量依赖),单腿 20-30 分钟。等昇腾侧出了「基于 sglang main 的 910b 镜像」之后,文档和 guard 里的 SGLang 构建步骤可以删掉,耗时和失败面都会小很多。 Co-Authored-By: opencode noreply@opencode.ai |
更新:offline/colocated 三条先挪到 unsupported上游 #1064 把 offline producer( 我们把 guard 的 offline 分支改成「起 mooncake master + capture server,再跑 producer」之后,client 建连时仍拿不到 master 的 segment descriptor: (顺带修掉了前一轮的两个真问题: 这条链还没跟上游的新形态对齐,所以先把这 3 条挪到 manifest 的 目前 CI 状态
这一轮 CI 还帮我抓到并已修掉的问题:
说明新流程下 examples 的每条腿都要自己装一遍 SGLang(源码构建 + 13 MB wheel + 全量依赖),单腿 20-30 分钟。等昇腾侧出了「基于 sglang main 的 910b 镜像」后,文档和 guard 里的 SGLang 构建步骤可以删掉,耗时和失败面都会小很多。 Co-Authored-By: opencode noreply@opencode.ai |
b963804 to
b543114
Compare
b543114 to
96fdeb1
Compare
a526942 to
28213d2
Compare
上游 SpecForge 2026-11-07 的 capture 重构(#1063~#1066)把 server 端的 hidden-state 采集从「打补丁」改成插件:#1065 删掉了 patches/sglang/v0.5.18/spec-capture.patch 与 scripts/apply_sglang_spec_capture_patch.sh,改由 specforge-sglang-capture 插件接管;#1064 把 scripts/prepare_hidden_states.py 改成必须传 --server-urls。 插件要求的三个扩展点(--enable-return-aux-hidden-states / --return-aux-hidden-state-layer-ids / --return-hidden-states-mode、 ModelRunner.forward_observer、Scheduler.defer_response)来自 SGLang PR #43449 / #43450(2026-10-26/27 合入 main),任何已发布版本都没有 (0.5.23 仍不具备),所以 SGLang 从源码构建,commit 取上游 SpecForge CI 钉的 SGLANG_COMMIT,保证插件与 SGLang 的 API 成对匹配。 文档(sources/specforge/quick_start.md): - 删「打补丁」整节;新增「克隆 SpecForge 源码」「安装 SGLang(源码构建)」 「安装 specforge 与 capture 插件」 - capture server 换插件参数(SPECFORGE_SPEC_CAPTURE=1 + 新 flag),并断言 /server_info 广播 spec_capture_backend=plugin - --mamba-ssm-dtype bfloat16:910B4 上 GDN 的 fp32 initial_state 不被 sgl_kernel_npu 支持(只在 Ascend950 上支持) - torch / torch_npu / triton-ascend / mooncake 按需安装:CANN 镜像不带 torch;社区 triton 缺 triton.language.extra.cann 要装 triton-ascend; mooncake 钉 0.3.14(0.3.13.post1 的 Ascend transport 在 CANN 9.1.0 上 初始化失败);torch 系列用 constraint 钉 2.10.0(否则被 uv 升到 2.15 与 torch_npu 失配) - trainer 段补 MOONCAKE_* 环境变量(specforge 从 env 读 segment size, 缺了 store setup 直接失败) - 镜像换成标准 CANN 镜像(ascendhub/cann:9.1.0-910b-ubuntu22.04-py3.12), 不再依赖 sglang 专用镜像 看护(specforge-quick-start.yml / specforge-examples.yml / examples guard): - 解除 fixed_ref 钉版,ref 解析回到引擎默认(最新 release → 无 release 落默认分支 main),即每次跑上游最新 - setup_example.sh:装 torch 栈 + 源码构建 SGLang(CANN 版本运行时探测) + 装上游插件;run_example.sh:capture server 换插件参数并校验 spec_capture_backend=plugin;offline 分支按上游 #1064 的新形态起 mooncake + capture server 后用 torchrun --standalone 跑多进程 producer - managed-local:mooncake segment/buffer 调小(与 server、trainer 同容器 会顶爆主机内存);model.sglang_extra_args 透传 --mamba-ssm-dtype bfloat16(launch plan 起的 capture server 命令行里没有它) - offline/colocated 三条暂挪 unsupported:上游 #1064 改了 producer 形态, 现有编排接不上(client 拿不到 master 的 segment descriptor,metadata 404),对齐后放回 验证:specforge-quick-start 的 21 个文档步骤在 CI 与 coder(CANN 9.1.0 /910b 镜像)上全跑通,1 步训练 ce_loss=12.7055;specforge-examples 的 9 条 supported recipe 全绿。
28213d2 to
3d1aca0
Compare
背景
上游 SpecForge 在 2026-11-07 的 capture 重构(#1063~#1066)把 server 端的 hidden-state 采集从「打补丁」改成插件:
patches/sglang/v0.5.18/spec-capture.patch与scripts/apply_sglang_spec_capture_patch.shspecforge-sglang-capture插件接管scripts/prepare_hidden_states.py改成必须传--server-urls于是
specforge-quick-start/specforge-examples从 2026-11-07 起连续转红:(examples 侧则是
setup: WARNING - apply_sglang_spec_capture_patch.sh missing→sglang serve: error: unrecognized arguments: --enable-spec-capture ...)为什么必须换 SGLang
插件要求 SGLang 提供三个扩展点:
--enable-return-aux-hidden-states/--return-aux-hidden-state-layer-ids/--return-hidden-states-modeModelRunner.forward_observerScheduler.defer_response(req, completion)(sglang.srt.managers.deferred_output:ResponseCompletion)它们来自 SGLang PR #43449 / #43450(2026-10-26/27 合入 main),任何已发布版本都没有(0.5.23 仍不具备),所以只能从源码构建。本文按上游 SpecForge CI 自己的钉法取 commit(
SGLANG_COMMIT,在克隆到的SpecForge/.github/workflows/test.yaml里),保证插件与 SGLang 的 API 成对匹配——上游插件就是照着这个 commit 写的。改动
文档(
sources/specforge/quick_start.md):SPECFORGE_SPEC_CAPTURE=1+--speculative-algorithm DFLASH --enable-return-aux-hidden-states --return-aux-hidden-state-layer-ids ... --return-hidden-states-mode full,并断言/server_info广播spec_capture_backend=plugin--mamba-ssm-dtype bfloat16:910B4 上 GDN 的 fp32initial_state不被sgl_kernel_npu支持(FP32 initial_state is only supported on Ascend950 (arch35))配套的环境补齐(都踩过):
sgl_kernel_npu2026.6.1 缺sgl_kernel_npu.activation.fused_sigmoid_multriton.language.extra.cannuv pip install -e .会把 torch 升到 2.15(与 torch_npu 失配)MOONCAKE_*→ client 拿到global_segment_size=0unzipzipfile解压--http1.1 --retry-all-errors -C -镜像:SGLang 由文档自己构建,所以两个看护都从 sglang 专用镜像换成标准 CANN 镜像
ascendhub/cann:9.1.0-910b-ubuntu22.04-py3.12(与仓库其它 guard 一致)。examples 看护同步到插件流程:
setup_example.sh装 torch 栈 + 源码构建 SGLang + 装上游插件,run_example.sh的 capture server 换新参数并校验spec_capture_backend=plugin。验证
用仓库自带的 doc-test harness(
tests/doc_test/base.py+tests/specforge/test_quick_start_ascend.py)按文档跑,两个环境各一轮,21 步全部通过:Ran 1 test in 1506s OK,step 1: ce_loss=12.7055,capture backend=pluginRan 1 test in 1420s OK,同样ce_loss=12.7055另外附了
scripts/verify_specforge_plugin_flow_on_coder.sh:不依赖 doc-test harness 的独立复现脚本(coder workspace 上直接跑)。备注
sgl-kernel-npu的 wheel 按 (torch, CANN, 设备, python) 出包,上游目前只发到 CANN 9.1.0 / torch 2.10.0 / py3.12 的 910b;文档里 CANN 版本是运行时探测的,可以用SGL_KERNEL_CANN_VER覆盖