力数智能科技(江苏)有限公司 · 总经理 General Manager · Lexdata Intelligent Technology (Jiangsu) Co., Ltd.
现任 力数智能科技(江苏)有限公司 总经理。
关注的技术方向:
- 大模型推理服务化 —— vLLM 生产部署、OpenAI 兼容接口、长上下文与并发调度
- GPU 集群与互联 —— PCIe / NUMA 拓扑、NCCL 卡间通信、多卡并行策略
- 推理性能工程 —— 投机解码、KV Cache 显存与并发的权衡、CUDA 图与批调度
- 新硬件适配 —— Blackwell(SM120)等新架构上的算子分发与补丁维护
General Manager at Lexdata Intelligent Technology (Jiangsu) Co., Ltd.
Focus areas:
- LLM inference serving — production vLLM deployments, OpenAI-compatible APIs, long-context and concurrency scheduling
- GPU clusters & interconnect — PCIe / NUMA topology, NCCL inter-GPU communication, multi-GPU parallel strategies
- Inference performance engineering — speculative decoding, KV-cache memory vs. concurrency trade-offs, CUDA graphs and batch scheduling
- New-architecture enablement — kernel dispatch and patch maintenance on new silicon such as Blackwell (SM120)
| 项目 | 说明 |
|---|---|
| deepseekv41_pro6000d_tp8 | 单机 8× RTX 6000D 部署 DeepSeek-V4.1-Flash(TP=8):SM120 补丁链、DSpark 投机解码、FP8 KV Cache;含完整的 PCIe 拓扑与 NCCL P2P 实测(同 switch / 跨 switch / 跨 NUMA 三类带宽、NCCL_P2P_LEVEL 档位对照) |
力数智能科技(江苏)有限公司 · Lexdata Intelligent Technology (Jiangsu) Co., Ltd.
