跳转到内容
xLLM
PR 预览
开始使用
硬件
用户指南
实践指南
开发者指南
CLI 参考
搜索
Ctrl
K
取消
GitHub
中
EN
中
主页
开始使用
快速开始
启动xllm
模型支持列表
硬件
硬件平台
昇腾 NPU
寒武纪 MLU
海光 DCU
沐曦 MACA
摩尔线程 MUSA
英伟达 GPU
用户指南
基础使用
多机部署
在线服务
OpenAI 兼容接口
OpenAI 接口:视觉输入
OpenAI 接口:Embedding
Anthropic 兼容接口
离线推理
高级功能
异步调度
多流并行
ChunkedPrefill调度器
PD分离
Prefix Cache 优化
全局多级 KV Cache
KV Cache 与模型权重的虚拟内存
EP并行
MoE负载均衡(EPLB)
MTP投机推理
Graph Mode
FlashComm
xLLM Service
概述
编译与运行
KV events 与 CAR
实践指南
自回归模型
Qwen
Qwen3.5
Qwen3
Qwen3-Next
Qwen3-VL
Qwen2.5-VL
DeepSeek
DeepSeek-V4
DeepSeek-V3.2
DeepSeek-V3.1
DeepSeek-V3
DeepSeek-R1
GLM
GLM-5.3-Flash
GLM-5.2
GLM-5.1
GLM-5
MinMax
MiniMax-M2.7
扩散模型
Flux
Flux
Flux2
Wan
Wan2.1
Wan2.2
Qwen-Image
Qwen-Image
开发者指南
代码架构与请求流程
DiT 架构与能力矩阵
C++ 服务框架与 Python 模型执行
图执行与显存复用
AI 辅助开发工作流
xLLM-Kernel 算子开发指南
昇腾 TileLang 算子开发
自动调优配置扩展
使用 EvalScope 评测模型精度
使用 EvalScope 测试推理性能
在线服务性能分析
CLI 参考
GitHub
选择语言
EN
中
GLM-5.1
Copy page
GLM-5.1 的推理实践已合并到
GLM-5 / GLM-5.1 / GLM-5.2
。
反馈文档问题