推理工程

大模型推理服务的全栈优化，从 vLLM 到 SGLang，从量化压缩到投机解码。打造高吞吐、低延迟、低成本的推理系统。

📚 核心文章

OpenClaw 实操：搭建 AI Agent 自动化工作流

利用 OpenClaw 实现推理服务的自动化监控、扩缩容与故障处理。

实操教程 2025-02-16

vLLM vs SGLang 2025 性能对比与选型建议

基于最新版本的实测数据，对比连续批处理、Prefix Caching、投机解码等特性。

即将发布

投机解码生产环境部署指南

Medusa、Lookahead、EAGLE 方案对比，草稿模型选型与接受率优化。

即将发布

模型量化实战：GPTQ、AWQ、GGUF 对比

4bit/8bit 量化方案的性能与精度权衡，生产环境选型建议。

即将发布

🎯 核心技术点

vLLM

PagedAttention 技术，连续批处理，高吞吐推理引擎。

SGLang

结构化生成优化，RadixAttention，并行解码。

TensorRT-LLM

NVIDIA 推理优化库，INT8/FP8 量化，In-flight Batching。

投机解码

Speculative Decoding，草稿模型加速，并行解码。

模型量化

GPTQ、AWQ、GGUF、SmoothQuant 量化方案。

KV Cache 优化

缓存压缩、Prefix Caching、动态分配策略。