datawhalechina/zero-to-sglang
PublicOfficial SGLang x Datawhale course on LLM inference: understand inference, build a mini-sglang from scratch, then read the real SGLang source and land your first PR. Available in English and Chinese.
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 06/10/2026
Tóm tắt bởi Bee AI
Khóa học mã nguồn mở của Datawhale và RadixArk hướng dẫn cơ chế suy luận LLM từ số không, tự tay xây dựng mini-sglang và tìm hiểu mã nguồn thực tế của SGLang.
- Dự án hợp tác chính thức giữa cộng đồng Datawhale và RadixArk (đội ngũ sáng lập SGLang)
- Giải thích chi tiết các khái niệm suy luận: KV Cache, prefill/decode, tính toán so với bộ nhớ và mô hình Roofline
- Xây dựng mini-sglang từng bước từ forward pass, Continuous Batching, Paged KV Cache đến RadixAttention
- Cung cấp tài liệu song ngữ tiếng Anh và tiếng Trung với trang tài liệu dựa trên VitePress
Lưu ý
- Tài liệu được phát hành theo giấy phép Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (phi thương mại)
- Một số chương thuộc Phần II, III và IV vẫn đang trong giai đoạn phát triển và chưa hoàn thiện
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến40
- Độ tươi100
- Cộng đồng28
- Tài liệu75
- Phát hành20
- Mức độ khóTrung bình
- Phù hợp vớiLập trình viên · Nhà nghiên cứu
- Loại dự ánTài liệu
- Giấy phépKhông có
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Python
PyTorch
CUDA
Triton
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
course-material/Nội dung bài học bằng tiếng Trung và tiếng Anhcommunity/Khu vực chia sẻ kinh nghiệm, nhật ký thực hành và ghi chú học tậpdocs/Cấu hình và mã nguồn trang tài liệu VitePressscripts/Các script hỗ trợ xây dựng và bảo trì khóa học
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/datawhalechina/zero-to-sglang.git
cd zero-to-sglangCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Học cách thiết kế và hiện thực hóa một inference engine cho mô hình ngôn ngữ lớn từ đầu
- Tối ưu hóa hiệu năng LLM với KV Cache, Continuous Batching và RadixAttention
- Hiểu cấu trúc mã nguồn thực tế của SGLang để đóng góp mã nguồn (PR) cho dự án
- Đo đạc và đánh giá hiệu năng suy luận (TTFT, TPOT, ITL, Goodput) bằng các công cụ profiling
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.294.8k+5.9k
- 2
practical-tutorials/project-based-learningCurated list of project-based tutorials288.7k+714
- 3
NousResearch/hermes-agentThe agent that grows with you259.5k+2.4k
- 4
firecrawl/firecrawlSupercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥197.7k+2.4k
- 5
Significant-Gravitas/AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.187.9k+109
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 06/10/2026.