sgl-project/sglang

Public

SGLang is a high-performance serving framework for large language models and multimodal models.

attention blackwell cuda deepseek diffusion glm gpt-oss inference llama llm minimax moe qwen qwen-image reinforcement-learning transformer vlm wan

Star38.3k Fork10k Watch184 Mở trên GitHub

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 05/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

SGLang là framework serving mã nguồn mở hiệu năng cao dành cho các mô hình ngôn ngữ lớn (LLM), mô hình đa phương thức (VLM) và mô hình khuếch tán (diffusion). Dự án được thiết kế chuyên biệt cho các tác vụ agentic, sinh mẫu rollout cho học tăng cường (RL) và triển khai serving quy mô lớn.

Hỗ trợ đa dạng phần cứng bao gồm NVIDIA, AMD, Google TPU, Intel (GPU/CPU), Apple Silicon và Huawei Ascend.
Tích hợp sẵn SGLang Diffusion để tạo hình ảnh và video từ mô hình diffusion.
Tích hợp sâu rộng cho RL rollouts cùng các framework như verl, slime, Miles và Tunix.
Hỗ trợ phân cấp KV cache đa tầng qua GPU, host memory và bộ nhớ ngoài (HiCache, Mooncake, LMCache).

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

94/100Điểm tổng thể

Độ phổ biến98
Độ tươi100
Cộng đồng64
Tài liệu100
Phát hành100

Mức độ khóNâng cao
Phù hợp vớiLập trình viên · Nhà nghiên cứu
Loại dự ánFramework
Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

Python
Rust
CUDA
Docker
vLLM

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

RepositorysglangFramework

Công nghệ chính

Python

benchmark/Kịch bản đo lường hiệu năng suy luận và throughput.
docker/Các tệp Dockerfile phục vụ môi trường chạy và phát triển.
docs/Tài liệu hướng dẫn sử dụng và tài liệu kỹ thuật.
examples/Ví dụ mẫu triển khai và gọi suy luận mô hình.
python/Mã nguồn chính của thư viện SGLang bằng Python.
rust/Mã nguồn các module hệ thống hiệu năng cao bằng Rust.
test/Bộ kiểm thử tự động cho hệ thống.
sgl-model-gateway/Cổng định tuyến và điều phối request cho mô hình.

benchmark/Kịch bản đo lường hiệu năng suy luận và throughput.
docker/Các tệp Dockerfile phục vụ môi trường chạy và phát triển.
docs/Tài liệu hướng dẫn sử dụng và tài liệu kỹ thuật.
examples/Ví dụ mẫu triển khai và gọi suy luận mô hình.
python/Mã nguồn chính của thư viện SGLang bằng Python.
rust/Mã nguồn các module hệ thống hiệu năng cao bằng Rust.
test/Bộ kiểm thử tự động cho hệ thống.
sgl-model-gateway/Cổng định tuyến và điều phối request cho mô hình.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash

git clone https://github.com/sgl-project/sglang.git
cd sglang

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

Triển khai suy luận tốc độ cao cho LLM và VLM trong môi trường production.
Tạo dữ liệu rollout nhanh chóng cho quá trình huấn luyện Reinforcement Learning (RL).
Phục vụ mô hình sinh hình ảnh và video thông qua engine SGLang Diffusion.
Tăng tốc độ suy luận bằng kỹ thuật speculative decoding kết hợp cùng SpecForge.

Repository tương tự

Cùng chủ đề trong kho Bee.

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 05/10/2026.