vllm-project/vllm-ascend
PublicCommunity maintained hardware plugin for vLLM on Huawei Ascend
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 08/10/2026
Tóm tắt bởi Bee AI
vLLM Ascend là plugin phần cứng do cộng đồng duy trì, cho phép chạy suy luận vLLM mượt mà và tối ưu trên các NPU Huawei Ascend (dòng Atlas A2/A3). Dự án phục vụ các kỹ sư AI, MLOps và nhà phát triển cần triển khai và phục vụ các mô hình ngôn ngữ lớn trên phần cứng Ascend.
- Cung cấp kiến trúc phần cứng pluggable tách rời việc tích hợp NPU Ascend khỏi lõi vLLM theo chuẩn RFC vLLM.
- Hỗ trợ nhiều kiến trúc mô hình gồm Transformer, Mixture-of-Experts (MoE) với Expert Parallelism, Embedding và Multi-modal LLMs.
- Hỗ trợ các dòng phần cứng Atlas 800I A2/A3 Inference, Atlas A2/A3 Training và thử nghiệm Atlas 300I Duo.
- Tương thích và tích hợp với các hệ sinh thái LLM như LLaMA-Factory, verl, TRL và GPUStack.
Lưu ý
- Yêu cầu phần cứng chuyên dụng Huawei Ascend và bộ công cụ phần mềm CANN 9.1.0 cùng TorchNPU tương ứng.
- Hỗ trợ phần cứng dòng Atlas 300I Duo vẫn đang ở mức thử nghiệm (Experimental).
- Phiên bản của vllm-ascend phải trùng khớp chính xác với phiên bản tương ứng của vLLM.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến48
- Độ tươi100
- Cộng đồng80
- Tài liệu100
- Phát hành100
- Mức độ khóNâng cao
- Phù hợp vớiLập trình viên · DevOps
- Loại dự ánThư viện
- Giấy phépApache-2.0
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Python
vLLM
PyTorch
Docker
CMake
C++
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
vllm_ascend/Mã nguồn chính triển khai plugin phần cứng Ascend cho vLLMcsrc/Mã nguồn C/C++ cho các kernel tối ưu hóa và liên kết tầng thấpbenchmarks/Bộ công cụ đo kiểm hiệu năng suy luận trên phần cứng Ascendexamples/Ví dụ mẫu cấu hình và triển khai mô hình với vLLM Ascenddocs/Tài liệu kỹ thuật và hướng dẫn sử dụng chi tiếttests/Bộ kiểm thử tự động kiểm tra tính tương thích và chức năngtools/Các tiện ích hỗ trợ phát triển, đóng gói và thu thập môi trườngcmake/Tệp cấu hình CMake phục vụ biên dịch các phần mở rộng native
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/vllm-project/vllm-ascend.git
cd vllm-ascendCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Triển khai dịch vụ suy luận LLM thông lượng cao trên hạ tầng Huawei Ascend NPU bằng vLLM.
- Vận hành các mô hình Mixture-of-Experts (MoE) quy mô lớn với tính năng Expert Parallelism trên NPU Ascend.
- Tích hợp tầng suy luận vLLM vào quy trình tinh chỉnh, RL (Reinforcement Learning) và đánh giá mô hình trên chip Ascend.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.280.2k+3.6k
- 2
NousResearch/hermes-agentThe agent that grows with you254.1k+1.5k
- 3
morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.239.5k+138k
- 4
firecrawl/firecrawlSupercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥191.9k+1.7k
- 5
Significant-Gravitas/AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.187.6k-123
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.