Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

syv-ai/HyperQwen

Public

Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.

consumer-gpucudainference-optimizationkv-cachellm-inferencelocal-llmquantizationqwenqwen3rtx-3090speculative-decodingvllm
Star2kFork274Watch16Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 24/09/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

HyperQwen là bộ giải pháp tối ưu hóa suy luận và tập patch cho vLLM, giúp phục vụ các mô hình Qwen lớn (cụ thể là Qwen3.8-27B) với tốc độ cao trên GPU tiêu dùng 24 GB. Dự án cung cấp sẵn hai chế độ phục vụ (single-user và batch), pipeline requantize mô hình, speculative decoding và hỗ trợ ngữ cảnh dài qua KVarN KV cache. Công cụ này dành cho các lập trình viên, kỹ sư hệ thống và nhà nghiên cứu cần tự host LLM hiệu năng cao với chi phí phần cứng tối thiểu.

  • Cung cấp hai chế độ phục vụ chuyên biệt: single-user (đạt 127–381 tok/s với speculative decoding) và batch (đạt ~1.035 tok/s giải mã ở 64 luồng đồng thời trên RTX 3090).
  • Hỗ trợ độ dài ngữ cảnh mở rộng từ 150k đến 262k token bằng cách sử dụng backend KVarN 4/2-bit KV cache.
  • Tích hợp sẵn bộ patch cho vLLM, pipeline chuẩn bị và requantize mô hình cùng vocabulary dự đoán riêng.
  • Cung cấp API tương thích chuẩn OpenAI, hỗ trợ xác thực bằng API key và triển khai nhanh qua Docker Compose.

Lưu ý

  • Kernel int8-QK prefill attention bị ràng buộc vào đúng cấu trúc hình học của checkpoint Qwen3.8-27B (sẽ tự động fallback về FlashAttention-2 nếu khác cấu trúc).
  • Bảng Marlin tune được đo trên kiến trúc sm86 (RTX 3090); kiến trúc sm80 gặp lỗi liên quan đến speculative decoding, đồng thời cấu hình multi-GPU không hỗ trợ TP=3 hoặc PP=3 do số head của mô hình.
  • Mặc định server lắng nghe ở 0.0.0.0 không có xác thực nếu chưa đặt VLLM_API_KEY, và trên Docker Desktop WSL2 cần bật VLLM_WSL2_ENABLE_PIN_MEMORY=1 để tránh lỗi UVA.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến39
  • Độ tươi100
  • Cộng đồng48
  • Tài liệu100
  • Phát hành20
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánỨng dụng
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • Docker
  • CUDA
  • vLLM
  • Bash

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • batch/Cấu hình, benchmark và tài liệu tối ưu cho chế độ batch serving.
  • single-user/Cấu hình và kịch bản tối ưu hóa cho chế độ single-user.
  • patches/Tập hợp các file patch áp dụng vào mã nguồn vLLM.
  • prepare/Các script chuẩn bị và requantize mô hình trước khi phục vụ.
  • drafter/Tài liệu và mã nguồn xây dựng draft vocabulary cho speculative decoding.
  • kvarn/Mã nguồn tích hợp KVarN 4/2-bit KV cache cho ngữ cảnh dài.
  • bench/Bộ công cụ đo đạc hiệu năng và đánh giá chất lượng suy luận.
  • docs/Tài liệu hướng dẫn cài đặt, kỹ thuật tối ưu hóa và báo cáo kiểm thử.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/syv-ai/HyperQwen.git
cd HyperQwen

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy mô hình Qwen3.8-27B cục bộ trên một GPU 24 GB duy nhất (như RTX 3090) cho các tác vụ hội thoại độ trễ thấp.
  • Làm API backend xử lý nhiều yêu cầu đồng thời cho các ứng dụng hoặc pipeline AI.
  • Tăng tốc các tác vụ lập trình (coding agents), dịch thuật hoặc RAG có đầu ra trích dẫn lại nhiều nội dung từ prompt.
  • Xử lý tài liệu và ngữ cảnh siêu dài (lên tới 240k–262k token) mà không bị tràn bộ nhớ VRAM 24 GB.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1ollama/ollamaGet up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.183k+658
  2. 2huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.167.7k+684
  3. 3vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMs93.7k+438
  4. 4unslothai/unslothLocal UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4, MiniMax-H3, Gemma 4, FLUX and more.77.9k+670
  5. 5nomic-ai/gpt4allGPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.77.4k-12

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 24/09/2026.

Đăng nhập