jpezzulli/sglang-rtxpro6000

Public

Optimized SGLang runtime for Qwen3.8-27B FP8 with DFlash2 and Qwen3.8 Flash-Next NVFP4 with FR-Spec on one NVIDIA RTX PRO 6000 Blackwell 96 GB GPU (SM120): 524K context, HiCache and NIXL.

blackwell dflash2 fp8 fr-spec hicache llm-inference local-llm long-context nixl nvfp4 qwen qwen3 qwen3-8 qwen3-8-27b qwen3-8-flash-next qwen38 rtx-pro-6000 sglang sm120 speculative-decoding

Star182 Fork26 Watch6 Mở trên GitHub

Stars182+7+7 tuần này
Forks26
Watchers6
Issues2
Ngày tạo25/08/2026
Cập nhật gần nhất30/10/2026
Ngôn ngữPython
Giấy phépApache-2.0

Repo này không có README

Chủ repo chưa viết README, hoặc file chưa được đồng bộ về Bee. Xem trực tiếp trên GitHub.

Mở trên GitHub

Bee AI AnalysisBETA

Chưa có bản tóm tắt AI cho repo này. Bấm nút bên dưới để Bee AI đọc README và tóm tắt.

Độ phổ biến10/100

Xu hướng+7stars tuần này

Điểm Bee58/100

Mức độ khó · Phù hợp với · Loại dự án — có sau khi phân tích

Hôm nay đã hết lượt phân tích hoặc tính năng đang tắt. Thử lại sau.

Thao tác nhanh

ZIP GitHub So sánh

git clone https://github.com/jpezzulli/sglang-rtxpro6000.git

Thông tin repository

Chủ sở hữujpezzulli

Ngày tạo25/08/2026

Push gần nhấthôm qua

Kích thước84.5 MB

Nhánh mặc địnhpennyroyal-main-sm120-final

Giấy phépApache-2.0

Trang chủmsoexpert.com/

Trạng tháiĐang hoạt động

Dữ liệu chụphôm qua

Chủ đềblackwell, dflash2, fp8, fr-spec, hicache, llm-inference, local-llm, long-context, nixl, nvfp4, qwen, qwen3, qwen3-8, qwen3-8-27b, qwen3-8-flash-next, qwen38, rtx-pro-6000, sglang, sm120, speculative-decoding

Repo liên quan

Xây ứng dụng AI từ những repo này?

Bee cung cấp API cho hơn 100 model, tính tiền VND.

Build with Bee