Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

deepseek-ai/DeepGEMM

Public

DeepGEMM: clean and efficient BLAS kernel library on GPU

Star9.1kFork1.5kWatch71Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 08/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

DeepGEMM là thư viện nhân BLAS và tensor core hiệu năng cao dành cho GPU NVIDIA SM90 và SM100, hợp nhất các phép toán GEMM (FP8, FP4, BF16), Mega MoE và MQA scoring qua cơ chế biên dịch JIT bằng DeepJIT.

  • Biên dịch kernel lúc runtime thông qua DeepJIT, không cần biên dịch CUDA trong quá trình cài đặt
  • Tối ưu hóa chuyên sâu cho kiến trúc GPU NVIDIA SM90 và SM100 với hiệu suất tương đương hoặc vượt các thư viện tinh chỉnh chuyên gia
  • Hỗ trợ Mega MoE hợp nhất EP dispatch, linear layers, SwiGLU và EP combine, gối đè giao tiếp NVLink với tính toán tensor core
  • Hỗ trợ grouped GEMM dạng contiguous cho prefilling và masked layout kết hợp CUDA graph cho decoding

Lưu ý

  • Yêu cầu GPU kiến trúc NVIDIA SM90 hoặc SM100, CUDA Toolkit 12.9 trở lên và trình biên dịch hỗ trợ C++20 <format>
  • Kiến trúc SM90 chỉ hỗ trợ layout bộ nhớ NT cho dense GEMM và yêu cầu scaling factor định dạng FP32, trong khi SM100 dùng packed UE8M0
  • Tính năng Mega MoE yêu cầu PyTorch >= 2.9 và khởi chạy đa tiến trình với symmetric memory

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến86
  • Độ tươi80
  • Cộng đồng55
  • Tài liệu85
  • Phát hành100
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánThư viện
  • Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • CUDA
  • C++
  • Python
  • PyTorch
  • CMake

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • csrc/Mã nguồn C++ và CUDA cho các kernel tính toán
  • deep_gemm/Gói Python chính cung cấp API, cấu hình JIT và tiện ích
  • tests/Các kịch bản kiểm thử tính đúng đắn và benchmark hiệu năng
  • scripts/Kịch bản hỗ trợ phát triển và thực thi bổ trợ
  • third-party/Các thư viện phụ thuộc bên ngoài như CUTLASS

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/deepseek-ai/DeepGEMM.git
cd DeepGEMM

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Tăng tốc các phép nhân ma trận FP8, FP4 và BF16 cho quá trình huấn luyện và suy luận LLM
  • Chạy kernel Mega MoE phân tán đa tiến trình với bộ nhớ đối xứng (symmetric memory) trên hạ tầng NVLink
  • Xử lý grouped GEMM cho các mô hình Mixture of Experts (MoE) ở cả forward pass, prefilling và weight backward
  • Tính toán MQA scoring logit (non-paged và paged) phục vụ lightning indexer của DeepSeek v3.2

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1karpathy/llm.cLLM training in simple, raw C/CUDA31.3k+101
  2. 2NVlabs/instant-ngpInstant neural graphics primitives: lightning fast NeRF and more17.6k+4
  3. 3xlite-dev/LeetCUDAAn Open-source book with Modern CUDA learning Notes for Beginners - BF16/FP8/FP4, HGEMM, CuTe, Flash-Attention, etc.12.1k+22
  4. 4HigherOrderCO/HVM1HVM1 (2022): a massively parallel, optimal functional runtime in Rust11.4k+5
  5. 5deepseek-ai/DeepEPDeepEP: an efficient expert-parallel communication library10.4k+44

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.

Đăng nhập