Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

antirez/ds4

Public

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Star24.1kFork2.3kWatch174Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 11/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

DwarfStar (ds4) là engine suy luận native viết bằng C để chạy các mô hình ngôn ngữ lớn như DeepSeek V4, GLM và Qwen trên phần cứng cá nhân thông qua Metal, CUDA và ROCm.

  • Tối ưu cho DeepSeek V4 Flash/PRO, GLM 5.2/5.3, và Qwen3.8 Flash Next với định dạng GGUF riêng.
  • Hỗ trợ SSD streaming giúp chạy mô hình vượt kích thước RAM và nạp n-gram trực tiếp từ ổ cứng.
  • Tích hợp CLI tương tác, HTTP server phục vụ nhiều phiên, và coding agent native hỗ trợ gọi công cụ.
  • Hỗ trợ đa GPU, tensor parallelism qua RDMA giữa 2 máy Mac, và pipeline parallelism liên máy.

Lưu ý

  • Dự án đang trong giai đoạn beta với thay đổi diễn ra rất nhanh, có khả năng gặp lỗi hồi quy hoặc không ổn định.
  • Không phải trình chạy GGUF tổng quát; chỉ hỗ trợ các tệp GGUF do chính dự án tạo ra cho một số mô hình cụ thể.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến96
  • Độ tươi100
  • Cộng đồng35
  • Tài liệu85
  • Phát hành20
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánCông cụ
  • Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • C
  • CUDA
  • Bash

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • cuda/Mã nguồn và tệp liên quan đến backend NVIDIA CUDA.
  • metal/Mã nguồn và tệp liên quan đến backend Apple Metal.
  • rocm/Mã nguồn và tệp liên quan đến backend AMD ROCm.
  • gguf-tools/Công cụ xử lý và tạo tệp mô hình GGUF.
  • speed-bench/Bộ công cụ đo kiểm hiệu năng và tốc độ suy luận.
  • tests/Các kịch bản kiểm thử tính đúng đắn và hồi quy.
  • docs/Tài liệu hướng dẫn chi tiết về phần cứng, mô hình và triển khai.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/antirez/ds4.git
cd ds4

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy suy luận cục bộ DeepSeek V4 Flash/PRO hoặc GLM trên Mac (Apple Silicon), NVIDIA CUDA (Ada/L40S/DGX Spark), hoặc AMD Strix Halo.
  • Thiết lập máy chủ HTTP phục vụ suy luận LLM cho các client như Pi, OpenCode, Codex CLI hoặc Claude Code.
  • Chạy coding agent native (ds4-agent) trực tiếp với quản lý token history và lưu trữ phiên trong KV cache.
  • Thực hiện suy luận hình ảnh (vision) kết hợp bộ mã hóa vision qua cờ --vision.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1torvalds/linuxLinux kernel source tree253.8k+608
  2. 2Genymobile/scrcpyDisplay and control your Android device153.5k+620
  3. 3microsoft/PowerToysMicrosoft PowerToys is a collection of utilities that supercharge productivity and customization on Windows140.2k+641
  4. 4ventoy/VentoyA new bootable USB solution.80.5k+179
  5. 5obsproject/obs-studioOBS Studio - Free and open source software for live streaming and screen recording78.6k+626

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 11/10/2026.

Đăng nhập