Edge0-AI/Edge0
PublicRun 35B MoE models in ~2.5 GB of RAM. Weights stream from SSD; a trained router predicts loads a step ahead. Mac, iPhone, Android, Windows supported
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 08/10/2026
Tóm tắt bởi Bee AI
edge0 là framework suy luận MoE dạng streaming mã nguồn mở, cho phép chạy mô hình sparse-MoE lớn (như 35B) trên thiết bị tiêu dùng bằng cách stream trọng số expert từ SSD và dự đoán routing.
- Cho phép chạy mô hình MoE 35B với chỉ ~2.5 đến 2.9 GB RAM đỉnh thông qua offload expert sang SSD.
- Bộ Prerouter dự đoán expert trước một bước, giúp chồng lấp nạp trọng số và tăng tới +59% throughput decode.
- Kỹ thuật Recover-LoRA bù đắp tổn thất lượng tử hóa int4 từ mô hình teacher mà không cần merge adapter vào base.
- Cung cấp engine suy luận cho nhiều nền tảng: Python (macOS/MLX), iOS (Swift), Android (Kotlin), macOS (Rust), và Windows (C++/Vulkan).
Lưu ý
- Hiện tại backend Python chỉ hỗ trợ macOS với chip Apple Silicon (yêu cầu MLX), backend CUDA mới nằm trong lộ trình kế hoạch.
- Yêu cầu cả hai file adapter LoRA và prerouter để chạy pipeline; nếu thiếu sẽ báo lỗi trừ khi dùng cờ tắt thủ công.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến69
- Độ tươi100
- Cộng đồng92
- Tài liệu85
- Phát hành20
- Mức độ khóNâng cao
- Phù hợp vớiLập trình viên · Nhà nghiên cứu
- Loại dự ánFramework
- Giấy phépApache-2.0
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Python
Rust
Swift
Kotlin
C++
Hugging Face
Transformers
pytest
Android
iOS
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
python/Mã nguồn framework Python, backend MLX, server và CLI.macos/Ứng dụng macOS desktop, daemon và CLI viết bằng Rust.ios/Ứng dụng on-device cho iOS viết bằng Swift và MLX Swift.android/Ứng dụng và native engine cho Android viết bằng Kotlin.windows/Ứng dụng desktop và engine cho Windows viết bằng C++ và Vulkan.scripts/Các script hỗ trợ như tải model và kiểm thử end-to-end smoke test.docs/Tài liệu kỹ thuật về kiến trúc, SSD streaming và cách thêm model.paper/Tài liệu hoặc bản thảo technical report liên quan đến dự án.
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/Edge0-AI/Edge0.git
cd Edge0Các use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Chạy mô hình sparse-MoE 35B hoặc 8B cục bộ trên máy tính Apple Silicon hoặc thiết bị di động với bộ nhớ RAM hạn chế.
- Triển khai máy chủ API tương thích OpenAI (/v1/chat/completions) để phục vụ suy luận mô hình MoE cục bộ.
- Tích hợp suy luận streaming MoE vào ứng dụng di động iOS hoặc Android thông qua runtime native tương ứng.
- Đo kiểm benchmark tốc độ prefill và decode của các checkpoint mô hình MoE chạy qua cơ chế stream SSD.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
public-apis/public-apisA collective list of free APIs489.1k+1.6k
- 2
EbookFoundation/free-programming-books:books: Freely available programming books399.1k+315
- 3
donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.374.3k+662
- 4
vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"327.7k+1.3k
- 5
practical-tutorials/project-based-learningCurated list of project-based tutorials286.8k+420
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.