Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

StayLameBro/backburner

Public

Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable

apple-siliconiosiphonellama-cppllm-inferencelocal-llmmacosmetalqwensme2speculative-decoding
Star1.1kFork112Watch11Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 08/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Backburner là công cụ tăng tốc suy luận LLM cục bộ (Qwen3.8-27B) bằng cách kết nối iPhone với máy Mac Apple Silicon qua cáp USB-C 10 Gb/s để phân chia xử lý layer và mở rộng bộ nhớ ngữ cảnh KV.

  • Phân chia prefill theo cơ chế pipeline: Mac chạy các layer 1-40 và iPhone đảm nhận layer 41-64 trên GPU, giúp tăng tốc prefill từ 29-44% ở ngữ cảnh 16k-48k.
  • Mở rộng bộ nhớ context lên tới 196k-229k token (đã kiểm thử tới 128k 8-bit và 140k 4-bit) bằng cách lưu và tính attention trên GPU và Neural Engine của iPhone.
  • Đảm bảo kết quả đầu ra tương đồng 100% (token-identical) so với khi chỉ chạy trên Mac ở chế độ greedy decoding.
  • Dựa trên bản fork llama.cpp tích hợp SME2 trên Mac CPU, tối ưu hóa Metal, suy luận suy đoán DFlash2 và bộ nhớ đệm prompt trên SSD.

Lưu ý

  • Yêu cầu phần cứng khắt khe: Mac Apple Silicon, iPhone 15 Pro trở lên (hoặc iPad dòng M) và cáp USB-C tốc độ 10 Gb/s (cáp đi kèm máy iPhone chỉ là USB 2, quá chậm).
  • Khi context vượt quá 64k token, ứng dụng Backburner phải luôn mở ở tiền cảnh (foreground); nếu mất kết nối quá 15 giây thì server sẽ dừng vì iOS chặn GPU chạy ngầm.
  • Hệ thống chỉ xử lý đơn luồng tại một thời điểm (-np 1) và các lệnh prompt dưới ~512 token sẽ chỉ chạy hoàn toàn trên Mac.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến25
  • Độ tươi100
  • Cộng đồng37
  • Tài liệu100
  • Phát hành20
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánCông cụ
  • Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • C++
  • CMake
  • Bash
  • Llllama.cpp
  • iOS
  • Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • bench/Chứa các script đo đạc hiệu năng (turn-bench, session-bench, long-bench) và kết quả benchmark.
  • docs/Tài liệu kỹ thuật chi tiết về Apple Neural Engine, cấu hình Wi-Fi, cài đặt iOS và thiết lập hai máy.
  • ios/Mã nguồn ứng dụng iOS companion (Backburner) chạy trên iPhone.
  • phone-attn/Giao thức và kernel tính attention trên GPU Metal và Neural Engine của iPhone.
  • scripts/Các script shell và Python hỗ trợ chia tách mô hình GGUF, cấu hình model và khởi chạy server.
  • llama.cpp/Bản fork llama.cpp tùy biến hỗ trợ phân tách prefill và các kernel tối ưu hóa cho Apple Silicon.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/StayLameBro/backburner.git
cd backburner

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy mô hình 27B với cửa sổ ngữ cảnh cực dài (vượt quá 64k token) trên máy Mac 24 GB RAM mà không bị tràn bộ nhớ.
  • Tăng tốc độ phản hồi khi nạp tài liệu hoặc kết quả từ công cụ (tool results) trong các tác vụ AI agent.
  • Cung cấp API server tương thích OpenAI cục bộ để phục vụ các ứng dụng AI cá nhân bảo mật dữ liệu.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1ollama/ollamaGet up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.185.2k+908
  2. 2flutter/flutterFlutter makes it easy and fast to build beautiful apps for mobile and beyond180.6k+247
  3. 3huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.168.3k+326
  4. 4jlevy/the-art-of-command-lineMaster the command line, in one page162.6k+40
  5. 5rustdesk/rustdeskAn open-source remote desktop application designed for self-hosting, as an alternative to TeamViewer.127.5k+862

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.

Đăng nhập