Michael-A-Kuykendall/shimmy
Public⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 07/10/2026
Tóm tắt bởi Bee AI
Shimmy là server suy luận LLM viết hoàn toàn bằng Rust, tương thích với OpenAI API và sử dụng engine WebGPU thuần (Airframe) để chạy các mô hình GGUF trực tiếp trên nhiều loại GPU mà không cần Python hay C++ runtime.
- Được xây dựng 100% bằng Rust và compute shader WGSL, không phụ thuộc vào Python hay llama.cpp.
- Tương thích với OpenAI SDK, hỗ trợ chat completions, text completions và streaming.
- Tính năng TurboShimmy INT4 KV cache giúp giảm khoảng 7 lần bộ nhớ KV cache trên GPU.
- Đã chứng nhận 26 mô hình/lượng tử hóa trên 12 họ mô hình (Llama, Qwen, Gemma, Phi, DeepSeek, v.v.).
Lưu ý
- Hỗ trợ SafeTensors nguyên bản (Airframe-native inference) và MoE offloading vẫn đang trong lộ trình phát triển.
- Chỉ các cặp mô hình và quantization được chứng nhận mới đảm bảo vượt qua quy trình kiểm thử determinism và inference.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến78
- Độ tươi100
- Cộng đồng35
- Tài liệu100
- Phát hành100
- Mức độ khóTrung bình
- Phù hợp vớiLập trình viên · DevOps
- Loại dự ánỨng dụng
- Giấy phépApache-2.0
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Rust
Docker
OpenAI API
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
src/Mã nguồn chính bằng Rust của máy chủ Shimmybenches/Bộ đo lường hiệu năng suy luận (benchmarks)docs/Tài liệu kỹ thuật, hướng dẫn cài đặt và thông số kiểm thửtests/Các bộ kiểm thử tích hợp và kiểm thử xác thựcdeploy/Cấu hình triển khai ứng dụngscripts/Tập lệnh tự động hóa hỗ trợ phát triển và phát hành
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/Michael-A-Kuykendall/shimmy.git
cd shimmyCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Chạy máy chủ suy luận LLM cục bộ thay thế nhẹ hơn cho Ollama với dung lượng RAM thấp.
- Tích hợp các công cụ AI hiện có sử dụng chuẩn OpenAI API để kết nối trực tiếp đến mô hình GGUF nội bộ.
- Chạy mô hình AI trên các GPU dung lượng VRAM hạn chế (4GB) bằng TurboShimmy INT4 KV cache.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.418.5k+34.2k
- 2
affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.294.8k+5.9k
- 3
tensorflow/tensorflowAn Open Source Machine Learning Framework for Everyone201.3k+12
- 4
ollama/ollamaGet up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.185.6k+844
- 5
DietrichGebert/ponytailMakes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.182.1k+5.9k
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 07/10/2026.