FareedKhan-dev/kimi-k3-in-c
PublicA 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 07/10/2026
Tóm tắt bởi Bee AI
Bộ suy luận (inference engine) thuần C99 cho mô hình Kimi K3 quy mô 2,78 nghìn tỷ tham số, có thể chạy trên CPU đơn với bộ nhớ RAM chỉ từ 8,24 GB mà không cần BLAS, framework hay GPU.
- Chạy mô hình 2,78 nghìn tỷ tham số (checkpoint 1,56 TB) trên CPU đơn với đỉnh RAM đo được là 8,24 GB.
- Viết bằng C99 thuần túy không phụ thuộc framework, không BLAS, và kích thước toàn bộ engine chỉ 176 KB.
- Đảm bảo kết quả đầu ra giống nhau từng byte trên các cấu hình máy từ 8 GB đến 224 GB RAM.
- Kết hợp streaming trunk với bộ nhớ đệm LRU cho routed experts để biến rào cản RAM thành tùy chỉnh tốc độ.
Lưu ý
- Yêu cầu dung lượng ổ đĩa rất lớn (~1,7 TB trống: 1,56 TB checkpoint và 109 GB packed trunk), lý tưởng nhất là ổ NVMe nhanh.
- Yêu cầu vi xử lý hỗ trợ tập lệnh AVX2 + FMA (mặc dù có bản dựng tương thích macOS/arm64 và Windows).
- Giao diện chat hiện chỉ hỗ trợ văn bản thô, chưa có công cụ (tools), xử lý hình ảnh, máy chủ HTTP hoặc context compaction.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến87
- Độ tươi60
- Cộng đồng56
- Tài liệu100
- Phát hành100
- Mức độ khóNâng cao
- Phù hợp vớiLập trình viên · Nhà nghiên cứu
- Loại dự ánCông cụ
- Giấy phépApache-2.0
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
C
CMake
Python
NumPy
Bash
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
src/Mã nguồn chính bằng C bao gồm các kernel tính toán và xử lý I/O.include/Các file header C định nghĩa giao diện và cấu trúc dữ liệu của engine.scripts/Kịch bản shell hỗ trợ kiểm tra môi trường, tải mô hình và đóng gói trunk.tools/Các công cụ phụ trợ (Python) để mô phỏng bộ đệm cache và so sánh logits.tests/Bộ test suite và dữ liệu fixtures đối chiếu với PyTorch reference.docs/Tài liệu kỹ thuật và kết quả đo đạc thực nghiệm.examples/Ví dụ mẫu minh họa cách sử dụng hệ thống.benchmarks/Mã nguồn và kịch bản phục vụ việc đo đạc hiệu năng.
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
cd kimi-k3-in-cCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Thực hiện suy luận LLM siêu lớn (Kimi K3) trên phần cứng thông thường như laptop hoặc máy trạm chỉ có CPU.
- Chạy hội thoại nhiều lượt bằng XTML REPL chính thức của Kimi K3 và lưu trữ lịch sử dưới định dạng JSONL.
- Ghi nhận trace truy cập cache chuyên gia và mô phỏng hiệu năng bộ đệm ngoại tuyến bằng Python.
- So sánh logits từng phần tử trực tiếp với phiên bản tham chiếu PyTorch để kiểm định tính đúng đắn.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.294k+6k
- 2
NousResearch/hermes-agentThe agent that grows with you259.2k+2.4k
- 3
tensorflow/tensorflowAn Open Source Machine Learning Framework for Everyone201.3k+24
- 4
firecrawl/firecrawlSupercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥197.4k+2.4k
- 5
Significant-Gravitas/AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.187.8k+120
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 07/10/2026.