Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

Mesh-LLM/mesh-llm

Public

Distributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.

agentsaidecentralizeddistributedllm
Star3.7kFork478Watch19Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 28/09/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Hệ thống AI/LLM phân tán viết bằng Rust giúp gộp tài nguyên GPU và bộ nhớ từ nhiều máy thành một endpoint API chuẩn OpenAI. Phù hợp cho nhà phát triển muốn tự host mô hình lớn hoặc chia sẻ năng lực tính toán qua mạng P2P an toàn.

  • Cung cấp API tương thích OpenAI tại cổng 9337 và giao diện điều khiển web trên cổng 3131.
  • Tự động phân chia mô hình lớn qua nhiều máy bằng kiến trúc phân tầng Skippy stage splits.
  • Mã hóa toàn diện lưu lượng P2P qua QUIC và Iroh relay để bảo mật kết nối và truyền tensor.
  • Hỗ trợ Mixture-of-Agents thử nghiệm để gửi song song một prompt tới mọi mô hình trong mạng mesh.

Lưu ý

  • Dự án là phần mềm hệ thống phân tán đang trong giai đoạn thử nghiệm; tính năng MoA gateway còn ở dạng preview.
  • Phiên bản native trên Windows CUDA gặp một số lỗi cài đặt và tải DLL ở bản v0.76.0-rc8, yêu cầu xử lý thủ công hoặc dùng WSL2.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến61
  • Độ tươi100
  • Cộng đồng43
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · DevOps
  • Loại dự ánỨng dụng
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Rust
  • CUDA
  • Docker
  • CMake
  • Bash
  • PowerShell
  • OpenAI API
  • Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • crates/Mã nguồn các thư viện và module Rust cốt lõi
  • docs/Tài liệu kỹ thuật, hướng dẫn cài đặt và thiết kế kiến trúc
  • docker/Dockerfile và cấu hình container cho môi trường chạy
  • evals/Công cụ và kịch bản đánh giá mô hình
  • recipes/Công thức và kịch bản thiết lập mô hình/hệ thống mẫu
  • website/Mã nguồn trang web và giao diện điều khiển console
  • sdk/Bộ công cụ phát triển phần mềm hỗ trợ tích hợp

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/Mesh-LLM/mesh-llm.git
cd mesh-llm

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy mô hình LLM và multimodal kích thước lớn vượt quá VRAM của một máy đơn lẻ.
  • Xây dựng cụm tính toán AI riêng tư hoặc công khai giữa nhiều máy tính qua mạng LAN hoặc Internet.
  • Cung cấp endpoint OpenAI nội bộ cho các trợ lý lập trình như Goose, OpenCode hay Claude Code.
  • Phát triển và kiểm thử mô hình GGUF cục bộ ở chế độ độc lập bằng cờ --local-model-only.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.411.9k+39.2k
  2. 2openclaw/openclawThe AI that really does things. Any OS. Any Platform. The lobster way. 🦞393.5k+592
  3. 3obra/superpowersAn agentic skills framework & software development methodology that works.309.3k+5.1k
  4. 4affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.293.3k+6.1k
  5. 5NousResearch/hermes-agentThe agent that grows with you258.9k+2.3k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 28/09/2026.

Đăng nhập