Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

Niko1221/Strata

Public

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

Star24.6kFork2.5kWatch132Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 08/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Inference engine và local server cho phép chạy mô hình 125B Qwen3.8-Flash-Next trên máy tính cá nhân trang bị GPU NVIDIA 12–24 GB VRAM cùng 64 GB RAM. Dự án cung cấp giao diện web và API tương thích OpenAI/Anthropic trên localhost cho lập trình viên.

  • Chạy mô hình 125B Qwen3.8-Flash-Next trên phần cứng gaming thông thường với tốc độ 60–95 tokens/giây trên RTX 5070.
  • Phân chia tải tính toán thông minh giữa GPU, RAM hệ thống (cho các MoE expert), và bảng tra cứu trên ổ SSD.
  • Tích hợp sẵn endpoint cục bộ tương thích với API của cả OpenAI và Anthropic, hỗ trợ nhập hình ảnh.
  • Kế thừa các thành phần từ llama.cpp/ggml và tích hợp khả năng suy đoán từ tiếp theo để tăng tốc 1.6–1.8 lần.

Lưu ý

  • Yêu cầu phần cứng cao: Cần GPU NVIDIA RTX 30/40/50 (tối thiểu 12 GB VRAM), 48–64 GB RAM và ~80 GB dung lượng ổ đĩa trống.
  • Hệ thống chỉ xử lý tuần tự một yêu cầu (single request) tại một thời điểm.
  • Trong lần khởi động đầu tiên, máy tính có thể bị đơ tạm thời vài phút khi tải 35–55 GB vào RAM và khóa bộ nhớ đồ họa.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến96
  • Độ tươi100
  • Cộng đồng35
  • Tài liệu85
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánỨng dụng
  • Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • C++
  • CMake
  • Python
  • CUDA
  • Docker
  • Llllama.cpp

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • src/Mã nguồn C++ chính của inference engine Strata.
  • include/Các tệp header C++ cho engine.
  • serve/Module server cung cấp giao diện web và API tương thích OpenAI/Anthropic.
  • bench/Các bài kiểm tra benchmark và đo lường hiệu năng suy luận.
  • tests/Bộ test tự động cho dự án.
  • third_party/Mã nguồn thư viện bên thứ ba (bao gồm các thành phần llama.cpp/ggml).
  • tools/Các tiện ích bổ trợ cho chuyển đổi và chuẩn bị mô hình.
  • docs/Tài liệu chi tiết và hướng dẫn kỹ thuật.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/Niko1221/Strata.git
cd Strata

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy các mô hình suy luận và coding LLM kích thước lớn trực tiếp trên máy cục bộ không phụ thuộc cloud API.
  • Kết nối các agent lập trình hoặc ứng dụng của bên thứ ba qua API tương thích OpenAI tại http://127.0.0.1:8080/v1.
  • Tương tác và theo dõi hiệu năng phần cứng qua giao diện web Strata hoặc qua script dòng lệnh `chat.py`.
  • Xử lý đa phương thức kết hợp văn bản và hình ảnh trực tiếp trên máy cá nhân.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1tensorflow/tensorflowAn Open Source Machine Learning Framework for Everyone200.9k+202
  2. 2ggml-org/llama.cppLLM inference in C/C++131.1k+465
  3. 3react/react-nativeA framework for building native applications using React126.7k-149
  4. 4electron/electron:electron: Build cross-platform desktop apps with JavaScript, HTML, and CSS123.3k-117
  5. 5godotengine/godotGodot Engine – Multi-platform 2D and 3D game engine118.5k+227

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.

Đăng nhập