gufo-org/gufo

Public

The Open Source Strix Halo AI engine. Qwen 3.8 Flash Next Q4_K_XL: 1787.54 pp, 73.17 tg single user, 194.37 tok/s 8 users; Qwen 3.8 27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2

amd gfx1151 llm ryzen-ai strix-halo

Star789 Fork113 Watch15 Mở trên GitHub

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 08/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Gufo là inference engine cục bộ chuyên biệt và tối ưu riêng cho kiến trúc phần cứng AMD Strix Halo (Ryzen AI MAX+ 395 với Radeon 8060S gfx1151 và bộ nhớ hợp nhất lên đến 128 GiB). Dự án dành cho các kỹ sư và nhà nghiên cứu muốn triển khai mô hình AI đa phương thức (văn bản, giọng nói, hình ảnh, video) đạt hiệu năng cao trên APU AMD.

Tối ưu chuyên biệt cho phần cứng AMD Strix Halo (gfx1151) với bộ nhớ hợp nhất lên tới 128 GiB thông qua ROCm HIP.
Hỗ trợ đa phương thức bao gồm LLM (Qwen, DeepSeek), nhận dạng giọng nói (ASR), tổng hợp giọng nói (TTS), tạo hình ảnh và video.
Tích hợp sẵn các phương pháp speculative decoding như DFlash2, MTP và DSpark giúp tăng tốc độ sinh token.
Cung cấp API tương thích OpenAI hỗ trợ continuous batching, streaming, hủy yêu cầu và cache hội thoại.

Lưu ý

Chỉ hỗ trợ mục tiêu phần cứng Linux x86-64 trên AMD Strix Halo (gfx1151) với ROCm; yêu cầu quyền truy cập /dev/kfd và /dev/dri.
Bản port cho Windows và Gufo RDMA cho Dual Strix Halo hiện là các nhánh riêng biệt chưa được gộp vào mã nguồn chính.
Trọng số mô hình (weights) không đi kèm trong repository mà phải tự tải riêng từ các nhà phát hành.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

69/100Điểm tổng thể

Độ phổ biến19
Độ tươi100
Cộng đồng58
Tài liệu100
Phát hành100

Mức độ khóNâng cao
Phù hợp vớiLập trình viên · Nhà nghiên cứu
Loại dự ánỨng dụng
Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

C++
CMake
NixOS
FFFFmpeg
Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

RepositorygufoỨng dụng

Công nghệ chính

C++

src/Mã nguồn chính bằng C++ và GPU kernel HIP cho engine suy luận.
cmake/Các tệp cấu hình và module mở rộng cho hệ thống build CMake.
docs/Tài liệu kỹ thuật chi tiết về các mô hình và điểm chuẩn hiệu năng.
tests/Bộ mã kiểm thử độ chính xác và chất lượng mô hình.
tools/Các công cụ phát triển, đánh giá và profiling phụ trợ.
licenses/Thông tin giấy phép bản quyền của các thư viện và mã nguồn phụ thuộc.

src/Mã nguồn chính bằng C++ và GPU kernel HIP cho engine suy luận.
cmake/Các tệp cấu hình và module mở rộng cho hệ thống build CMake.
docs/Tài liệu kỹ thuật chi tiết về các mô hình và điểm chuẩn hiệu năng.
tests/Bộ mã kiểm thử độ chính xác và chất lượng mô hình.
tools/Các công cụ phát triển, đánh giá và profiling phụ trợ.
licenses/Thông tin giấy phép bản quyền của các thư viện và mã nguồn phụ thuộc.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash

git clone https://github.com/gufo-org/gufo.git
cd gufo

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

Triển khai máy chủ suy luận LLM cục bộ tốc độ cao với giao diện API tương thích OpenAI cho Open WebUI hoặc VS Code.
Chạy mô hình nhận dạng giọng nói (Qwen3-ASR) và tổng hợp giọng nói / nhân bản giọng (Qwen3-TTS) thời gian thực.
Tăng tốc suy luận văn bản lớn với speculative decoding (DFlash2, MTP, DSpark) trên bộ nhớ hợp nhất của AMD.
Thực thi các pipeline sinh hình ảnh (Qwen-Image-2.1) và video/âm thanh (MiniMax H3) trực tiếp trên máy trạm.

Repository tương tự

Cùng chủ đề trong kho Bee.

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 08/10/2026.