Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

peonist-ai/halogen-flash-server

Public

Local inference that behaves like a frontier API: Qwen3.8-Flash-Next on AMD Strix Halo plus small NPU models, over the OpenAI and Anthropic APIs on one port.

amdgfx1151gpu-inferencehipinference-enginellmllm-servinglocal-llmlong-contextmixture-of-expertsopenai-apiqwenqwen3radeonrocmryzen-aispeculative-decodingstrix-halo
Star1.2kFork80Watch35Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 28/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Server suy luận cục bộ tối ưu hóa riêng cho Qwen3.8-Flash-Next trên phần cứng AMD Strix Halo, cung cấp API tương thích OpenAI và Anthropic trên cùng một cổng.

  • Mọi kernel được viết chuyên biệt cho dòng GPU và kiến trúc mô hình duy nhất này, không dùng runtime đa mục đích.
  • Tối ưu cho agent: bắt đầu phản hồi lượt mới sau khoảng 1,6 giây với ngữ cảnh từ 30.000 đến 96.000 token.
  • Đảm bảo suy luận byte-identical với serial greedy decode ở mức temperature 0 khi bật speculative decoding.
  • Hỗ trợ đọc trực tiếp định dạng GGUF của llama.cpp mà không cần bước chuyển đổi.

Lưu ý

  • Chỉ hoạt động trên phần cứng AMD Strix Halo (Ryzen AI Max+); không có runtime đa năng hay cơ chế fallback.
  • Cần cấu hình tối thiểu hóa UMA frame buffer trong BIOS thay vì để Auto để tránh thiếu RAM hệ thống.
  • Không hỗ trợ stream cùng logprobs, không hỗ trợ logprobs vượt token đầu tiên ở greedy, và từ chối n > 1.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến29
  • Độ tươi100
  • Cộng đồng44
  • Tài liệu100
  • Phát hành20
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · DevOps
  • Loại dự ánỨng dụng
  • Giấy phépKhông có

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Docker
  • Bash
  • OpenAI API
  • Anthropic API
  • Llllama.cpp
  • Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • deploy/Chứa các cấu hình và kịch bản triển khai hệ thống.
  • docs/Tài liệu kỹ thuật chi tiết về cấu hình, lượng tử hóa và đo kiểm.
  • tools/Các tiện ích hỗ trợ vận hành và kiểm thử máy chủ suy luận.
  • website/Mã nguồn trang thông tin và tài liệu web.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/peonist-ai/halogen-flash-server.git
cd halogen-flash-server

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Chạy suy luận cục bộ cho các tác vụ coding agent yêu cầu cửa sổ ngữ cảnh lớn với tốc độ cao.
  • Cung cấp endpoint tương thích chuẩn OpenAI (/v1) và Anthropic cho các ứng dụng AI.
  • Xử lý đa phương thức với hình ảnh qua sidecar vision tower tùy chọn.
  • Chạy trực tiếp các checkpoint lượng tử hóa tùy chỉnh hoặc file GGUF trên chip AMD Ryzen AI.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.294.8k+6k
  2. 2NousResearch/hermes-agentThe agent that grows with you259.5k+2.4k
  3. 3firecrawl/firecrawlSupercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥197.7k+2.4k
  4. 4Significant-Gravitas/AutoGPTAutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.187.9k+120
  5. 5ollama/ollamaGet up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.185.6k+822

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 28/10/2026.

Đăng nhập