maximhq/bifrost

Public

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.

Star9.2k Fork1.5k Watch34 Mở trên GitHub

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 29/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Bifrost là AI gateway hiệu năng cao mã nguồn mở viết bằng Go, hợp nhất hơn 23 nhà cung cấp mô hình AI qua một API chuẩn OpenAI. Hệ thống hỗ trợ failover tự động, cân bằng tải, semantic caching và giao thức MCP cho các lập trình viên và nhóm phát triển.

Cung cấp một endpoint tương thích OpenAI duy nhất cho hơn 23 nhà cung cấp (OpenAI, Anthropic, Bedrock, Vertex, Ollama,...).
Độ trễ bổ sung cực thấp (dưới 15 µs mỗi request) và đạt 100% tỉ lệ thành công trong thử nghiệm tải 5.000 RPS.
Tích hợp sẵn Model Context Protocol (MCP), semantic caching, quản lý ngân sách và giao diện web UI trực quan.
Thay thế drop-in cho các SDK của OpenAI, Anthropic và Google GenAI chỉ với việc đổi base URL.

Lưu ý

Một số tính năng nâng cao (như clustering, adaptive load balancing, guardrails doanh nghiệp) thuộc diện enterprise deployment.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

88/100Điểm tổng thể

Độ phổ biến86
Độ tươi100
Cộng đồng51
Tài liệu100
Phát hành100

Mức độ khóTrung bình
Phù hợp vớiLập trình viên · DevOps
Loại dự ánCông cụ
Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

Go
Docker
Prometheus
OpenAI API
Anthropic API
Ollama
LangChain
MCP

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

RepositorybifrostCông cụ

Công nghệ chính

core/Chứa logic cốt lõi và các adapter triển khai cho từng nhà cung cấp AI.
framework/Các thành phần lưu trữ cấu hình, nhật ký request và vector store.
transports/Lớp giao tiếp HTTP gateway và các interface.
plugins/Hệ thống plugin mở rộng cho governance, logging, caching và telemetry.
ui/Mã nguồn giao diện web dùng để cấu hình và giám sát gateway.
helm-charts/Biểu đồ Helm phục vụ triển khai Bifrost lên Kubernetes.
examples/Ví dụ tích hợp và kịch bản sử dụng.
tests/Bộ kiểm thử toàn diện của dự án.

core/Chứa logic cốt lõi và các adapter triển khai cho từng nhà cung cấp AI.
framework/Các thành phần lưu trữ cấu hình, nhật ký request và vector store.
transports/Lớp giao tiếp HTTP gateway và các interface.
plugins/Hệ thống plugin mở rộng cho governance, logging, caching và telemetry.
ui/Mã nguồn giao diện web dùng để cấu hình và giám sát gateway.
helm-charts/Biểu đồ Helm phục vụ triển khai Bifrost lên Kubernetes.
examples/Ví dụ tích hợp và kịch bản sử dụng.
tests/Bộ kiểm thử toàn diện của dự án.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash

git clone https://github.com/maximhq/bifrost.git
cd bifrost

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

Định tuyến và cân bằng tải các request AI qua nhiều API key và nhà cung cấp khác nhau nhằm tăng tính sẵn sàng.
Giảm chi phí và độ trễ truy vấn LLM thông qua cơ chế semantic caching.
Kết nối các công cụ ngoài (filesystem, database, web search) với mô hình AI thông qua MCP gateway.
Tích hợp trực tiếp vào ứng dụng Go thông qua gói core SDK độc lập.

Repository tương tự

Cùng chủ đề trong kho Bee.

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 29/10/2026.