Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

zilliztech/GPTCache

Public

Semantic cache for LLMs. Fully integrated with LangChain and llama_index.

aigcautogptbabyagichatbotchatgptchatgpt-apidollygptlangchainllamallama-indexllmmemcachemilvusopenairedissemantic-searchsimilarity-searchvector-search
Star8.2kFork602Watch60Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 01/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Thư viện Python cung cấp bộ nhớ đệm ngữ nghĩa (semantic cache) cho các truy vấn LLM, giúp giảm chi phí gọi API và tăng tốc độ phản hồi cho các nhà phát triển ứng dụng AI.

  • Hỗ trợ tích hợp sẵn với LangChain và LlamaIndex.
  • Hỗ trợ cả khớp truy vấn chính xác (exact match) lẫn tìm kiếm tương đồng theo ngữ nghĩa (similarity search).
  • Kiến trúc module linh hoạt cho phép tùy biến Embedding Generator, Cache Storage, Vector Store và Similarity Evaluator.
  • Hỗ trợ mở rộng theo chiều ngang thông qua Docker image và cơ chế bộ nhớ đệm phân tán với Redis.

Lưu ý

  • Dự án đang trong quá trình phát triển nhanh, API có thể thay đổi bất kỳ lúc nào.
  • Nhóm phát triển không bổ sung thêm hỗ trợ cho các mô hình hoặc API mới, khuyến khích sử dụng trực tiếp get và set API.
  • Cơ chế loại bỏ cache trong bộ nhớ hiện chỉ dựa trên số dòng, có thể dẫn đến đánh giá tài nguyên chưa chuẩn và nguy cơ lỗi OOM.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến84
  • Độ tươi60
  • Cộng đồng28
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · Dữ liệu
  • Loại dự ánThư viện
  • Giấy phépMIT

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • OpenAI API
  • LangChain
  • LlLlamaIndex
  • ONNX
  • Transformers
  • Hugging Face
  • SQLite
  • DuckDB
  • PostgreSQL
  • Redis
  • Docker

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • gptcache/Mã nguồn chính của thư viện chứa bộ điều hợp, quản lý cache, embedding và đánh giá độ tương đồng.
  • gptcache_server/Mã nguồn triển khai dịch vụ máy chủ độc lập cho GPTCache.
  • examples/Các ví dụ mẫu hướng dẫn cách cấu hình và tích hợp GPTCache với các LLM và storage khác nhau.
  • docs/Tài liệu hướng dẫn sử dụng và thông tin chi tiết về các tính năng.
  • scripts/Tập lệnh hỗ trợ kiểm tra và tiện ích phát triển.
  • tests/Bộ mã kiểm thử đơn vị và tích hợp cho dự án.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/zilliztech/GPTCache.git
cd GPTCache

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Lưu trữ bộ nhớ đệm ngữ nghĩa cho các cuộc trò chuyện OpenAI ChatGPT nhằm giảm chi phí API.
  • Tăng tốc độ truy xuất và giảm độ trễ cho các hệ thống hỏi đáp (QA) hoặc tìm kiếm tài liệu.
  • Giả lập dữ liệu và kiểm thử ứng dụng LLM nội bộ mà không cần phụ thuộc vào kết nối API trực tiếp.
  • Lưu trữ cache cho các tác vụ đa phương thức như tạo ảnh hoặc chuyển giọng nói thành văn bản.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.411.9k+39.2k
  2. 2affaan-m/ECCThe agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.293.3k+6.1k
  3. 3NousResearch/hermes-agentThe agent that grows with you258.9k+2.3k
  4. 4firecrawl/firecrawlSupercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥197.1k+2.4k
  5. 5microsoft/markitdownPython tool for converting files and office documents to Markdown.193.1k+1.2k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 01/10/2026.

Đăng nhập