NVIDIA/kvpress

Public

LLM KV cache compression made easy

Repo này không có README

Chủ repo chưa viết README, hoặc file chưa được đồng bộ về Bee. Xem trực tiếp trên GitHub.

Chưa có bản tóm tắt AI cho repo này. Bấm nút bên dưới để Bee AI đọc README và tóm tắt.

Độ phổ biến30/100

Xu hướng+4stars tuần này

Điểm Bee63/100

Mức độ khó · Phù hợp với · Loại dự án — có sau khi phân tích

Hôm nay đã hết lượt phân tích hoặc tính năng đang tắt. Thử lại sau.

git clone https://github.com/NVIDIA/kvpress.git

Chủ sở hữuNVIDIA

Ngày tạo07/11/2024

Push gần nhất5 ngày trước

Kích thước7.6 MB

Nhánh mặc địnhmain

Giấy phépApache-2.0

Trạng tháiĐang hoạt động

Dữ liệu chụp2 giờ trước

Chủ đềinference, kv-cache, kv-cache-compression, large-language-models, llm, long-context, python, pytorch, transformers

Bee cung cấp API cho hơn 100 model, tính tiền VND.