EleutherAI/lm-evaluation-harness
PublicA framework for few-shot evaluation of language models.
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 24/09/2026
Tóm tắt bởi Bee AI
Khung chuẩn hóa hợp nhất để đánh giá mô hình ngôn ngữ sinh (LLMs) trên hàng chục benchmark học thuật tiêu chuẩn với hỗ trợ zero/few-shot linh hoạt.
- Đóng vai trò là backend cho bảng xếp hạng nổi tiếng Hugging Face Open LLM Leaderboard.
- Hơn 60 benchmark học thuật tiêu chuẩn cho LLM với hàng trăm task con và biến thể.
- Hỗ trợ đa dạng backend: Hugging Face transformers, vLLM, SGLang, ONNX Runtime, llama.cpp server và API thương mại.
- Cho phép cấu hình task dựa trên YAML, Jinja2 prompt design và kiến trúc plugin không cần fork repo.
Lưu ý
- Không hỗ trợ trực tiếp đánh giá đa máy (multi-node) mặc định cho backend hf; cần dùng server ngoài hoặc cấu hình phân tán tùy chỉnh.
- Backend ONNX Runtime hiện chỉ hỗ trợ các tác vụ loglikelihood/multiple choice/rolling; tác vụ sinh text cần chuyển sang backend onnxruntime-genai.
- Các backend mô hình (hf, vllm, api, onnxruntime) không nằm trong gói cơ sở mà phải cài riêng qua optional extras.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến92
- Độ tươi60
- Cộng đồng63
- Tài liệu100
- Phát hành100
- Mức độ khóTrung bình
- Phù hợp vớiNhà nghiên cứu · Lập trình viên
- Loại dự ánFramework
- Giấy phépMIT
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Python
PyTorch
Transformers
Hugging Face
vLLM- Llllama.cpp
ONNX
CUDA
Triton
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
lm_eval/Mã nguồn chính của framework đánh giá, bao gồm các backend mô hình, tác vụ, bộ lọc và chỉ số.docs/Tài liệu hướng dẫn chi tiết về CLI, cấu hình YAML và API Python.examples/Các ví dụ minh họa cách cấu hình và chạy harness.scripts/Các tiện ích phụ trợ cho chuẩn bị dữ liệu và thực thi mở rộng.templates/Các template mẫu cấu hình hoặc mẫu prompt.tests/Bộ unit test và integration test của dự án.
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
cd lm-evaluation-harnessCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Đo lường năng lực các mô hình sinh mã nguồn mở trên các bài test như HellaSwag, ARC, MMLU hay GSM8K.
- Chạy suy luận đánh giá song song đa GPU tối ưu bộ nhớ thông qua Hugging Face Accelerate, Tensor Parallelism hoặc vLLM.
- Đánh giá các mô hình định dạng GGUF hoặc ONNX Runtime GenAI trực tiếp trên phần cứng máy tính cục bộ.
- Xây dựng và benchmark các tập prompt hoặc tập dữ liệu đánh giá tùy biến bằng cấu hình YAML.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.168.4k+319
- 2
microsoft/generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI122.5k+499
- 3
rasbt/LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step107.6k+406
- 4
vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMs95.9k+685
- 5
dair-ai/Prompt-Engineering-Guide🐙 Guides, papers, lessons, notebooks and resources for prompt engineering, context engineering, RAG, and AI Agents.79.7k+222
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 24/09/2026.