Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

confident-ai/deepeval

Public

The LLM Evaluation Framework

evaluation-frameworkevaluation-metricsllm-evaluationllm-evaluation-frameworkllm-evaluation-metricspython
Star19.2kFork2.2kWatch64Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 12/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

DeepEval là framework mã nguồn mở đánh giá và kiểm thử đơn vị cho ứng dụng LLM, RAG và AI Agent. Dự án dành cho các kỹ sư và nhà phát triển AI muốn đo lường chất lượng mô hình tương tự Pytest.

  • Hỗ trợ nhiều nhóm metric gồm G-Eval, RAG, tác tử (Agentic), đa lượt hội thoại, đa phương thức và MCP.
  • Đánh giá end-to-end theo kiểu hộp đen lẫn component-level qua việc ghi nhận toàn bộ trajectory của agent.
  • Tích hợp sẵn với nhiều framework như LangChain, LangGraph, LlamaIndex, OpenAI, Anthropic và Mastra.
  • Tự động sinh dataset tổng hợp đơn lượt hoặc đa lượt và benchmark các LLM phổ biến dưới 10 dòng code.

Lưu ý

  • Yêu cầu phiên bản Python từ 3.9 trở lên.
  • Các tính năng lưu trữ báo cáo tập trung và giám sát sản xuất phụ thuộc vào nền tảng đám mây Confident AI.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến95
  • Độ tươi100
  • Cộng đồng36
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · Dữ liệu
  • Loại dự ánFramework
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • TypeScript
  • pytest
  • OpenAI API
  • Anthropic API
  • LangChain
  • LlLlamaIndex
  • MCP
  • SQLite
  • Docker

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • deepeval/Mã nguồn chính của framework DeepEval bao gồm các metric và tích hợp.
  • docs/Tài liệu hướng dẫn sử dụng và API tham khảo.
  • examples/Các ví dụ mẫu kiểm thử và tích hợp LLM.
  • tests/Bộ kiểm thử tự động của dự án DeepEval.
  • typescript/Thành phần và gói hỗ trợ cho hệ sinh thái TypeScript.
  • skills/Tích hợp trợ lý mã hóa (coding agent skill).

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/confident-ai/deepeval.git
cd deepeval

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Viết unit test cho pipeline RAG để đo độ liên quan câu trả lời, độ trung thực và ngữ cảnh truy xuất.
  • Theo dõi và đánh giá chuỗi hành động, công cụ và mức độ hoàn thành nhiệm vụ của AI Agent.
  • Chạy benchmark LLM (MMLU, GSM8K, HumanEval) để so sánh các mô hình trước khi triển khai.
  • Kiểm thử phát hiện ảo giác (hallucination), tính độc hại, độ lệch chuẩn và định dạng JSON đầu ra.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.376.2k+918
  2. 2vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"331.4k+1.7k
  3. 3practical-tutorials/project-based-learningCurated list of project-based tutorials288.5k+765
  4. 4TheAlgorithms/PythonAll Algorithms implemented in Python225.7k+229
  5. 5yt-dlp/yt-dlpA feature-rich command-line audio/video downloader204k+3k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 12/10/2026.

Đăng nhập