Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

EvolvingLMMs-Lab/lmms-eval

Public

One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks

agiaudio-evaluationbenchmarkevaluationlarge-language-modelsllm-evaluationmultimodalmultimodal-evaluationvideo-understandingvision-language-modelvlm
Star4.5kFork683Watch10Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 30/09/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

LMMs-Eval là bộ công cụ đánh giá thống nhất dành cho các mô hình đa phương thức lớn (LMMs), hỗ trợ toàn diện các tác vụ văn bản, hình ảnh, video và âm thanh. Dự án hướng tới các nhà nghiên cứu và kỹ sư AI cần một hệ thống đo lường hiệu năng mô hình chuẩn hóa, có thể tái lập và đáng tin cậy.

  • Hỗ trợ hơn 100 tác vụ đánh giá và hơn 30 họ mô hình khác nhau qua các phương thức văn bản, hình ảnh, video và âm thanh.
  • Tích hợp sẵn các backend suy luận tốc độ cao như vLLM, SGLang và hỗ trợ các API tương thích chuẩn OpenAI.
  • Cung cấp HTTP Evaluation Server độc lập phục vụ quy trình đánh giá bất đồng bộ, không làm nghẽn tiến trình huấn luyện.
  • Đi kèm giao diện Web UI tùy chọn để duyệt tác vụ, xem trực tiếp luồng đánh giá và phân tích kết quả lưu trữ.

Lưu ý

  • Server đánh giá HTTP chỉ dành cho mạng tin cậy; không nên mở trực tiếp ra internet mà không có lớp bảo mật bổ sung.
  • Đánh giá các tập dữ liệu chú thích (caption) như COCO, refcoco hay nocaps yêu cầu phải cài đặt Java 1.8.0 để pycocoeval API hoạt động.
  • Sự khác biệt về phiên bản PyTorch hoặc CUDA có thể gây ra những chênh lệch nhỏ khi tái lập kết quả so với các công bố gốc.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến70
  • Độ tươi100
  • Cộng đồng48
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiNhà nghiên cứu · Lập trình viên
  • Loại dự ánFramework
  • Giấy phépKhông có

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • PyTorch
  • CUDA
  • vLLM
  • Hugging Face
  • OpenAI API
  • Weights & Biases
  • Node.js
  • Bash

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • lmms_eval/Mã nguồn chính của framework gồm API, định nghĩa mô hình, tác vụ đánh giá và giao thức tin nhắn.
  • configs/Chứa các tệp cấu hình mẫu cho việc đánh giá và thiết lập mô hình.
  • docs/Tài liệu hướng dẫn sử dụng, tích hợp mô hình, benchmark và lệnh CLI.
  • examples/Các ví dụ và script shell chạy đánh giá với vLLM, SGLang hoặc API OpenAI.
  • tools/Bộ công cụ bổ trợ và các tiện ích hỗ trợ phân tích dữ liệu hoặc xuất kết quả.
  • test/Bộ mã kiểm thử tự động cho hệ thống đánh giá.
  • cicd/Các kịch bản tự động hóa CI/CD cho quy trình phát triển và kiểm tra.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
cd lmms-eval

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Đánh giá năng lực mô hình thị giác-ngôn ngữ trên các benchmark học thuật như MMMU, MME, MMBench hoặc MathVista.
  • Kiểm thử mô hình xử lý video và âm thanh chuyên sâu với VideoMME, EgoSchema hoặc các tác vụ nhận dạng tiếng nói.
  • Tích hợp quy trình đánh giá tự động định kỳ vào quá trình huấn luyện mô hình thông qua HTTP evaluation server.
  • Thử nghiệm mô hình hoặc tập dữ liệu tùy chỉnh bằng cách định nghĩa cấu hình YAML và hàm doc_to_messages.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.168.5k+305
  2. 2langflow-ai/langflowLangflow is a powerful tool for building and deploying AI-powered agents and workflows.156.3k+251
  3. 3rasbt/LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step107.7k+353
  4. 4mlabonne/llm-courseCourse to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.84.9k+138
  5. 5hiyouga/LlamaFactoryUnified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)75.9k+125

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 30/09/2026.

Đăng nhập