Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

vllm-project/vllm-omni

Public

A framework for efficient model inference with omni-modality models

audio-generationdiffusionimage-generationinferencemodel-servingmultimodalpytorchtransformervideo-generationworld-model
Star7.5kFork2kWatch60Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 29/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

vLLM-Omni là framework mở rộng từ vLLM phục vụ suy luận và triển khai mô hình đa phương thức toàn diện (omni-modality) như văn bản, âm thanh, hình ảnh, video và hành động robot, dành cho kỹ sư AI và nhà phát triển hạ tầng.

  • Hỗ trợ suy luận mô hình omni-modality xử lý văn bản, âm thanh, hình ảnh, video và dữ liệu hành động (robot policy).
  • Mở rộng cơ chế autoregressive sang Diffusion Transformers (DiT) và kiến trúc sinh dữ liệu song song phi tự hồi quy.
  • Cung cấp API server tương thích chuẩn OpenAI cùng khả năng phục vụ full-duplex theo thời gian thực cho âm thanh trực tiếp.
  • Tối ưu hiệu năng cao với quản lý paged KV cache, chồng lấn pipeline, và kiến trúc phân rã (disaggregation) hoàn toàn qua OmniConnector.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến83
  • Độ tươi100
  • Cộng đồng66
  • Tài liệu100
  • Phát hành100
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánFramework
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • PyTorch
  • CUDA
  • Transformers
  • Docker
  • pytest

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • vllm_omni/Mã nguồn chính của framework vLLM-Omni
  • apps/Ứng dụng và dịch vụ mẫu triển khai mô hình
  • benchmarks/Bộ công cụ đo lường hiệu năng suy luận và phục vụ mô hình
  • docker/Tệp cấu hình và Dockerfile cho đóng gói môi trường
  • docs/Tài liệu hướng dẫn sử dụng và kiến trúc hệ thống
  • examples/Ví dụ minh họa cách gọi và chạy các mô hình đa phương thức
  • recipes/Công thức và hướng dẫn cấu hình triển khai cụ thể
  • tests/Bộ kiểm thử tự động cho hệ thống

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/vllm-project/vllm-omni.git
cd vllm-omni

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Phục vụ mô hình sinh âm thanh, giọng nói và TTS thời gian thực (như Qwen3-TTS, CosyVoice3).
  • Triển khai suy luận cho các mô hình khuếch tán tạo hình ảnh và video chất lượng cao (như MiniMax H3, Wan2.2, LTX-2.5).
  • Vận hành hệ thống mô hình thế giới và chính sách điều khiển robot (như LingBot World, π0.5, GR00T-N1.7).
  • Xây dựng trợ lý ảo giao tiếp thời gian thực full-duplex với mô hình omni-modality (như MiniCPM-o 4.5).

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.168.4k+306
  2. 2AUTOMATIC1111/stable-diffusion-webuiStable Diffusion web UI165.2k+78
  3. 3Comfy-Org/ComfyUIThe most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.144.4k+1.7k
  4. 4rasbt/LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step107.6k+391
  5. 5vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMs96k+664

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 29/10/2026.

Đăng nhập