Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

intelligent-machine-learning/dlrover

Public

DLRover: An Automatic Distributed Deep Learning System

distributed-traininghacktoberfestk8sllm-training
Star1.7kFork219Watch50Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 16/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Hệ thống tự động hóa huấn luyện học sâu phân tán trên Kubernetes và Ray, cung cấp khả năng tự phục hồi lỗi, tự động co giãn tài nguyên và Flash Checkpoint.

  • Cung cấp tính năng Flash Checkpoint cho phép lưu và khôi phục checkpoint từ bộ nhớ chia sẻ chỉ trong vài giây.
  • Tự động phát hiện lỗi và khởi động lại tiến trình hoặc node mà không làm dừng toàn bộ job huấn luyện.
  • Tự động co giãn (Auto-Scaling) tài nguyên worker và parameter server dựa trên tải thực tế và hiện tượng nghẽn cổ chai.
  • Hỗ trợ phân mảnh dữ liệu động (dynamic data sharding) để giải quyết tình trạng worker chạy chậm và hỗ trợ online learning.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến38
  • Độ tươi80
  • Cộng đồng63
  • Tài liệu100
  • Phát hành100
  • Mức độ khóNâng cao
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánFramework
  • Giấy phépKhông có

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • Go
  • PyTorch
  • TensorFlow
  • Kubernetes
  • Helm
  • Docker
  • Hugging Face
  • Transformers
  • Kafka
  • Apache Spark

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • dlrover/Mã nguồn Python cốt lõi của DLRover xử lý fault-tolerance, auto-scaling và checkpoint.
  • go/Thành phần viết bằng Go (ví dụ: operator/controller cho Kubernetes).
  • helm_install/Helm charts để triển khai DLRover lên cụm Kubernetes.
  • docker/Dockerfile và cấu hình container cho môi trường huấn luyện.
  • examples/Các ví dụ mẫu huấn luyện với PyTorch, TensorFlow, Ray và Flash Checkpoint.
  • xpu_timer/Mô-đun theo dõi hiệu năng runtime và chẩn đoán phần cứng máy tính/máy gia tốc.
  • docs/Tài liệu kỹ thuật và hướng dẫn sử dụng chi tiết.
  • scripts/Kịch bản hỗ trợ kiểm thử, build và môi trường phát triển.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/intelligent-machine-learning/dlrover.git
cd dlrover

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Huấn luyện mô hình ngôn ngữ lớn (LLM) ổn định trên hàng nghìn GPU với thời gian chết tối thiểu.
  • Tự động khôi phục các job huấn luyện TensorFlow hoặc PyTorch gặp lỗi OOM hoặc hỏng hóc phần cứng trên K8s.
  • Triển khai hệ thống học trực tuyến (online learning) kết hợp với streaming pipeline qua Kafka hoặc Flink.
  • Tối ưu hóa checkpoint bất đồng bộ cho HuggingFace transformers, DeepSpeed, Megatron-LM và FSDP.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1EbookFoundation/free-programming-books:books: Freely available programming books400.6k+630
  2. 2TheAlgorithms/PythonAll Algorithms implemented in Python225.7k+229
  3. 3avelino/awesome-goA curated list of awesome Go frameworks, libraries and software191.2k+1.2k
  4. 4huggingface/transformers🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.168.4k+319
  5. 5excalidraw/excalidrawVirtual whiteboard for sketching hand-drawn like diagrams134.9k+436

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 16/10/2026.

Đăng nhập