rasbt/reasoning-from-scratch
PublicImplement a reasoning LLM in PyTorch from scratch, step by step
Bee AI phân tích repositoryBETA
AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.
Cập nhật lần cuối: 03/10/2026
Tóm tắt bởi Bee AI
Kho mã nguồn chính thức cho cuốn sách 'Build a Reasoning Model (From Scratch)' của Sebastian Raschka, hướng dẫn xây dựng mô hình suy luận (reasoning LLM) từ đầu bằng PyTorch.
- Được thiết kế để chạy trên phần cứng người dùng phổ thông mà không bắt buộc dùng phần cứng máy chủ chuyên dụng.
- Bao quát các kỹ thuật suy luận chính: inference-time scaling, self-refinement, reinforcement learning (GRPO), và distillation.
- Sử dụng mô hình nền tảng mã nguồn mở Qwen3 và tái hiện các phương pháp từ DeepSeek R1.
- Cung cấp mã nguồn Jupyter Notebook kèm lời giải bài tập cho từng chương và các phần phụ lục.
Lưu ý
- Dự án hiện không chấp nhận đóng góp mã nguồn mở rộng nội dung chính để đảm bảo đồng bộ với sách in.
- Các chương 5 và 6 yêu cầu GPU để tái hiện được kết quả thực nghiệm.
Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.
- Độ phổ biến76
- Độ tươi100
- Cộng đồng57
- Tài liệu100
- Phát hành100
- Mức độ khóNâng cao
- Phù hợp vớiLập trình viên · Nhà nghiên cứu
- Loại dự ánVí dụ
- Giấy phépApache-2.0
Kiến trúc & Công nghệ
Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.
Tech stack
Python
PyTorch
Jupyter
Transformers
Ollama
Kiến trúc tổng quan
Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.
ch02/Mã nguồn và bài tập Chương 2 về sinh văn bản với LLM tiền huấn luyện.ch03/Mã nguồn Chương 3 về đánh giá các mô hình suy luận.ch04/Mã nguồn Chương 4 về cải thiện suy luận qua inference-time scaling.ch05/Mã nguồn Chương 5 về inference-time scaling qua cơ chế self-refinement.ch06/Mã nguồn Chương 6 về huấn luyện mô hình suy luận bằng Reinforcement Learning.ch07/Mã nguồn Chương 7 về cải tiến thuật toán GRPO trong Reinforcement Learning.ch08/Mã nguồn Chương 8 về chưng cất (distilling) mô hình suy luận.reasoning_from_scratch/Gói Python chứa các module tiện ích và thư viện dùng chung.
Hướng dẫn nhanh
Các bước để bắt đầu với repository này.
git clone https://github.com/rasbt/reasoning-from-scratch.git
cd reasoning-from-scratchCác use case chính
Những ứng dụng có thể xây dựng từ repository này.
- Áp dụng inference-time scaling thông qua CoT prompting, self-consistency và Best-of-N trên tập đánh giá MATH-500.
- Huấn luyện mô hình suy luận sử dụng thuật toán Reinforcement Learning GRPO.
- Chưng cất (distillation) mô hình suy luận từ dữ liệu giáo viên tạo bởi Ollama hoặc OpenRouter.
- Đánh giá mô hình LLM với phương pháp MMLU, parser LaTeX và LLM-as-a-judge.
Repository tương tự
Cùng chủ đề trong kho Bee.
- 1
morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.411.9k+39.2k
- 2
openclaw/openclawThe AI that really does things. Any OS. Any Platform. The lobster way. 🦞393.5k+592
- 3
donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.376.2k+918
- 4
vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"331.4k+1.7k
- 5
obra/superpowersAn agentic skills framework & software development methodology that works.309.3k+5.1k
Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 03/10/2026.