Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

unclecode/crawl4ai

Public

Open-source web crawler and scraper for LLMs and AI agents: any website into clean, LLM-ready Markdown. Run it yourself, or use Crawl4AI Cloud with one key. Join our Discord https://discord.gg/VuxzM8mtf

aiai-agentscrawlerdata-extractionllmmarkdownmcpopen-sourceplaywrightpythonragscraperweb-crawlerweb-crawlingweb-scraping
Star86.5kFork9kWatch418Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 20/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Crawl4AI là công cụ cào và trích xuất dữ liệu web mã nguồn mở được thiết kế cho LLM và AI agent. Dự án hỗ trợ chuyển đổi trang web thành Markdown rõ ràng, trích xuất JSON có cấu trúc và kết nối MCP.

  • Chuyển đổi trang web thành Markdown tối ưu cho LLM, hỗ trợ loại bỏ menu, footer và trích dẫn liên kết.
  • Trích xuất dữ liệu có cấu trúc không cần LLM (CSS/XPath/Regex) hoặc kết hợp với LLM theo JSON schema.
  • Điều khiển trình duyệt nâng cao: hỗ trợ Chromium, Firefox, WebKit, persistent profiles, stealth mode và proxy rotation.
  • Hỗ trợ nhiều phương thức triển khai: thư viện Python, CLI (crwl), Docker REST API container và giao thức MCP cho AI agent.

Lưu ý

  • Dự án yêu cầu cài đặt trình duyệt (Playwright) và có thể cần cấu hình phụ thuộc hệ thống bằng lệnh crawl4ai-setup hoặc python -m playwright install.
  • Tác giả yêu cầu ghi nhận nguồn tác giả (Attribution) bằng huy hiệu hoặc thông báo văn bản khi sử dụng thư viện.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến100
  • Độ tươi100
  • Cộng đồng35
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · Nhà nghiên cứu
  • Loại dự ánThư viện
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • Playwright
  • Docker
  • MCP

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • crawl4ai/Mã nguồn chính của thư viện Python bao gồm logic crawler, bộ lọc và các chiến lược trích xuất.
  • deploy/Cấu hình và script phục vụ việc đóng gói và triển khai ứng dụng.
  • docs/Tài liệu hướng dẫn sử dụng, ví dụ mã nguồn và tài liệu API.
  • tests/Bộ mã kiểm thử tự động của dự án.
  • scripts/Các tiện ích bổ trợ và script dòng lệnh phục vụ cài đặt hoặc bảo trì.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Thu thập và làm sạch tài liệu web thành định dạng Markdown phục vụ cho hệ thống RAG và mô hình ngôn ngữ lớn.
  • Trích xuất thông tin có cấu trúc (như giá cả, sản phẩm, trích dẫn) từ các trang web động sử dụng JavaScript.
  • Cung cấp công cụ duyệt web thời gian thực cho Claude Code, Cursor và các AI agent thông qua giao thức MCP.
  • Triển khai dịch vụ cào dữ liệu qua REST API hoặc Docker server nội bộ phục vụ quy trình xử lý dữ liệu tự động.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1public-apis/public-apisA collective list of free APIs493.2k+1.8k
  2. 2morluto/reaReverse engineer anything with agents, from app behavior down to native binaries.407.3k+41.7k
  3. 3openclaw/openclawThe AI that really does things. Any OS. Any Platform. The lobster way. 🦞393.4k+592
  4. 4donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.376.1k+920
  5. 5vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"331.2k+1.7k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 20/10/2026.

Đăng nhập