Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

pathwaycom/pathway

Public

Python ETL framework for stream processing, real-time analytics, LLM pipelines, and RAG.

batch-processingdata-analyticsdata-pipelinesdata-processingdataflowetletl-frameworkiot-analyticskafkamachine-learning-algorithmspathwaypythonreal-timeruststream-processingstreamingtime-series-analysis
Star62kFork1.7kWatch115Mở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 13/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Pathway là framework ETL bằng Python dành cho xử lý dữ liệu luồng (stream processing), phân tích thời gian thực, LLM pipelines và RAG. Dự án kết hợp API Python dễ dùng với engine Rust hiệu năng cao dựa trên Differential Dataflow, phục vụ các kỹ sư dữ liệu và AI.

  • Vận hành bởi engine Rust có khả năng mở rộng dựa trên Differential Dataflow để tính toán gia tăng (incremental computation).
  • Dùng chung một code base Python cho cả phát triển cục bộ, kiểm thử CI/CD, batch processing và streaming real-time.
  • Cung cấp LLM xpack với vector index in-memory, tích hợp sẵn cùng LangChain và LlamaIndex.
  • Hỗ trợ đa dạng connector gồm Kafka, PostgreSQL, GDrive, SharePoint và hơn 300 nguồn thông qua Airbyte.

Lưu ý

  • Phát hành theo giấy phép BSL 1.1 (chuyển sang Apache 2.0 sau 4 năm); bản miễn phí cung cấp bảo đảm consistency 'at least once' thay vì 'exactly once'.
  • Chỉ hỗ trợ MacOS và Linux; người dùng Windows cần chạy thông qua máy ảo (Virtual Machine).

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến99
  • Độ tươi100
  • Cộng đồng10
  • Tài liệu100
  • Phát hành100
  • Mức độ khóTrung bình
  • Phù hợp vớiLập trình viên · Dữ liệu
  • Loại dự ánFramework
  • Giấy phépKhông có

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Python
  • Rust
  • Docker
  • Kubernetes
  • Kafka
  • PostgreSQL
  • LangChain
  • LlLlamaIndex
  • Ollama

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • src/Mã nguồn lõi bằng Rust cho engine tính toán dữ liệu
  • python/Mã nguồn Python bindings và thư viện API Pathway
  • examples/Các ví dụ mẫu về pipeline streaming, ETL và AI
  • docs/Tài liệu hướng dẫn sử dụng và API framework
  • tests/Bộ kiểm thử đơn vị và chức năng
  • integration_tests/Các bài kiểm thử tích hợp toàn diện

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/pathwaycom/pathway.git
cd pathway

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Xây dựng các pipeline RAG trực tiếp (live RAG) và đa phương thức tích hợp Ollama, Mistral AI hoặc GPT-4o.
  • Xử lý ETL thời gian thực và phân tích dữ liệu dạng luồng (real-time streaming analytics).
  • Chuyển đổi dữ liệu phi cấu trúc sang SQL tức thời (unstructured data to SQL on-the-fly).
  • Thực hiện các phép biến đổi có trạng thái (stateful transformations) như joins, windowing và sắp xếp trên dữ liệu luồng.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.376.2k+918
  2. 2vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"331.4k+1.7k
  3. 3practical-tutorials/project-based-learningCurated list of project-based tutorials288.5k+765
  4. 4TheAlgorithms/PythonAll Algorithms implemented in Python225.7k+229
  5. 5yt-dlp/yt-dlpA feature-rich command-line audio/video downloader204k+3k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 13/10/2026.

Đăng nhập