Beeknoee Logo
Đăng nhậpĐăng ký miễn phí

apache/spark

Public

Apache Spark - A unified analytics engine for large-scale data processing

big-datajavajdbcpythonrscalasparksql
Star44.4kFork29.6kWatch2kMở trên GitHub
Beeknoee

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 10/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Apache Spark là công cụ phân tích hợp nhất phục vụ xử lý dữ liệu quy mô lớn, hỗ trợ đồ thị tính toán tổng quát cùng các API bậc cao trong Scala, Java, Python và R. Dự án dành cho kỹ sư dữ liệu, nhà phát triển và nhà nghiên cứu phân tích luồng hoặc dữ liệu lớn.

  • Cung cấp API bậc cao trên các ngôn ngữ Scala, Java, Python và R (R đã bị đánh dấu deprecated).
  • Tích hợp hệ sinh thái công cụ gồm Spark SQL, pandas API on Spark, MLlib, GraphX và Structured Streaming.
  • Được xây dựng bằng Apache Maven và cung cấp các shell tương tác cho cả Scala và Python.
  • Sử dụng thư viện Hadoop core để tương tác với HDFS và các hệ thống lưu trữ tương thích Hadoop.

Lưu ý

  • API hỗ trợ ngôn ngữ R đã bị đánh dấu ngừng hỗ trợ (Deprecated).
  • Do giao thức thay đổi giữa các phiên bản Hadoop, người dùng phải build Spark tương ứng với phiên bản Hadoop của cluster.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

  • Độ phổ biến99
  • Độ tươi100
  • Cộng đồng96
  • Tài liệu100
  • Phát hành20
  • Mức độ khóNâng cao
  • Phù hợp vớiDữ liệu · Lập trình viên
  • Loại dự ánFramework
  • Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

  • Scala
  • Java
  • Python
  • R
  • Apache Spark
  • pandas
  • Kubernetes

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

  • core/Mã nguồn lõi chịu trách nhiệm phân tán và thực thi tác vụ
  • sql/Module Spark SQL hỗ trợ DataFrames và tối ưu truy vấn
  • mllib/Thư viện học máy phân tán của Spark
  • streaming/Module hỗ trợ xử lý dòng dữ liệu
  • graphx/Thư viện xử lý và phân tích đồ thị
  • python/Mã nguồn wrapper và thư viện PySpark cho Python
  • examples/Các chương trình mẫu minh họa tính năng của Spark
  • bin/Tập lệnh khởi chạy shell và thực thi ứng dụng Spark

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash
git clone https://github.com/apache/spark.git
cd spark

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

  • Xử lý truy vấn dữ liệu theo mẻ quy mô lớn bằng Spark SQL và DataFrame.
  • Chạy các tải công việc kiểu pandas trên hạ tầng phân tán thông qua pandas API on Spark.
  • Xây dựng các pipeline học máy phân tán với thư viện MLlib.
  • Xử lý dữ liệu dạng luồng thời gian thực với Structured Streaming.
  • Phân tích và tính toán trên đồ thị dữ liệu quy mô lớn với GraphX.

Repository tương tự

Cùng chủ đề trong kho Bee.

  1. 1donnemartin/system-design-primerLearn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.376.1k+920
  2. 2vinta/awesome-pythonThe definitive list that answers "I want to do X in Python, which tool should I use?"331.2k+1.7k
  3. 3practical-tutorials/project-based-learningCurated list of project-based tutorials288.4k+755
  4. 4TheAlgorithms/PythonAll Algorithms implemented in Python225.7k+218
  5. 5yt-dlp/yt-dlpA feature-rich command-line audio/video downloader203.7k+3.3k

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 10/10/2026.

Đăng nhập