mizorewww/laya-coreml

Public

Local Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.

apple-neural-engine apple-silicon coreml decision-model laya local-ai modernbert on-device-ai typed-decisions

Star1.6k Fork132 Watch8 Mở trên GitHub

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 14/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

Thư viện triển khai mô hình typed decision Laya cục bộ trên Apple Core ML và Apple Neural Engine (ANE), phục vụ suy luận nhanh không cần sinh token.

Đạt độ trễ ngắn khoảng 4.98 ms (P50) trên chip M3 Max sử dụng ANE FP16 cho một quyết định đa ngôn ngữ.
Suy luận trực tiếp không cần PyTorch, Transformers hay MLX sau khi tải checkpoint.
Cải thiện năng lượng tiêu thụ toàn hệ thống gấp 2.78 lần so với compiled MLX FP16.
Hỗ trợ các dạng câu hỏi choice, ordinal score và boolean noul mà không cần parse JSON sinh tự do.

Lưu ý

Yêu cầu phần cứng Apple Silicon chạy macOS 15+ cùng Python 3.11–3.13.
Bundle ANE bị giới hạn tối đa 96 token; các request dài hơn sẽ báo lỗi capacity error.
Dự án độc lập của Convai Innovations, không phải bản phát hành chính thức từ Apple.

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

69/100Điểm tổng thể

Độ phổ biến33
Độ tươi100
Cộng đồng29
Tài liệu100
Phát hành100

Mức độ khóTrung bình
Phù hợp vớiLập trình viên · Nhà nghiên cứu
Loại dự ánThư viện
Giấy phépApache-2.0

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

Python
Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

Repositorylaya-coremlThư viện

Công nghệ chính

Python

benchmarks/Chứa các đo đạc và kịch bản benchmark tốc độ, năng lượng.
docs/Tài liệu hướng dẫn chi tiết về API và kỹ thuật chuyển đổi.
examples/Các ví dụ minh họa cách sử dụng mô hình trong mã nguồn.
experiments/Kịch bản và ghi chép thực nghiệm ANE cùng các biến thể nén.
laya_coreml/Mã nguồn chính của thư viện runtime Core ML và ANE.
scripts/Các tiện ích hỗ trợ chuyển đổi hoặc xuất mô hình.
tests/Bộ kiểm thử tự động kiểm tra độ chính xác và tương thích.

benchmarks/Chứa các đo đạc và kịch bản benchmark tốc độ, năng lượng.
docs/Tài liệu hướng dẫn chi tiết về API và kỹ thuật chuyển đổi.
examples/Các ví dụ minh họa cách sử dụng mô hình trong mã nguồn.
experiments/Kịch bản và ghi chép thực nghiệm ANE cùng các biến thể nén.
laya_coreml/Mã nguồn chính của thư viện runtime Core ML và ANE.
scripts/Các tiện ích hỗ trợ chuyển đổi hoặc xuất mô hình.
tests/Bộ kiểm thử tự động kiểm tra độ chính xác và tương thích.

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash

git clone https://github.com/mizorewww/laya-coreml.git
cd laya-coreml

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

Chạy mô hình quyết định phân loại intent (như yêu cầu hoàn tiền) trực tiếp trên máy macOS với độ trễ thấp.
Vận hành tác vụ điều khiển bot/agent thời gian thực như demo game Snake chạy cục bộ.
Chuyển đổi và nén mô hình Laya sang định dạng Core ML/ANE với cấu hình FP16 hoặc W8 palette.

Repository tương tự

Cùng chủ đề trong kho Bee.

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 14/10/2026.