manycore-research/SpatialLM

Public

[NeurIPS 2025] SpatialLM: Training Large Language Models for Structured Indoor Modeling

mllm point-clouds scene-understanding spatial-intelligence

Bee AI phân tích repositoryBETA

AI đọc README và cây file để tóm tắt, gợi ý cách dùng và đánh giá repository. Mọi con số lấy từ kho Bee, không do AI ước lượng.

Cập nhật lần cuối: 12/10/2026

Đăng nhập để hỏi Bee AI

Tóm tắt bởi Bee AI

SpatialLM là mô hình ngôn ngữ lớn 3D được thiết kế để xử lý dữ liệu đám mây điểm (point cloud) 3D và trích xuất cấu trúc không gian nội thất. Dự án hỗ trợ nhận diện tường, cửa, cửa sổ cùng các hộp bao 3D theo danh mục vật thể dành cho nhà nghiên cứu thị giác máy tính và robotics.

Được chấp nhận tại hội nghị NeurIPS 2025.
Hỗ trợ xử lý đám mây điểm từ video RGB đơn mục (qua SLAM), ảnh RGBD và cảm biến LiDAR.
Cung cấp các biến thể mô hình dựa trên Llama3.2-1B và Qwen-2.5-0.5B kết hợp bộ mã hóa đám mây điểm Sonata hoặc SceneScript.
SpatialLM1.1 hỗ trợ phát hiện vật thể 3D theo các danh mục tùy chọn do người dùng chỉ định.

Lưu ý

Mô hình yêu cầu đám mây điểm đầu vào phải được căn chỉnh trục (axis-aligned) với trục Z hướng lên trên.
Các trọng số encoder (SceneScript, Sonata) chịu giấy phép CC-BY-NC-4.0 giới hạn sử dụng phi thương mại, trong khi mô hình cơ sở tuân theo giấy phép riêng của Llama 3.2 hoặc Apache 2.0 (Qwen).

Điểm BeeTính thuần từ số liệu trong kho Bee, không phải AI chấm: bách phân vị sao 30% · độ tươi lần push 25% · fork và watcher 15% · README, giấy phép, mô tả 20% · có bản phát hành 10%.

67/100Điểm tổng thể

Độ phổ biến73
Độ tươi40
Cộng đồng34
Tài liệu100
Phát hành100

Mức độ khóNâng cao
Phù hợp vớiNhà nghiên cứu · Lập trình viên
Loại dự ánFramework
Giấy phépKhông có

Kiến trúc & Công nghệ

Công nghệ AI nhận ra từ README và cây file — chỉ những mục nằm trong danh sách Bee kiểm.

Tech stack

Python
PyTorch
CUDA
Transformers
Hugging Face

Kiến trúc tổng quan

Repository → công nghệ chính → các thư mục cấp 1 có thật trong repo; vai trò do AI mô tả.

RepositorySpatialLMFramework

Công nghệ chính

Python

configs/Chứa các file cấu hình huấn luyện và mô hình
spatiallm/Mã nguồn chính của mô hình, bộ mã hóa và xử lý dữ liệu
figures/Hình ảnh minh họa kết quả cho README
inference.py/Script chạy suy luận dự đoán bố cục và vật thể từ đám mây điểm
train.py/Script huấn luyện mô hình SpatialLM
eval.py/Script đánh giá số liệu benchmark trên tập dữ liệu
visualize.py/Chuyển đổi kết quả sang định dạng Rerun để trực quan hóa

configs/Chứa các file cấu hình huấn luyện và mô hình
spatiallm/Mã nguồn chính của mô hình, bộ mã hóa và xử lý dữ liệu
figures/Hình ảnh minh họa kết quả cho README
inference.py/Script chạy suy luận dự đoán bố cục và vật thể từ đám mây điểm
train.py/Script huấn luyện mô hình SpatialLM
eval.py/Script đánh giá số liệu benchmark trên tập dữ liệu
visualize.py/Chuyển đổi kết quả sang định dạng Rerun để trực quan hóa

Hướng dẫn nhanh

Các bước để bắt đầu với repository này.

bash

git clone https://github.com/manycore-research/SpatialLM.git
cd SpatialLM

Các use case chính

Những ứng dụng có thể xây dựng từ repository này.

Ước lượng bố cục kiến trúc phòng (tường, cửa chính, cửa sổ) từ dữ liệu quét 3D.
Phát hiện hộp bao định hướng 3D và phân loại đồ nội thất trong phòng.
Tái tạo mô hình cấu trúc 3D không gian nội thất từ video RGB quay bằng điện thoại.
Fine-tune mô hình trên các tập dữ liệu quét 3D tùy chỉnh như ARKitScenes hoặc ScanNet.

Repository tương tự

Cùng chủ đề trong kho Bee.

Nội dung do AI sinh, có thể sai hoặc thiếu — số liệu lấy từ kho Bee, không do AI ước lượng. Cập nhật lần cuối: 12/10/2026.