TianxingChen/Embodied-AI-Guide

Public

[Lumina具身智能社区] 具身智能技术指南 Embodied-AI-Guide

  • Stars16.8k+139 tuần này
  • Forks1.1k
  • Watchers111
  • Issues0
  • Ngày tạo17/05/2024
  • Cập nhật gần nhất25/10/2026
  • Ngôn ngữ—
  • Giấy phép—
README.md33.3 KBRaw

具身智能技术指南 Embodied-AI-Guide

📚 国内最热门的具身智能技术指南,一个偏「百科全书」定位的具身智能中文知识库与资料索引。欢迎 Star / 分享 / 提 PR,欢迎邮件联系 [email protected] 或 项目发起人 微信 TianxingChen_2002(请备注机构+姓名与来意)。

📢 News|项目进展

📷 2026-01-15: Embodied-AI-Guide重组织完成
⭐️ 2025-12-18: GitHub Stars 突破 10,000
❤️ 2025-03-15: Embodied-AI-Guide正式开源

GitHub repo stars Visitors

🧑‍💻 Related Open-source Projects|相关开源项目

⭐️ Lumina Call (具身智能照片): Website
⭐️ Datawhale Easy-Embodied: Repo

🦉 Lumina具身智能社区: 点击访问

扫描右下图加入Lumina具身智能社区:

Task Descriptions

🐣 (1) Start From Here - 从这里开始

具身智能是指一种基于物理实体进行感知和行动的智能系统, 其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动, 从而产生智能行为和适应性。

(1.1) How - 如何使用这份指南

我们希望的是帮助新人快速建立领域认知, 所以设计理念是:简要以一个实践项目带大家动手学习具身智能,同时以百科全书形式介绍目前具身智能涉及到的主要技术, 让大家知道不同的技术能够解决什么问题, 未来想要深入发展的时候能够有头绪。

(1.2) About us - 关于我们

我们是一个由具身初学者组成的团队, 希望能够通过我们自己的学习经验, 为后来者提供一些帮助, 加快具身智能的普及。欢迎更多朋友加入我们的项目, 也很欢迎交友、学术合作, 有任何问题, 可以联系邮箱[email protected]。

⚒️ (2) 动手学习具身智能操作

建议一周内完成学习,使用RoboTwin 2.0平台走通一个操作策略“生命周期”的全流程
完成此教程需要至少16GB显存的显卡

(2.1) 为什么这样选择这个教程

具身智能操作是一个很复杂的问题:数据从哪来、策略怎么设计(架构与训练细节)、怎么评测模型性能(平台与任务设计)。

数据从哪来:具身智能的数据有很多种源头,比如真机数据采集、人类视频数据、仿真合成数据、世界模型合成数据等等,其中各有各的问题,比如真机数据采集成本高、人类视频数据信息含量低、仿真合成数据Sim2Real Gap与Scaleup难题、世界模型合成数据存在幻觉等。

策略怎么设计:不同的网络架构选择影响模型的表现、收敛效果、推理速度等。

怎么评测模型性能:评测是非常重要的,否则我们不知道科学评价模型效果如何,也没办法推动技术发展。

面对以上问题,RoboTwin 2.0平台为广大科研学者提供了非常好的学习平台,RoboTwin 2.0基于易配置的SAPIEN仿真平台开发,提供了50个双臂自动化数据合成、主流操作策略训测集成、评测系统,能够辅助大家快速走起来具身智能操作策略的生命周期。过程中也可以多看看数据与评测视频,了解数据分布与策略表现。

(2.2) 学习流程

RoboTwin 2.0:代码 | 主页 | 文档 | 论文

展开学习流程

(2.2.1) 了解RoboTwin 2.0做了什么 (~1天)

阅读RoboTwin 2.0论文paper,了解仿真数据合成的方案,深入理解对于合成一条机器人数据需要什么信息,机器人有什么可以做的任务,了解Aloha硬件。

(2.2.2) 配置RoboTwin 2.0平台,数据采集 (~0.5天)

环境安装教学: Tutorial,根据以下数据采集脚本采集beat_block_hammer任务50条:

bash collect_data.sh ${task_name} ${task_config} ${gpu_id}
## Clean Data Example: bash collect_data.sh beat_block_hammer demo_clean 0
## Radomized Data Example: bash collect_data.sh beat_block_hammer demo_randomized 0

(2.2.4) 策略训练(~1天)

选择ACT策略进行复现 Tutorial,ACT是非常经典的操作策略算法,训练此策略大约需要12GB显存,

(2.2.5) 测试策略(~1天)

在demo_clean下评测ACT成功率大约是56%(详见Leaderboard)。

📄 (3) Useful Info - 有利于搭建认知的资料

Nội dung README thuộc về TianxingChen và cộng đồng đóng góp, giấy phép Không có giấy phép. Nguồn: github.com/TianxingChen/Embodied-AI-Guide