NVIDIA 发布世界首个开源人形机器人基础模型 GR00T N1，仅 2B 参数，采用 VLM 加 Diffusion Transformer 架构实现端到端控制。模型基于真实遥操作、30 万+仿真轨迹及合成神经轨迹训练，在 GR1、1X Neo 等机器人上任务性能提升 30%，并可跨具身部署至百元级开源机械臂。
NVIDIA开源首个通用人形机器人基础模型GR00T N1，2B参数可部署于百元级机械臂
我们的开源项目 GR00T N1 收到了大量来自社区的宝贵反馈！欢迎查看我们的 GitHub 仓库，给我们点星、复刻、贡献代码！让我们一起一步步解决通用智能机器人这一难题，每次一次提交都算数。
https://github.com/NVIDIA/Isaac-GR00T/ https://t.co/ghmXrwuMPC
激动地宣布 GR00T N1，全球首个面向人形机器人的开放基础模型！我们的使命是让物理 AI 走向大众。通用机器人大脑的力量，尽在掌中——仅有 2B 参数，N1 从迄今汇编的最多样化物理动作数据集中学习，以小博大： - 真实人形遥操作数据。 - 大规模仿真数据：我们开源 300K+ 轨迹！ - 神经轨迹：我们应用 SOTA 视频生成模型来“幻觉”出新的合成数据，其像素级特征具备准确的物理特性。用 Jensen 的话说，“系统性地无限数据”！ - 潜在动作：我们开发新颖算法，从野外人类视频和神经生成视频中提取动作 token。 GR00T N1 是一个单一的端到端神经网络，从光子到动作： - 视觉-语言模型（系统 2）通过视觉和语言指令解读物理世界，使机器人能够对其环境和指令进行推理，并规划正确的动作。 - 扩散 Transformer（系统 1）以 120 Hz“渲染”平滑而精确的运动动作，执行系统 2 制定的潜在计划。 我们将 N1 部署在 GR1 机器人、1X Neo 机器人以及大量仿真基准上。N1 在家庭和工业环境中的多样化操作任务上实现了高达 +30% 的提升。 虽然人形机器人是 N1 的主要焦点，但我们的模型也支持跨具身。我们对其微调，使其能在价值 $110 的 HuggingFace LeRobot SO100 机械臂上工作！开放机器人大脑运行在开放硬件上。听起来正合适。 让我们一起解决机器人技术，一次一个 token。 我们的白皮书、Github 仓库、HuggingFace 模型和开放数据集页面的链接在帖子串中：🧵
原文
Excited to announce GR00T N1, the world’s first open foundation model for humanoid robots! We are on a mission to democratize Physical AI. The power of general robot brain, in the palm of your hand - with only 2B parameters, N1 learns from the most diverse physical action dataset ever compiled and punches above its weight: - Real humanoid teleoperation data. - Large-scale simulation data: we are open-sourcing 300K+ trajectories! - Neural trajectories: we apply SOTA video generation models to “hallucinate” new synthetic data that features accurate physics in pixels. Using Jensen’s words, “systematically infinite data”! - Latent actions: we develop novel algorithms to extract action tokens from in-the-wild human videos and neural generated videos. GR00T N1 is a single end-to-end neural net, from photons to actions: - Vision-Language Model (System 2) that interprets the physical world through vision and language instructions, enabling robots to reason about their environment and instructions, and plan the right actions. - Diffusion Transformer (System 1) that “renders” smooth and precise motor actions at 120 Hz, executing the latent plan made by System 2. We deploy N1 on GR1 robot, 1X Neo robot, and a large collection of simulation benchmarks. N1 achieves up to +30% boost in diverse manipulation tasks for household and industrial settings. While humanoid robots are the main focus of N1, our model also supports cross-embodiment. We finetune it to work on the $110 HuggingFace LeRobot SO100 robot arm! Open robot brain runs on open hardware. Sounds just right. Let’s solve robotics, together, one token at a time. Links to our Whitepaper, Github repo, HuggingFace model, and open dataset page in the thread: 🧵
来源：Jim Fan · x.com