Bestärkendes Lernen
Roboterlerntechnik zur Entwicklung anpassungsfähiger und effizienter Roboteranwendungen.
Nissan
Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree
Workloads
Robotik
Branchen
Alle Branchen
Geschäftsziel
Innovation
Produkte
NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse
-
Überblick
-
Technische Umsetzung
-
Partnernetzwerk
Ermächtigen Sie physische Roboter mit komplexen Fähigkeiten mithilfe von bestärkendem Lernen
Da Roboter immer komplexere Aufgaben übernehmen, stößt die herkömmliche Programmierung an ihre Grenzen. Bestärkendes Lernen (Reinforcement Learning, RL) schließt diese Lücke, indem Roboter durch die Trial-and-Error-Methode in der Simulation trainieren können, um ihre Fähigkeiten in den Bereichen Steuerung, Wegplanung und Manipulation zu verbessern. Dieses belohnungsbasierte Lernen fördert die kontinuierliche Anpassung und ermöglicht es Robotern, anspruchsvolle motorische Fähigkeiten für reale Automatisierungsaufgaben wie Greifen, Fortbewegung und komplexe Manipulation zu entwickeln.
GPU-beschleunigtes RL-Training für Robotik
Herkömmliches CPU-basiertes Training für bestärkendes Lernen von Robotern erfordert oft Tausende von Recheneinheiten für komplexe Aufgaben, was die Kosten für Roboteranwendungen in die Höhe treibt. NVIDIA-beschleunigtes Computing begegnet dieser Herausforderung mit parallelen Verarbeitungsfunktionen, die die Verarbeitung sensorischer Daten in wahrnehmungsfähigen Umgebungen für bestärkendes Lernen erheblich beschleunigen. Dadurch werden die Fähigkeiten eines Roboters zum Lernen, zur Anpassung und zur Ausführung komplexer Aufgaben in dynamischen Situationen verbessert.
NVIDIA-beschleunigte Computing-Plattformen (einschließlich Frameworks für das Robotertraining wie das NVIDIA Isaac™ Lab) nutzen die GPU-Leistung sowohl für die Simulation physikalischer Prozesse als auch für das Ermitteln von Belohnungen innerhalb der RL-Pipeline. Dies beseitigt Engpässe und rationalisiert den Prozess, wodurch ein reibungsloserer Übergang von der Simulation zur realen Bereitstellung ermöglicht wird.
Quick-Links
Isaac Lab für bestärkendes Lernen
Isaac Lab ist ein modulares Framework, das auf NVIDIA Isaac Sim™ basiert und Workflows für das Robotertraining wie bestärkendes Lernen und Imitationslernen vereinfacht. Entwickler können die Vorteile der neuesten Omniverse™-Funktionen für das Training komplexer Richtlinien mit aktivierter Wahrnehmung nutzen.
- Die Szene zusammenstellen: Der erste Schritt besteht darin, eine Szene in Isaac Sim oder Isaac Lab zu erstellen und Roboter-Assets aus URDF oder MJCF zu importieren. Wenden Sie physikalische Schemata für die Simulation an und integrieren Sie Sensoren für das wahrnehmungsbasierte Training von Richtlinien.
- RL-Aufgaben definieren: Nachdem die Szene und der Roboter konfiguriert wurden, müssen im nächsten Schritt die auszuführende Aufgabe und die Belohnungsfunktion definiert werden. Die Umgebung (z. B. Manager-basierter oder direkter Workflow) definiert den aktuellen Zustand des Agenten und beobachtet und führt die von ihm bereitgestellten Aktionen aus. Die Umgebung reagiert dann auf die Agenten, indem sie die nächsten Zustände vorgibt.
- Trainieren: Der letzte Schritt besteht darin, die Hyperparameter für das Training und die Richtlinienarchitektur festzulegen. Isaac Lab bietet vier RL-Bibliotheken für das Training der Modelle mit GPUs: StableBaselines3, RSL-RL, RL-Games und SKRL.
- Skalierung: Um das Training in Systemen mit mehreren GPUs und mehreren Knoten zu skalieren, können Entwickler OSMO (Orchestrated System for Multi-node Operations) zur Orchestrierung von Trainingsaufgaben mit mehreren Knoten in einer verteilten Infrastruktur einsetzen.
NVIDIA Isaac GR00T bietet Entwicklern eine neue Möglichkeit, humanoide Roboter zu entwickeln. Diese Forschungsinitiative und Entwicklungsplattform für universelle Roboter-Foundation-Modelle und Datenpipelines kann dazu beitragen, Sprache zu verstehen, menschliche Bewegungen nachzuahmen und durch multimodales Lernen schnell Fähigkeiten zu erwerben.
Quick-Links
Partnernetzwerk
Sehen Sie, wie unser Ökosystem eigene Robotik-Anwendungen und -Services auf Basis von bestärkendem Lernen und NVIDIA-Technologien entwickelt.
