Apprendimento robotico

Politiche di addestramento dei robot in simulazione.

Boston Dynamics

Carichi di lavoro

Strumenti e tecniche di computing accelerato
Data center/cloud
Robotica
Simulazione/Modellazione/Progettazione

Settori

Sanità e scienze della vita
Produzione
Retail/Beni di consumo confezionati
Città/spazi intelligenti


Obiettivo aziendale

Innovazione
Ritorno sugli investimenti

Prodotti

NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Jetson AGX
NVIDIA Omniverse

Costruire politiche di robot generalisti

I robot pre-programmati operano utilizzando istruzioni fisse all'interno di ambienti prestabiliti, limitando la loro adattabilità ai cambiamenti inaspettati.

I robot basati sull'IA affrontano questi limiti attraverso l'apprendimento basato sulla simulazione, consentendo loro di percepire, pianificare e agire in modo autonomo in condizioni dinamiche. Con l'apprendimento dei robot, possono acquisire e perfezionare nuove competenze utilizzando politiche apprese, ovvero insiemi di comportamenti per la navigazione, la manipolazione e molto altro ancora, per migliorare il processo decisionale in varie situazioni.

I vantaggi dell'apprendimento basato sulla simulazione

Flessibilità e scalabilità

Itera, perfeziona e distribuisci le politiche dei robot per scenari del mondo reale utilizzando una varietà di fonti di dati provenienti dai dati acquisiti dal robot reale e dai dati sintetici nella simulazione. Ciò funziona per qualsiasi realizzazione di robot, come i robot mobili autonomi (AMR), le braccia robotiche e i robot umanoidi. L'approccio basato sul "sim-first" consente inoltre di addestrare rapidamente centinaia o migliaia di istanze di robot in parallelo.  

Sviluppo accelerato delle competenze

Addestra i robot in ambienti simulati in grado di adattarsi alle nuove variazioni delle attività senza che sia necessario riprogrammare l'hardware fisico dei robot stessi. 

Ambienti fisicamente accurati

Modella facilmente fattori fisici come le interazioni degli oggetti (rigidi o deformabili), l'attrito, ecc., per ridurre significativamente il divario tra simulazione e realtà.  

Ambiente di prova sicuro

Testa scenari potenzialmente pericolosi senza rischi per la sicurezza umana o danni alle apparecchiature.

Costi ridotti

Evita l'onere dei costi di raccolta ed etichettatura dei dati del mondo reale generando grandi quantità di dati sintetici, convalidando le politiche dei robot addestrati in simulazione e distribuendo sui robot più velocemente. 

Algoritmi di apprendimento robotico

Gli algoritmi di apprendimento robotico, così come l'apprendimento per imitazione o il reinforcement learning, possono aiutare i robot a generalizzare le competenze di apprendimento e migliorare le loro prestazioni in ambienti nuovi o mutevoli. Esistono diverse tecniche di apprendimento, tra cui:

  • Reinforcement learning: un approccio basato su tentativi ed errori in cui il robot riceve una ricompensa o una penalità in base alle azioni che compie. 
  • Apprendimento per imitazione: il robot può imparare dalle dimostrazioni umane di attività. 
  • Apprendimento supervisionato: il robot può essere addestrato utilizzando dati etichettati per apprendere attività specifiche.
  • Politica di diffusione: il robot utilizza modelli generativi per creare e ottimizzare le azioni robotiche per ottenere i risultati desiderati.
  • Apprendimento auto-supervisionato: quando ci sono set di dati etichettati limitati, i robot possono generare le proprie etichette di addestramento da dati non etichettati per estrarre informazioni significative.

Insegna ai robot ad apprendere e ad adattarsi

Un tipico flusso di lavoro robotico completo implica l'elaborazione dei dati, l'addestramento dei modelli, la convalida in simulazione e la distribuzione su un robot reale.

Elaborazione dei dati: per colmare le lacune di dati, è possibile considerare un insieme diversificato di fonti di dati di alta qualità combinando dati a livello internet, dati sintetici e dati di robot in tempo reale. 

Addestramento e convalida in simulazione: i robot devono essere addestrati e distribuiti per scenari definiti da attività e richiedono rappresentazioni virtuali accurate delle condizioni del mondo reale. Il framework open-source NVIDIA Isaac™ Lab può aiutare ad addestrare le politiche per robot utilizzando tecniche di reinforcement learning e imitazione in un approccio modulare. Isaac Lab può inoltre essere utilizzato con le piattaforme di simulazione per sviluppatori NVIDIA Isaac Sim™ o MuJoCo per la prototipazione rapida e la distribuzione di politiche robotiche.

Una volta addestrato il robot, le sue prestazioni possono essere convalidate in Isaac Sim, un'applicazione di simulazione robotica di riferimento basata su NVIDIA Omniverse™

Distribuzione sul robot reale: le politiche robotiche addestrate e i modelli IA possono essere distribuiti su computer on-robot NVIDIA Jetson™ che offrono le prestazioni e la sicurezza funzionale necessarie al funzionamento autonomo.

NVIDIA Isaac GR00T per gli sviluppatori di robot umanoidi

L'apprendimento per imitazione, un sottoinsieme dell'apprendimento robotico, consente agli umanoidi di acquisire nuove competenze osservando e imitando le dimostrazioni umane di esperti. Ma la raccolta di questi insiemi di dati estesi e di alta qualità nel mondo reale è noiosa, richiede tempo e costi proibitivi.

NVIDIA Isaac GR00T aiuta ad affrontare queste sfide fornendo agli sviluppatori di robot umanoidi modelli di base robotici, pipeline di dati e framework di simulazione.

Modelli di base

I modelli di base aperti Isaac GR00T N sono ideali per il ragionamento e le competenze dei robot umanoidi per uso generale. Questa soluzione di inter-realizzazione utilizza dati multimodali, tra cui linguaggio e immagini, per eseguire attività di manipolazione in vari ambienti.

Pipeline di generazione di dati sintetici

NVIDIA Isaac GR00T-Dreams è un blueprint che aiuta a generare grandi quantità di movimenti sintetici per insegnare ai robot nuovi comportamenti e modi di adattarsi ad ambienti mutevoli.

Gli sviluppatori possono prima eseguire il post-addestramento dei modelli di base del mondo (WFM) Cosmos Predict 2 per il loro robot. Dopodiché, utilizzando una singola immagine come input, GR00T-Dreams aiuta a generare diversi video del robot che esegue nuove attività in nuovi ambienti. Il blueprint estrae quindi i token delle azioni, ovvero dati compressi e digeribili che vengono utilizzati per insegnare ai robot come eseguire queste nuove attività.

Il blueprint GR00T-Dreams integra il blueprint Isaac GR00T-Mimic. Mentre GR00T-Mimic utilizza NVIDIA Omniverse e Cosmos per arricchire i dati esistenti, GR00T-Dreams utilizza Cosmos per generare dati completamente nuovi.

Fourier

Inizia

Costruisci robot adattabili con politiche solide, abilitate alla percezione e addestrate alla simulazione utilizzando il framework modulare open source NVIDIA Isaac Lab per l'apprendimento robotico.

Risorse

Dati sintetici

Colma il divario tra simulazione e realtà creando scene e oggetti virtuali fisicamente accurati per addestrare i modelli IA, risparmiando tempo e costi di addestramento.

Reinforcement learning

Applica tecniche di apprendimento per rinforzo (RL) a qualsiasi tipo di realizzazione di robot e crea politiche per robot.

Simulazione

Utilizza il framework di simulazione robotica Isaac Sim basato su NVIDIA Omniverse per simulazioni fotorealistiche ad alta fedeltà per addestrare robot umanoidi

Robot umanoidi

Accelera lo sviluppo di robot umanoidi utilizzando NVIDIA GR00T, un'iniziativa di ricerca e piattaforma di sviluppo per modelli di base robotici per uso generico e pipeline di dati per accelerare la robotica umanoide.

Notizie