Politiche di addestramento dei robot in simulazione.
Strumenti e tecniche di computing accelerato
Data center/cloud
Robotica
Simulazione/Modellazione/Progettazione
Sanità e scienze della vita
Produzione
Retail/Beni di consumo confezionati
Città/spazi intelligenti
Innovazione
Ritorno sugli investimenti
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Jetson AGX
NVIDIA Omniverse
I robot pre-programmati operano utilizzando istruzioni fisse all'interno di ambienti prestabiliti, limitando la loro adattabilità ai cambiamenti inaspettati.
I robot basati sull'IA affrontano questi limiti attraverso l'apprendimento basato sulla simulazione, consentendo loro di percepire, pianificare e agire in modo autonomo in condizioni dinamiche. Con l'apprendimento dei robot, possono acquisire e perfezionare nuove competenze utilizzando politiche apprese, ovvero insiemi di comportamenti per la navigazione, la manipolazione e molto altro ancora, per migliorare il processo decisionale in varie situazioni.
Flessibilità e scalabilità
Itera, perfeziona e distribuisci le politiche dei robot per scenari del mondo reale utilizzando una varietà di fonti di dati provenienti dai dati acquisiti dal robot reale e dai dati sintetici nella simulazione. Ciò funziona per qualsiasi realizzazione di robot, come i robot mobili autonomi (AMR), le braccia robotiche e i robot umanoidi. L'approccio basato sul "sim-first" consente inoltre di addestrare rapidamente centinaia o migliaia di istanze di robot in parallelo.
Sviluppo accelerato delle competenze
Addestra i robot in ambienti simulati in grado di adattarsi alle nuove variazioni delle attività senza che sia necessario riprogrammare l'hardware fisico dei robot stessi.
Ambienti fisicamente accurati
Modella facilmente fattori fisici come le interazioni degli oggetti (rigidi o deformabili), l'attrito, ecc., per ridurre significativamente il divario tra simulazione e realtà.
Ambiente di prova sicuro
Testa scenari potenzialmente pericolosi senza rischi per la sicurezza umana o danni alle apparecchiature.
Costi ridotti
Evita l'onere dei costi di raccolta ed etichettatura dei dati del mondo reale generando grandi quantità di dati sintetici, convalidando le politiche dei robot addestrati in simulazione e distribuendo sui robot più velocemente.
Gli algoritmi di apprendimento robotico, così come l'apprendimento per imitazione o il reinforcement learning, possono aiutare i robot a generalizzare le competenze di apprendimento e migliorare le loro prestazioni in ambienti nuovi o mutevoli. Esistono diverse tecniche di apprendimento, tra cui:
Collegamenti rapidi
Un tipico flusso di lavoro robotico completo implica l'elaborazione dei dati, l'addestramento dei modelli, la convalida in simulazione e la distribuzione su un robot reale.
Elaborazione dei dati: per colmare le lacune di dati, è possibile considerare un insieme diversificato di fonti di dati di alta qualità combinando dati a livello internet, dati sintetici e dati di robot in tempo reale.
Addestramento e convalida in simulazione: i robot devono essere addestrati e distribuiti per scenari definiti da attività e richiedono rappresentazioni virtuali accurate delle condizioni del mondo reale. Il framework open-source NVIDIA Isaac™ Lab può aiutare ad addestrare le politiche per robot utilizzando tecniche di reinforcement learning e imitazione in un approccio modulare. Isaac Lab può inoltre essere utilizzato con le piattaforme di simulazione per sviluppatori NVIDIA Isaac Sim™ o MuJoCo per la prototipazione rapida e la distribuzione di politiche robotiche.
Una volta addestrato il robot, le sue prestazioni possono essere convalidate in Isaac Sim, un'applicazione di simulazione robotica di riferimento basata su NVIDIA Omniverse™
Distribuzione sul robot reale: le politiche robotiche addestrate e i modelli IA possono essere distribuiti su computer on-robot NVIDIA Jetson™ che offrono le prestazioni e la sicurezza funzionale necessarie al funzionamento autonomo.
L'apprendimento per imitazione, un sottoinsieme dell'apprendimento robotico, consente agli umanoidi di acquisire nuove competenze osservando e imitando le dimostrazioni umane di esperti. Ma la raccolta di questi insiemi di dati estesi e di alta qualità nel mondo reale è noiosa, richiede tempo e costi proibitivi.
NVIDIA Isaac GR00T aiuta ad affrontare queste sfide fornendo agli sviluppatori di robot umanoidi modelli di base robotici, pipeline di dati e framework di simulazione.
Modelli di base
I modelli di base aperti Isaac GR00T N sono ideali per il ragionamento e le competenze dei robot umanoidi per uso generale. Questa soluzione di inter-realizzazione utilizza dati multimodali, tra cui linguaggio e immagini, per eseguire attività di manipolazione in vari ambienti.
Pipeline di generazione di dati sintetici
NVIDIA Isaac GR00T-Dreams è un blueprint che aiuta a generare grandi quantità di movimenti sintetici per insegnare ai robot nuovi comportamenti e modi di adattarsi ad ambienti mutevoli.
Gli sviluppatori possono prima eseguire il post-addestramento dei modelli di base del mondo (WFM) Cosmos Predict 2 per il loro robot. Dopodiché, utilizzando una singola immagine come input, GR00T-Dreams aiuta a generare diversi video del robot che esegue nuove attività in nuovi ambienti. Il blueprint estrae quindi i token delle azioni, ovvero dati compressi e digeribili che vengono utilizzati per insegnare ai robot come eseguire queste nuove attività.
Il blueprint GR00T-Dreams integra il blueprint Isaac GR00T-Mimic. Mentre GR00T-Mimic utilizza NVIDIA Omniverse e Cosmos per arricchire i dati esistenti, GR00T-Dreams utilizza Cosmos per generare dati completamente nuovi.
Collegamenti rapidi