NVIDIA представила відкриті інструменти ШІ та моделювання для навчання роботів і розробки гуманоїдів

Сьогодні корпорація NVIDIA анонсувала нові інструменти штучного інтелекту та моделювання для прискорення розробки роботів, у тому числі гуманоїдів.

Інструменти включають загальнодоступну платформу для навчання роботів NVIDIA Isaac Lab та шість нових робочих процесів для навчання роботів для ініціативи Project GR00T, спрямованої на прискорення розвитку гуманоїдів. Вони також включають нові інструменти розробки світової моделі для керування та обробки відеоданих, включаючи NVIDIA Cosmos tokenizer і NVIDIA NeMo Curator для обробки відео, пише The Robot Report.

Isaac Lab — це платформа для навчання роботів з відкритим кодом, побудована на NVIDIA Omniverse, платформі для розробки додатків OpenUSD для промислової цифровізації та фізичного штучного інтелекту. За словами NVIDIA, розробники можуть використовувати лабораторію Isaac Lab для навчання політик у масштабі для всіх типів рухів роботів, від колаборативних роботів і чотириногих до гуманоїдів.

Компанія заявила, що провідні дослідницькі організації, виробники робототехніки та розробники додатків у всьому світі використовують Isaac Lab. Серед них 1X, Agility Robotics, The AI ​​Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics і XPENG Robotics.

Інструкція з переходу з Isaac Gym доступна в Інтернеті, а NVIDIA Isaac Lab 1. зараз доступна на GitHub.

Проєкт GR00T спрямований на розробку бібліотек, базових моделей та конвеєрів даних для глобальної екосистеми розробників людиноподібних роботів. NVIDIA додала шість нових робочих процесів, які незабаром будуть випущені, щоб допомогти роботам сприймати, рухатися та взаємодіяти з людьми та їх оточенням.

Коли розробники створюють моделі світу, або ШІ-представлення того, як об’єкти та середовище можуть реагувати на дії робота, їм потрібні тисячі годин реальних зображень або відео даних. NVIDIA заявила, що її токенізатори Cosmos забезпечують високоякісне кодування та декодування, щоб спростити розробку цих моделей світу з мінімальними спотвореннями та часовою нестабільністю.

Компанія заявила, що токенізатор Cosmos з відкритим кодом працює в 12 разів швидше, ніж поточні токенізатори. Зараз він доступний на GitHub і Hugging Face. XPENG Robotics, Hillbot і 1X Technologies використовують токенізатор.

NeMo Curator спрощує курацію даних за допомогою автоматичної оркестровки конвеєра, скорочуючи час обробки відео. За словами компанії, цей конвеєр дозволяє розробникам роботів підвищити точність їхніх моделей світу, обробляючи великі обсяги текстових, графічних і відеоданих.

Система підтримує лінійне масштабування в багатовузлових системах з декількома графічними процесорами, ефективно обробляючи понад 100 петабайтів даних. За словами NVIDIA, це може спростити розробку ШІ, знизити витрати і прискорити час виходу на ринок.

NeMo Curator для обробки відео буде доступний наприкінці місяця.

Джерело