HomeBody sistemi GPT-6 Astra ile robota tanımadığı bir mutfağı toplattı

Stanford ve Caltech araştırmacılarının geliştirdiği HomeBody sistemi, Unitree G1 insansı robotunun tanımadığı bir mutfakta kendi başına dolaşmasını, ortalığı toplamasını ve çekmecelerden eşya getirmesini sağladı. Sistem, dil modeli ile robot arasında genellikle bulunan ve ayrıca eğitilen denetim katmanını kullanmıyor. Bunun yerine değiştirilebilir bir görsel-dil modeli (bu denemede GPT-6 Astra), kavrama, yön bulma ve çekmece açma gibi becerilerden oluşan genişletilebilir bir kütüphaneyi doğrudan çağırıyor.

Robot önce odayı geziyor, Nvidia Isaac Sim içinde odanın dijital ikizini kuruyor ve nesnelerin yerini uzamsal bir bellekte tutuyor. Böylece görüş alanından çıkan eşyaları da bulabiliyor. "Mutfağı topla" gibi görevlerde adımları dil modeli planlıyor ve hataları kendisi düzeltiyor. Sistemin sınırları arasında Astra'nın gecikmesi, parmak motorlarının aşırı ısınması ve yüksek hesaplama maliyeti yer alıyor. Kod GitHub'da yayımlandı.