Reka AI'ın Rho-1'i metin, görüntü, video ve robot kontrolünü tek ağda topluyor

Reka AI, 19 milyar parametreli Rho-1 modelinin araştırma önizlemesini yayımladı. Model metin, görüntü, video ve robot kontrol komutlarını tek bir sinir ağında hem işliyor hem üretiyor. Görevleri ayrı uzman modellere dağıtmak yerine bütün veri türlerini aynı bağlam penceresinde token olarak ele alıyor; araç çağrısı ya da dış model kullanmıyor. Gerçek zamanlı ve kesintisiz video üretebiliyor, yeni talimatlara baştan başlamadan yanıt veriyor. Kamera görüntülerini tahmin eden aynı ağırlıklar robot hareketlerini de yönetiyor.

Robot eğitim verisinin azlığını aşmak için şirket, sıradan internet videolarından kontrol sinyali çıkaran bir ters dinamik modeli geliştirdi. Rho-1, 320 adet H100 grafik işlemcisiyle yaklaşık üç ayda eğitildi. Reka AI, Nisan 2024'te de çok modlu Reka Core modelini çıkarmıştı.