NVIDIA, ajan yetkilerini modelin dışından sınırlayan güvenlik kurallarını yayımladı

NVIDIA, yapay zeka ajanlarının güvenliğini bir mühendislik sorunu olarak tanımlayan bir belge yayımladı. Belgeye göre her ajanın izlenebilir bir kimliği ve yalnızca kendi görevine yetecek erişim bilgileri olmalı; sınırlar modelin muhakemesine değil, ajanın çalıştığı ortama gömülmeli. Şirket örnek olarak, ekli bir belgeden zararlı talimat alıp müşteri verisini dışarı göndermeye çalışan bir ajanı veriyor: ağ kuralı aktarımı engellemeli, korumalı kayıtlar denenen araç çağrısını ve yetki kararını tutmalı. NVIDIA'nın açık kaynaklı OpenShell çalışma ortamı bu kuralları ajanın erişemeyeceği bir katmanda uyguluyor. Open Secure AI Alliance ortaklarından Cisco bir yönetişim katmanı ekliyor, JFrog ise ajanların kullandığı becerileri tarayıp doğruluyor. Belge, testlerin dağıtımdan önce ve model, araç ya da iş akışı değiştiğinde tekrarlanmasını öneriyor.