Yeni AI, yalnızca nesneye bakarak bir nesneye dokunmanın nasıl hissedeceğini tahmin edebiliyor. Ayrıca, bir nesneye dokunarak oluşturduğu dokunsal verilerden görsel bir sunum da oluşturabilir.

CSAIL Doktora öğrencisi Yunzhu Li projenin robotların gerçek dünyadaki nesneleri kontrol etmelerini kolaylaştıracağını söyledi ve ekledi:

“Modelimiz, yalnızca bakarak düz bir zeminin ya da keskin bir nesnenin nasıl hissettireceğini hayal edebiliyor. Görsel veri almadan etrafı dokunarak keşfettiğindeyse modelimiz çevresini tahmin edebiliyor. Bu iki duyuyu bir araya getirdiğimizde robotları güçlendirip nesneleri kavramak ve manipüle etmek için gereken veriyi azaltabiliriz.”

Araştırma ekibi, modeli eğitmek için GelSight adlı özel bir dokunsal sensöre sahip KUKA robot kolu kullandı. Daha sonra kol 200 adet nesneye 12.000 kez dokunarak görsel ve dokunsal verileri kaydetti. Bu verilere dayanarak 3 milyon görsel dokunsal imge oluşturuldu ve bu imgelere VisGel ismi verildi.

Paylaş