Když se podíváme na brusný papír, je nám i bez nutnosti se jej dotknout předem jasné, že bude jeho povrch hrubý. Schopnost, kterou lidský mozek vnímá jako samozřejmost ovšem současná robotika doposud neovládla. K tomuto kroku se odhodlali vývojáři z Laboratoře Umělé Inteligence (CSAIL), spadající pod Massachusettský Technologický Institut (MIT), kteří vytvořili prediktivní systém, schopný pomocí zraku předvídat charakter rozpoznávaného povrchu bez potřeby hmatu. Jde tedy o spojení více smyslů dohromady.

Tým, vedený PhD studentem laboratoře, Yunzhu Liem, využil pro vývoj systému robotické rameno KUKA a připojil k němu hmatový senzor GelSight, který přesně vizualizuje a měří 3D topografii jakéhokoliv povrchu, přičemž je schopen odhalit i mikroskopické struktury.

Systém může také naopak přijímat hmatové vstupy a převádět je do obrazů o tom, jak daný předmět, nebo povrch vypadá. V praxi by mohl sloužit k nahrazení lidských operátorů, kteří při práci ověřují, zda manipulují se správným předmětem.

„Je to stejné jako když lidský mozek vyhodnocuje, zda má ostrý nůž uchopit za rukojeť, nebo za ostří“, říká vedoucí týmu Yunzu Li. Systém by také mohl být využit k efektivnější práci, například v místech s omezeným osvětlením, aniž by roboti vyžadovali pokročilé senzory.