Výzkumná skupina robotiky Robo@FIT

Laboratoř komunikace člověka se strojem

Laboratoř je zaměřena na výzkum a experimenty v oblasti komunikace člověka se strojem a aktuálně se výzkum v laboratoři zaměřuje na interakci člověka s roboty. Laboratoř je prostorově propojitelná s robotickou laboratoří a pozemní roboti jsou tak využívání k různým experimentům. Laboratoře je dále vybavena jak rozsáhlou sadou senzorů pro snímání situace v prostředí robota, polohy a pohybu osob a robotů, gest operátora atd. tak množstvím specifických zobrazovacích zařízení pro realizaci virtuální a rozšířené reality (virtuální brýle, průhledové brýle, systém pro projekci rozhraní do reálného prostředí).

Roboti

  • PR2 - Univerzální výzkumný robot, dvě ramena se sedmi stupni volnosti (jedno vybaveno F/T senzorem), několik kamer a dva lidary.
  • Dobot M1 - Průmyslový SCARA robot.
  • Dobot Magician - Malý stolní robot se čtyřmi stupni volnosti vhodný pro drobné manipulační úlohy.
  • Niryo One - Malý stolní robot se šesti stupni volnosti.
  • Jetson UAV - Experimentální dron.

Senzory

  • Hloubkové senzory
  • GPS Microstrain 3DM-GX3-45 - Fúze GPS a inerciálních dat pro vyšší přesnost a vzorkovací frekvenci, odolnost proti krátkodobým výpadkům signálu.
  • Eye tracker (Pupil Core) - Brýle pro měření směru pohledu uživatele.
  • Emotive Epoc - Zařízení pro měření mozkové aktivity. Využitelné pro monitorování mozkové aktivity, analýza vlivu prostředí, stresových událostí apod.
  • Empatica E4 - Profesionální měření fyziologických dat (teplota, puls, teplota, odpor kůže) pomocí nenápadného zařízení podobného hodinkám.
  • Stratos Explore - Zařízení pro haptickou odezvu pomocí ultrazvukových vln. Využití pro výzkum netradičních ovládacích prvků uživatelských rozhraní.
  • Ostatní - Myo Armband, Leap motion

Rozšířená a virtuální realita

  • Rozšířená realita na tabletu
    • Tablety Samsung S6, S7 + iPady
    • AREditor - vyvinutá aplikace pro programování robotů, vizualizace a debugging robotických procedur, anotace pracoviště, spolupráce více uživatelů. Pro více informací, navštivte náš GitHub repozitář, případně shlédněte video.


  • Interaktivní promítaná rozšířená realita
    • 2x projektor 5000 ANSI, různé typy menších projektorů, 2x malý laserový projektor (může promítat pod libovolným úhlem) vhodný např. pro montáž na robotické rameno.
    • 2x Hachi Infinite M1 - dotykový projektor (integruje v sobě kameru pro detekci prstů)
    • 3ks sendvičů vybavených projekční fólií a kapacitní dotykovou vrstvou. Dílenský dotykový stůl s dotykovou deskou 1500 x 700mm, demonstrační pracoviště s deskou 996 x 574mm, mobilní deska 1000x600mm.
    • Plejáda držáků a stojanů umožňující rychlé prototypování různých konfigurací pracoviště, umístění senzorů, apod.
    • ARCOR (také známý jako ARTable) vize pracoviště blízké budoucnosti, kde mohou lidé a roboti bezpečně a efektivně spolupracovat. Naším hlavním zaměřením je interakce člověk-robot a zejména programování robotů tak, aby to bylo proveditelné pro každého běžného kvalifikovaného pracovníka. Interakce je založena především na interaktivní prostorové rozšířené realitě kombinaci projekce a dotykového povrchu. Další informace najdete na GitHubu a videu, dalším videu. 


  • Brýle pro rozšířenou realitu
    • HoloLens (v1 a v2)
    • Vizualizace robotických procedur, programování robotů, anotace pracoviště, nastavení kolizních obálek, zaškolování nových pracovníků, krokování programů, spolupráce více uživatelů. Příklady naší práce lze shlédnout ve videu. 
    • Head-up display pro piloty dronů, telepresence.


  • Brýle pro virtuální realitu
    • HTC Vive a Vive PRO
    • Oculus Quest (v1 a v2)
    • Vzdálené virtuální pracoviště, zaškolování nových pracovníků v průmyslovém pracovišti, apod.

Demonstrační modulové pracoviště

Modulární pracoviště simulující Industry 4.0 prostředí slouží jako demonstrátor možností systému ARCOR2, který umožňuje vizuální programování v rozšířené realitě pomocí aplikace AREditor (video). Každý modul je vybaven vlastním robotem (Dobot Magician a Dobot M1) a 3D senzorem (Kinect Azure) pro sledování pracoviště, robota a součástek. Moduly je možné spojit a roboty si poté např. mohou předávat součástky a spolupracovat tak na komplexnější úloze. Na pracovišti je připravena ukázková úloha zahrnující detekci součástek a manipulaci s nimi pomocí dvojice robotů. Pomocí tabletu s aplikací AREditor je možné si úlohu prohlédnout, ovládat běh programu, nebo jej například adaptovat na nový typ součástky.

ABB YuMi

V rámci spolupráce s ABB proběhla integrace zapůjčeného dvourukého kolaborativního robota ABB YuMi do systému ARCOR2 (video). S robotem poté byla připravena ukázková úloha, demonstrujicí snadnost úpravy programu pomocí aplikace AREditor a možnosti práce s robotem, který má více než jedno rameno. Zahrnutí robota Dobot M1 do ukázky potom demonstruje schopnost systému ARCOR2 sloužit jako jednotné prostředí, umožňující integraci zařízení (robotů) různých dodavetelů, které není nutné ovládat a programovat pomocí jednotlivých proprietárních aplikací, nebo pomocí PLC.

Integrace byla provedena formou vytvoření několika jednoduchých programů v jazyce RAPID, které vytvářejí TCP server, umožňující pluginu do systému ARCOR2 komunikaci s robotem, za účelem např. vyčítání pozic koncových efektorů, jednotlivých kloubů, nebo zasílání požadavků na pohyb. Dále bylo využito rozhraní Robot Web Services, které umožňuje např. restartovat program robota, nebo ovládat stav jeho motorů. Připravená podpora pro robota YuMi je volně dostupná na GitHubu.

 

Nahoru