Možnosti využití virtuální a rozšířené reality ve výrobních podnicích

1. Úvod

Jak již bylo uvedeno, imerzní technologie je možné využít pro optimalizaci stávajících podnikových procesů. Veškeré tyto procesy jsou součástí životního cyklu produktu (PLC - Product Life Cycle). Na tomto místě si uvedeme, jak jsou tyto procesy zastoupeny v rámci činnosti podniku. Základním úkolem podniku je generovat zisk. Zisk je generován pomocí zvyšování produktivity: míry zapojení a využití zdrojů ve vztahu k ekonomické činnosti (tj. produkce). Pojďme si nyní rozlišit, jaké dílčí činnosti je nutné podpořit za účelem zvyšování zisku.

Tyto činnosti jsou popsány například v Porterově teorii hodnotového řetězce (viz Obr. 1), který definuje konkurenční výhodu podniku jako výkon, který by měl dosáhnout vyšší hodnoty nežli konkurence, přičemž hodnota je limitována částkou, kterou je odběratel ochoten za výkon zaplatit. Funkce jsou označeny jako hodnotové aktivity, které jsou rozděleny na primární a podpůrné. Primární činnosti se zabývají fyzickým zhotovením výrobku, jeho prodejem a zprostředkováním odběrateli, kdežto podpůrné jsou zabezpečovací funkce: nákup, výzkum a vývoj, personalistika a celková podniková infrastruktura.

^{Obr. 5.1 Model hodnotového řetězce dle Portera}

Imerzní technologie je možné využít pro optimalizaci procesů v rámci všech primárních činností podniku. Přičemž využití přesahuje i do podpůrných činností. V rámci předvýrobních etap je nejmarkantnější příležitost pro využití v rámci výzkumu a vývoje. Dílčí specifické aplikace je možné uvažovat i v dalších těchto oblastech (např. VR/AR assessment centra za účelem optimalizace procesu testování nových pracovníků). V dalších kapitol  tak budou z těchto primárních a podpůrných činností derivovány kategorie, kde jsou aplikace imerzních technologií nejvýznamnější.

Obsahem této kapitoly je kategorizace a popis všech dílčích procesů, které je možné pomocí imerzních technologií optimalizovat. Shrneme tedy dílčí průmyslové aplikace v VR a AR. Ač existují dílčí studie využitelnosti VR a AR (dále z nich budeme vycházet), tyto často pokrývají očekávané možnosti aplikací jen částečně. Je třeba však podotknout, že nelze pojmout celkové předpokládané spektrum aplikací.

TOMEK, Gustav a Věra VÁVROVÁ. Řízení výroby. 2. rozšíře. Praha: Grada, 2000.

PORTER, Michael E. Creating and sustaining superior performance. Competitive Advantage [online]. 1985. ISSN 10688838. Dostupné z: doi:10.1182/blood-2005-11-4354

2. Obecné možnosti využití virtuální a rozšířené reality v rámci podnikových procesů

Na základě uvedených výchozích studií je tedy možné integrovat dílčí aplikace do kategorií primárních a podpůrných činností dle Porterova modelu hodnotového řetězce. V rámci primárních činností bude vstupní a výstupní logistika sjednocena. Z hlediska optimalizace uvažujeme v rámci těchto fází obdobné procesy. Kategorie pro podporu fáze Operace se jmenuje jednoduše Výroba. V rámci služeb zákazníkům budeme v přehledu uvažovat Provoz a údržbu. V rámci podpůrných činností se zase jako nejdůležitější kategorie pro podpoření aplikací imerzních technologií jeví Výzkum a vývoj (zde Návrh a vývoj).

Návrh a vývoj

o   Virtuální konstruování 

o   Návrh a prohlídky layoutu

o   Virtuální simulace

o   Ergonomické studie pomocí Motion Capture 

Logistika 

o   Navigace po skladu

o   Pick-By-Vision

o   Vizualizace nakládky

Výroba

o   Manuály a návodky pro výrobu

o   Virtuální trénink pro výrobu

o   Porovnávání odchylek

o   Doplňování metadat v AR

Provoz a údržba

o   Manuály a návodky pro údržbu (shodná aplikace jako pro výrobu, jen se liší určení)

o   Virtuální trénink pro údržbu (dtto)

o   Prediktivní údržba

Využití ve všech fázích

o   Virtuální kolaborace 

o   Vizualizace dat 

Pozn.: 

Tyto vybrané fáze korespondují i s vybranými etapami PLC. Předpokladem je, že výše uvedené aplikace využívají PLM data. V následujících podkapitolách pak budou klíčové vybrané aplikace rozvedeny. Rozvedení bude vždy vztaženo k racionalizaci procesu pomocí imerzních technologií, přičemž tam, kde to bude možné, bude porovnán původní proces s procesem racionalizovaným pomocí VR nebo AR. 

3. Virtuální konstruování

Snaha zjednodušit, zpříjemnit a zrychlit proces konstruování v rámci CAD programů existuje již od vydání prvního CAD programu.

Jeden z první funkčních prototypů pro VR konstruování byl systém VADE (Virtual Assembly Design Environment) z roku 1997[1]. Tento produkt běžící na grafických stanicích Silicon Graphics se zabýval víceméně tvorbou sestav ve VR, nikoliv tvorbou samotných součástí. Při převodu CAD modelů při zobrazování ve VR, je totiž často třeba počítat s převody modelů. Proto vznikají různé metodiky pro samotný převod těchto modelů, např. [2] (v rámci autorova pracoviště existují také vlastní vypracované a ověřené postupy).  Na trhu jsou však i systémy pro VR, které pracují s originálními CAD daty, např. ICIDO od ESI Group.

V tomto případě se však často stále jedná spíše o prohlížeč modelů s možností interakcí na úrovni sestav. Samozřejmosti je zde nutnost navržení naprosto odlišného ovládacího rozhraní oproti konvenčním CAD aplikacím. Prototyp jedné z prvních konkrétních funkčních a využitelných tzv. hybridních CAD platforem byl představen v říjnu roku 2018[3]. Toto řešení je určené pro HMD. Pro skutečné nasazení těchto aplikací do praxe je však potřeba ještě překonat některé hardwarové limity. Současná technologie zatím neumožňuje pohodlnou celodenní práci s HMD.

V tento okamžik, kdy de facto neexistují funkční aplikace, nelze tedy ani hodnotit přidanou hodnotu v porovnání s původním procesem.

Kromě snahy převést efektivně CAD nástroje do VR prostředí, existují již v současné době mnohé nástroje pro designéry, které přímo využívají VR. Tak například softwaroví specialisté ze společnost Ford si nechali upravit veřejně dostupný software pro HMD HTC Vive Gravity Sketch (viz Obr. 1). Konstruktéři a designéři mohou pozorovat vůz z různých úhlů a manipulovat s tvary tak, jak to dříve (při práci s hliněnými modely) nebylo možné[4].

^{Obr. 1 Figurant pracuje s upraveným produktem Gravity Sketch [4]}

Zdroje:

[1]      JAYARAM, Sankar, Hugh I. CONNACHER a Kevin W. LYONS. Virtual assembly using virtual reality techniques. CAD Computer Aided Design [online]. 1997. ISSN 00104485. Dostupné z: doi:10.1016/S0010-4485(96)00094-2

[2]      LORENZ, Mario, Michael SPRANGER, Tino RIEDEL, Franziska PÜRZEL, Volker WITTSTOCK a Philipp KLIMANT. CAD to VR-A Methodology for the Automated Conversion of Kinematic CAD Models to Virtual Reality. In: Procedia CIRP [online]. 2016. ISSN 22128271. Dostupné z: doi:10.1016/j.procir.2015.12.115

[3]      Is VR a “new mobile” for CAD? [online]. 2018 [vid. 2019-03-26]. Dostupné z: http://beyondplm.com/2018/10/06/vr-new-mobile-cad/

[4]      Ford’s designers are learning to create 3D cars in virtual reality [online]. 2019. Dostupné z: https://www.cnet.com/roadshow/news/ford-virtual-reality-design-gravity-sketch/

4. Prohlídky layoutu ve VR

Layouty výrobních podniků jsou velice často realizovány pouze jako 2D výkres v pohledu shora. Často bývají degradovány jen na jednoduchá schémata opatřená poznámkou. Tento přístup může vést k vysokému riziku, které spočívá v potenciálním přehlédnutí dílčích detailů, a tedy ke kolizím v rámci statických nebo pohyblivých objektů. Tyto klasické výkresy též nejsou vhodné pro ergonomické analýzy. 2D layouty bývají také obtížně „čitelné“ zástupci jinými profesí nežli samotnými techniky, kteří layout navrhli.

Dalším důvodem, proč vytvářet layouty ve 3D je, že na nich lze provádět další analýzy, virtuální prohlídky a virtuálního trénink (viz dále). Lze vizualizovat dílčí proces/pracoviště nebo celou linku. Vstupní 3D data bývají v podniku k dispozici. Navíc vytvoření jednoduché virtuální prohlídky nemusí být časově náročné (pokud nevzniknou např. typické problémy s převody modelů).

Podívejme se nyní na dílčí možnosti realizace virtuálních prohlídek v porovnání s konvenčním přístupem:

Varianta 1 – Běžné způsoby prohlížení layoutu

Tato varianta předpokládá běžné využití dílčího, často CAD, produktu. Alternativně je možno využít i jiné často jednoúčelové softwarové nástroji např. VisTable. Tyto produkty mají dlouhou tradici a pokud je uživatel znalý, lze velmi snadno provádět změny

Výhody: Prověřený způsob

Nevýhody: Je třeba znát principy práce v daném programu, uživatel musí mít 3D představivost

Varianta 2 – Vizualizace pomocí VR

Na základě rozhovorů s odborníky z praxe vyplynulo, že i „obyčejná“ prohlídka existujícího nebo neexistujícího prostoru ve virtuální realitě je účelná. Návrh nového layoutu je tak třeba dnes v mnoha podnicích mistrům předváděn ve virtuální realitě.

Zmiňme například úvodem jeden příklad z praxe: v nejmenované automotive společnosti je lakovna. Tato lakovna je uzavřený prostor, kam nevstupují operátoři, neboť se jedná o nebezpečné, výpary zamořené prostředí. Celá výroba uvnitř lakovacího prostoru je plně automatická. Díky údržbě je však nutné několikrát do roka zamořený prostor navštívit za účelem provedení údržby. Pracovat je nutno ve speciálním obleku a doba pobytu nesmí přesáhnout 20 minut.

Byl tedy vytvořen Lidar 3D sken celého prostoru. Získané bodové mračno bylo upraveno pro práci s VR pomocí HMD. Technici se tedy mohou před dílčím zásahem snadno zorientovat v daném prostředí. Je zde samozřejmě také možnost přidat do této virtuální prohlídky i samotný virtuální trénink.

Uveďme si další příklad virtuální prohlídky obdobného prostoru z České republiky: ve výzkumném centru Řež s.r.o. se vyvíjí virtuální prohlídka a simulace pracovních postupů v prostředí horkých komor jaderných a klasických elektráren (viz Obr. 1). K této simulaci slouží náhlavní displej spolu s ručními ovladači a vlastním softwarem, který obsahuje 3D modely jednotlivých reaktorů a příslušných interiérů již existující elektrárny, který umožní člověku vidět prostředí, ve kterém k měření ve skutečnosti dochází a vizualizaci šíření jednotlivých škodlivých látek prostorem. Mezi riziková prostředí patří například kontrolované pásmo, ve kterém dochází ke vzniku nebezpečí.

^{Obr. 1 Virtuální prohlídka jaderné elektrárny}

V současné době se vyvíjejí softwarová řešení, díky kterým bude možno layout postavit klasickou cestou nebo ve VR a dále ověřit pomocí AR (viz. dále).

Na tomto místě ještě uveďme příklad velmi sofistikovaného modulového systému pro prohlídky layoutů od společnosti Linde.

Výhody: Prostor je imerzní (je možné si jej „osahat“), jedná se o velmi věrnou iluzi. Vhodné pro rizikové prostory

Nevýhody: všechny nevýhody využívání VR (obtížně přenositelné, nutno inicializovat atd.)

Zdroje:

MILATOVÁ, Monika. Návrh laboratoře virtuální reality pro Centrum výzkumu Řež, s. r. o., Bakalářská práce. 2019.

YouTube, Virtual Reality Training for Operators by Linde [online]. [vid. 2019-03-26]. Dostupné z: https://www.youtube.com/watch?v=KYK6wuFaES8

5. Prohlídky layoutu v AR

Porovnání na konci této kapitoly uvažuje varianty 1 a 2 z předchozí kapitoly.

Varianta 3: Vizualizace pomocí AR (markery)

V rámci vlastního řešení vznikl systém, díky kterému je možné vytisknout dílčí značky (markery). Každý z těchto markerů pak reprezentuje dílčí prvek z layoutu průmyslového podniku – stroj, stěnu, produkt atp. Tyto markery jsou snímány webkamerou a namísto markerů jsou doplněny 3D modely. Uživatel tak může jednoduše markery po stole posouvat a na obrazovce (monitoru nebo tabletu) okamžitě vidí vytvořený layout.

Pro prezentační účely pak vznikla druhá spíše marketingová varianta (viz Obr. 1): V rámci programu VisTable byla doplněna knihovna standardní 2D modelů o tyto markery. Dále je využit AR program, který snímá a vyhodnocuje značky (markery) umístěné na projekčním stole a dataprojektor pak promítá hotový 3D layout.

^{Obr. 1 Projekční stůl s layoutem s markery snímá webkamera. Doplněný layout promítá projektor – Vlastní řešení}

Smysl tohoto řešení je víceméně v jednoduchosti a portabilitě řešení. Varianta s projekčním stolem reprezentuje spíše tzv. „overkill“.

Výhody: přenosné, je možné vytvářet a měnit layout v rámci schůzky, pro vlastní práci a změnu layoutu není nutno žádných odborných IT znalostí

Nevýhody: rozložení není přesné (hrubý layout), v závislosti na využitém softwarů mohou někdy modely „vypadávat“. Řešení je citlivé na světelné podmínky.

Varianta 4: Vizualizace pomocí poloprůhledného náhlavního displeje (AR)

Nyní si ukažme variantu, které je nejspíše z hlediska budoucí průmyslové praxe nejzajímavější. Hotová standardizovaná řešení zatím neexistují. Popišme si však jedno již funkční řešení, které realizuje Microsoft pro svou platformu MS Hololens (viz. Obr. 2):

V rámci nástroje Dynamics 365 Layout je možno buď začít vytvářet nebo modifikovat stávající layout přímo ve výrobě. Lze dokonce vyjít i z předem připravených dat. Hrubý layout tak může být navržen na monitoru nebo pomocí HMD pro VR. Další úpravy jsou pak provedeny přímo na místě. Pracovník tak velmi rychle může provést veškerá měření a manipulovat se stroji. Tento nástroj je napojen na nástroj pro kolaboraci MS Remote Assist (viz dále), čili je možno velmi snadno vyžádat asistenci odborníka.

^{Obr. 2 Plánování layoutu pomocí MS Hololens [Zdroj: https://www.windowscentral.com/dynamics-365-remote-assist-and-layout-mixed-reality-apps-hit-general-availability (cit. 11.4.2019)]}

Podnik by nejspíše však ještě ocenil možno přepočítání výsledků analýz v reálném čase (např. materiálové toky). Zajímavá by byla také možnost přímé vzdálené kolaborace. Geograficky vzdálený expert by se jednání mohl zúčastnit telepresenčně: na své straně ve VR a na straně druhé jako avatar.  Dále chybí v tomto řešení funkční možnost připojení na stávající části layoutu.

Výhoda: Vysoká portabilita, práce s virtuálními modely přímo na místě, pro práci není nutný školený IT specialista

Nevýhody: Řešení je stále ve fázi vývoje a testování

Zhodnocení:

Pokud bychom uvažovali o možnosti vytvořit nový layout, díky technologickým omezením, bude stále nejjednodušší využít standardních CAD programů. Případná omezení také není nutné řešit přímo na místě, ale např. s využitím 3D skenu stávající haly. Technologie AR se zatím jeví vhodná pro optimalizaci layoutu (s kolaborací nebo bez ní). Technologie VR je naopak vhodná pro prohlížení layoutu za účelem získání vyšší úrovně imerze a může být vhodná zejména u v rámci simulace rizikových prostředí.

6. VIDEO: Plánování layoutu pomocí MS Hololens

Toto video doplňuje předchozí kapitolu:

7. Virtuální simulace ve VR

VR může pomoci všude tam, kde je nutno otestovat rychle nějaké vlastnosti prototypu bez nutnosti vlastní fyzický prototyp stavět. Často je ale kvůli nutnosti pocitu imerze a zpětné vazby vytvořit alespoň částečnou maketu.

Tak například společnost Ford vytvořila koncept tzv. SPV (Scalable Programmable Vehicle) neboli škálovatelného programovatelného vozidla. Jedná se o částečný model automobilu, který je tvořen nosnou konstrukcí, na kterou je možné připevnit základní části vozu (střešní panel, panel kapoty vozu, kliky, držáky a madla atp.) z portfolia automobilky, a tedy jeho pomocí simulovat jejich umístění v prostoru jako na reálném voze. Toto zařízení má 51 nezávislých os, podle kterých se celé zařízení může měnit – servomotory jsou schopny měnit pozici jednotlivých částí vozu, které tím pádem mohou simulovat například vysoký a široký Ford F150, stejně jako malý vůz Fiesta, nebo některý z vozů v úpravě kabriolet, kdy chybí střešní panel.

Dále je toto zařízení vybaveno HMD, který má figurant nasazen na hlavě. Jako softwarová podpora jsou využívány programy Autodesk MotionBuilder a Siemens Jack.

Jako příklad využití daného konceptu lze uvést:

Testování příslušenství jako takového

Nejprve je nutné připravit model testovaného vozu - tzv. Mockup, respektive jeho části. Softwarově je vytvořen pohled z vozu i s příslušnou scénou. Například je realizován výhled z vozu přes vnitřní zpětné zrcátko. Modelová situace pak simuluje výhled řidiče z vozu tohoto typu. Součástí simulace je též virtuální okolí vozu – křižovatka, budovy atp. - a lze například simulovat i nepříznivé povětrnostní podmínky (oslnění sluncem).

V SPV jsou pak instalovány základní prvky vozu vymezující polohu řidiče – sedadlo, sloupek řízení s volantem, pedály. Do takto připraveného modelu příslušného vozu je posazen figurant, který má na hlavě nasazen HMD a na různých částech těla (např. ruce) má připevněny senzory Motion Capture trackovacího zařízení. Do HMD je promítnuta výše popsaná scéna se zpětným zrcátkem. Figurant ji pak vidí i se svýma pohybujícíma rukama pomocí HMD.

Testování výhledu za užití příslušenství vozu – sluneční clona

Postup je opět stejný jako u výše popsaného případu. Důvodem takového testování je zjištění, zda může mít stejný výhled z vozu středně velká žena jako velký muž. Například pokud sluneční clona vyhovuje velkému muži, středně velká žena je po jejím sklopení stále oslňována sluncem.

Ověření designu

Velice rychle se díky této metodě dají ověřovat konstrukční a designové varianty interiéru vozu z pozice řidiče či spolujezdce.

Vzhledem k tomu, že technologie dnes dovolí využívat technologii raytracing (výpočet scény pomocí metody sledování paprsků), využívají i automobilky tohoto principu pro analýzy odrazů světel, např. odraz palubní desky na předním skle v rámci výše zmíněných simulací.  

Tento princip více či méně zjednodušený (např. s využitím jednoúčelového fyzického modelu nebo i bez něj) je možno využít i pro celou řadu jiných aplikací.

Zhodnocení:

Vytvořit takovou simulaci dříve nebylo možné. Konstruktér/designér/vedoucí výroby může mít díky této technologii velice rychle představu o neexistujícím hmotném prototypu založeném na aktuálních datech. Jakákoliv změna v konstrukci pak neznamená změnu stávajícího nebo výrobu nového prototypu.

Možnost virtuální simulace nabízí významné finanční úspory oproti standardnímu procesu tvorby prototypů. Tento princip je vhodný jak pro opakovanou, tak i pro neopakovanou výrobu. U sériové výroby se využívá jak virtuálních, tak fyzikálních prototypů. V případě neopakované výroby je tento princip jedinou ekonomicky přijatelnou možností. Samozřejmě využití VR pro virtuální simulace není aplikovatelné na všechny případy, tam kde je například potřeba otestovat složité fyzikální vlastnosti produktu v reálném prostředí (například za účelem získání certifikace) samozřejmě nutnost výroby prototypů neodpadá.

Mnohé simulace chování dílčích systémů lze samozřejmě provádět i bez imerzních prostředků. Avšak všude tam, kde dochází k interakci produkt-člověk nebo stroj-člověk je doporučené využití VR. 

8. VIDEO: Virtuální simulace ve VR

Podívejte se na video, které doplňuje předchozí kapitolu. Na tomto video je vidět virtuální validace prototypů ve společnosti Ford. Video je sice z roku 2013, princip je však stále shodný:

9. Ergonomické studie - bez imerzních technologií

Význam provádění ergonomických analýz poslední dobu silně vzrostl. Ergonomické analýzy se provádějí buď ve vztahu k produktu nebo k pracovišti. Při zanedbání vhodné politiky řízení ergonomie v podniku nevznikají jen primární náklady (např. způsobené nemoci z povolání zaměstnanců), nýbrž i náklady sekundární, jako jsou např. delší výrobní časy pro neergonomické pracoviště.

Standardní metody získávání ergonomických dat

V principu existuje celá řada ergonomických analýz, např.:

-          Analýza percentilu: Kolik procent lidí z dané antropometrické databáze bude schopno vykonávat daný pohyb

-          Analýza zatížení různých částí těla: analýza statického i dynamického zatížení pro různé části těla

-          Analýza metabolické spotřeby: analýza energetického výdeje

Samozřejmě obdobných analýz existuje větší množství. Standardně existuje celá řada různých způsobu a metod, jak tyto standardizované analýzy vyhodnocovat (NIOSH, OWAS, RULA, …). Jedná se o standardizované postupy, které zahrnují kombinaci dotazníku a dílčího měření přímo na pracovníkovi. To samozřejmě může být velmi komplikované, neboť data se často získávají díky poměrně dlouhodobého působení ergonoma přímo na pracovišti často za plného provozu. Sběr dat navíc zahrnuje celou sérii přímých měření na pracovníkovi, což dokonce může být i pro pracovníka nepříjemné.

10. Využití MoCap při sběru ergonomických dat

Motion Capture (MoCap) je technika pro digitalizaci pozic a pohybů živých subjektů (zejména pak lidí). Tato technika je známá zejména ze zábavního průmyslu, kde slouží pro snímání pohybů živých herců s přenesením autentických pohybů na digitální humanoidní model. MoCap se také v součinnosti s VR využívá jako zpětnovazební zařízení – v digitálním prostředí je tak možné spravovat přesný obraz avatara včetně odpovídající reakcí. Z hlediska technologického se technika MoCap může kombinovat i s jinými zařízeními, a to třeba s HMD pro výstup nebo s haptickými rukavicemi pro doplňkový vstup.

Tato technologie sama o sobě dovolí dokonalé zaznamenání pohybů včetně jejich ergonomických analýz v reálném čase. V případě kombinace s VR je tak možné tyto analýzy provádět ve virtuálním prostředí.

Jak již bylo řečeno sběr ergonomických dat může být komplikovaný, a to zejména pokud provádíme dynamické analýzy (v čase). Technologie MoCap s tím může efektivně pomoci. V principu existují 3 možná technická řešení:

-          Plný MoCap: profesionální MoCap je poměrně náročný finančně i prostorově. Poskytuje však nejlepší výsledky za cenu nutnosti buď přenesení pracoviště nebo produktu do laboratoře nebo za cenu instalace a kalibrace MoCap (cca 1 hodina). Od tohoto okamžiku je možné získávat ergonomické analýzy v reálném čase.

-          MoCap oblek: kompromisním řešením je MoCap oblek, který je mobilní a umožňuje práci přímo na pracovišti. Pro každého uživatele musí být oblek zvlášť konfigurován a některá řešení mají navíc problém s magnetickou interferencí

-          Jiné řešení: existuje celá řada alternativních MoCap řešení, které však nikdy nebudou tak přesná jako předchozí. Je tak možné použít metodu fotogrammetrie, tj. detekce uživatele a aproximace jeho pozice na základě analýzy obrazu (ze dvou kamer), sofistikovanější řešení tak spočívá např. v připojení senzoru (senzorů) MS Kinect (viz Obr. 1), které pracují s hloubkovou mapou. Možnosti tohoto řešení a využití v praxi jsou diskutovány ve vlastním článku.

^{Obr. 1 Využití MS Kinect pro MoCap}

Zdroje:

JANUSKA, Martin, Ondrej KURKIN, Patrik POLASEK, Tomas GORNER a Petr HOREJSI. USING KINECT TECHNOLOGY EQUIPMENT FOR ERGONOMICS. MM Science Journal [online]. 2015. ISSN 18031269. Dostupné z: doi:10.17973/mmsj.2013_03_201302

11. MoCap - prakticky

Z hlediska softwarové podpory lze využít buď program Autodesk Motionbuiler, který se využívá ve filmové průmyslu, anebo např. pro průmysl připravený SW Siemens Tecnomatix Jack, který je plně integrován na různá MoCap zařízení, včetně KINECTu (a díky otevřenosti je možné pro něj případné chybějící napojení doprogramovat). Tento SW svede provádět dílčí analýzy v reálném čase při použití MoCap.

Světové automobilky většinou disponují tzv. ergonomickými laboratořemi výrobních operací. V této laboratoři je figurant oblečen do obleku se senzory, které jsou trackovány pomocí MoCap trackovacího zařízení. Pohyb figuranta je pak přenášen na tzv. manikina v digitálním virtuálním prostředí. Testují se zde montážní operace z hlediska jejich proveditelnosti a ergonomie a podle zjištěných výstupů se upravují buď části vozidla, aby se lépe dalo smontovat, nebo se upravuje jejich poloha či tvar. To způsobuje rozdílnou polohu pracovníka při montáži a jiné montážní podmínky či podmínky úchopu. Na Obr. 1 Je možné vidět takovouto laboratoř ve společnosti Ford. Vidíme zde operátora s trackovanými senzory a s fyzickým modelem, v tomto případě s příčky, které vymezují polohu příček kolem motoru u digitálního mock-upu.

^{Obr. 1 Ford – ergonomická laboratoř [Zdroj: https://www.youtube.com/watch?v=dv7Sfl8q0lo (cit. 10.4.2019)]}

Ve Fordu existuje ještě další laboratoř pro testování pohybů. Tentokrát se však jedná o testování produktu. Je možné tímto způsobem otestovat pohodlí cestování, dosahy, nastupování a vystupování atp. Markery na figurantovi jsou opět trackovány systémem MoCap. Opět je možné provádět nad získaným mračnem bodů (tyto body mohou být „přilepeny“ na digitální model člověka) dílčí analýzy. Podobné analýzy se provádějí např. pro nastupování do kamióny anebo pro jízdu na kole.

Další možností je přímá kombinace techniky MoCap a VR. Ve Škoda Auto a.s. se může provést analýza nad zatím neexistujícími pracovištěm. Pokud dodavatel nového pracoviště dodá před samotnou realizaci zakázky 3D data, je možné nad tímto pracovištěm provádět dílčí analýzy. Problémem však může být manipulace s objekty. Analytické nástroje sice pracují se zatížením objektu uchopeného v ruce (popř. přenášeného), nejprve je však nutné digitální objekt do ruky digitálního avatara umístit. Zde je nutný zásah programátora do prostředí virtuálního pracoviště, kde jsou označeny fyzikální předměty a jsou k nim přiřazeny příslušné vlastnosti (zejména pak hmotnost). Při implementaci do SW Siemens Jack však stále není vyřešen problém úchopu objektu. Dle osobních zkušeností autora, lze připravit speciální skript, který bude automaticky uchopovat daný předmět v rámci definované proximitě k tomuto objektu.

Zhodnocení:

Tento přístup přináší zásadní inovaci. Tam kde se dříve jedna analýza dělala celý den. Po odečtení času kalibrací a úvodního nastavení, je zde najednou možnost provést celou řadu analýz a jejich vyhodnocení v řádu minut. Systém se vyplatí jen velkým společnostem, které potřebují provádět ergonomické analýzy často. Systém profesionálního MoCap systém stále stojí řádově více než 1 milión Kč. Až budou odladěné problémy s MoCap obleky, které navíc stojí přibližně polovinu původního řešení, bude možné s výhodou využívat i tuto mobilní variantu.

Pozn.: (rok 2020) Senzory Kinect 2 (které budou integrovány i v Hololens 2) se jeví jako zajímavá alternativa. Jsou bohužel příliš nové a zatím autorovi není známa žádná studie využitelnosti těchto senzorů v průmyslové praxi.

12. VIDEO: Testování pracoviště pomocí MoCap

Podívejme na praktickou ukázku využití MoCap, a sice ve společnosti Ford:

13. VIDEO: Laboratoř simulací lidského pohybu

Tento simulátor je tedy schopný spolu s dalším vybavením simulovat pozici určitých částí vozu, které pak vymezují prostor pro člověka. Tedy například nastupování a vystupování dveřmi vozu nebo sezení za volantem.

Figurant je pak opět oblečen do speciálního obleku se senzory, které jsou trackovány. Tím je zaznamenán lidský pohyb, který je pak převeden na tzv. mračno bodů, což je digitální interpretace pohybu jednotlivých sledovaných senzorů. Toto mračno bodů je pak konvertováno a aplikováno na pohyb tzv. manikina - digitální model člověka.

Pro lepší představu si můžete prohlédnout práci vykonávanou na popsaném pracovišti:

14. Zaskladňování a vyskladňování pomocí AR

Pro podporu tzv. chytrých skladů v rámci konceptu Industry 4.0 se do budoucna počítá s využitím AR. Jako základ pro realizaci chytrého skladu je nutnost existence digitálního dvojčete daného skladu. Tuto skutečnost lze v případě skladu velmi často namodelovat databázově – předpokladem je existence vhodných naplněných datových struktur respektujících příslušná integritní omezení (např. alespoň tabulek: Skladové místo a Zboží). Jediným problémem je pak už jen tuto skutečnost reprezentovat v realitě. Zboží i skladová místa tak mohou nést buď čárový nebo QR kód anebo sofistikovaněji mohou být čipování, např. pomocí RFID čipu, NFC čipu atp.

Jedna z vizí, kterou představila společnost SAP předpokládá (viz Obr. 1), že skladník při zaskladňování i vyskladňování bude využívat poloprůhledné brýle. V rámci navigace po skladu pak uvidí cestu ke skladovému místu (ve skladu samozřejmě nelze využít GPS), která bude v brýlích vizualizována pomocí šipek. Samotné zaskladnění pak může probíhat pohledem na čárový kód, popř. je možné nastavit pravidlo, že pokud zboží zůstane ve skladovém místě déle než určený čas, je zaskladněné. Obdobným způsobem funguje i vyskladňování. Jinými slovy probíhá na tomto místě přímá komunikace s některým z nástrojů PLM (nejčastěji ERP).

^{Obr. 5.9 Testovací prostředí pro vyskladňování od společnosti SAP [Upraveno dle: https://www.youtube.com/watch?v=8noXsIrrEVI (cit. 11.4.2019)]}

Zhodnocení:

Tato nová metoda je ve fázi testování v několika skladech v Německu. Pro masivní praktické nasazení je nutné překonat již zmíněné obecné hardwarové limity AR. Výhodou tohoto řešení je možnost promítání libovolných doplňkových informací do brýlí. Trasa pohybu ve skladu může být optimalizována (resp. Pořadí zaskladňování a vyskladňování), a to s ohledem na množství skladníků nebo vysokozdvižných vozíků. Kromě digitálního dvojčete skladu je možné udržovat i dopravní model celého skladu v reálném čase, je tedy možné sledovat okolní provoz, upozorňovat na případné kolize v trase, popř. dokonce zastavit vysokozdvižné vozíky.

15. VIDEO: Podpora logistiky pomocí AR

Následující video ukazuje vizi možností využití AR v logistice:

16. Porovnání odchylek v AR

Technologie rozšířené reality může být využita na porovnávání odchylek skutečného (vyrobeného) dílu v porovnání s digitálním modelem. V případě digitálního modelu by samozřejmě měla být zaručena aktuálnost tohoto modelu. Tento princip je využíván například ve společnosti Volkswagen AG pro vizuální kontrolu vyrobených dílů (viz Obr. 1). Zde je využito nejjednoduššího principu trackování pomocí markerů. Podobná studie zase ukazuje možnosti porovnání původního modelu rozvodných sítí ke skutečnosti.

Obr. 1 Vizuální kontrola vyrobeného dílu

Varianta 1: Ruční přeměření dílu (původní proces)

Klasická metoda inspekce předpokládá, že pracovník si prohlédne díl a vizuálně srovnává výkres s vyrobeným dílem. Výkres může být buď klasický papírový nebo digitální 2D nebo 3D. To v tomto případě nehraje roli, neboť míra úspěšnosti pochopení výkresu reflektuje pracovníkovu znalost a zkušenost.

Výhody: Není nutná IT, lze provádět kdekoliv

Nevýhody: Je potřeba pracovník, který umí dobře číst konstrukční výkresy a vše tedy závisí na lidském faktoru.

Varianta 2: Přeměření dílu pomocí metody laserscanningu

Další variantou je využití 3D laserscanningu. Díl je speciálním skenerem zdigitalizován a pak je možné jej dále v podobě bodového mračna zpracovávat. V současné době již majoritní konstruktérské programy obsahují nástroje pro porovnávání odchylek skutečného modelu oproti bodovému mračnu (např. Autodesk Revit). Bodové mračno navíc může sloužit jako referenční model pro AR.

Výhody: Jedná se o metodu exaktní a přesnou a jako vedlejší produkt vzniká dobové mračno, které je možné dále využívat

Nevýhody: Je nutno vlastnit stále relativně drahý 3D skener včetně speciálního softwaru. Samotné skenování je časově náročnější. Je nutno, aby vyhodnocení prováděl specialista.

Varianta 3: Využití AR s markery

Díl je osazen markerem. Ten je pak registrován v reálném čase. A na skutečný díl je „promítnut“ virtuální model.

Výhody: Relativně rychlá metoda, nenáročná na HW.

Nevýhody: Nutnost osadit značku na správné místo. Díl může být příliš malý (značka se na něj nevejde). Jedná se jen o vizuální inspekci – není možné získat exaktní data.

Varianta 4: Využití AR bez markerů

Charakteristické znaky modelu jsou uloženy v programu (popř. na cloudu). Systém rozpozná dle těchto znaků lokaci skutečného objektu (dílu) v prostoru. Na tento skutečný díl jsou pak promítána virtuální 3D data obdobně jako v předchozím případě

Výhody: Opět rychlá metoda. Data je možno s vhodný grafickým rozhraním vyhodnocovat i exaktně, neboť je známa přesná pozice modelu v prostoru.

Nevýhody: Náročné na hardware (a datový tok). Pokud je hledaná významná odchylka právě v charakteristických bodech, který využívá markerless tracking, nebude skutečný objekt nalezen. Může vznikat problém s trackováním příliš velkých objektů.

Zhodnocení:

Každé z těchto řešení má smysl za určitých okolností. V případě, kdy hledáme konkrétní hodnoty odchylek, bude rozhodně nejpřesnějším řešením varianta měření pomocí laserscanningu. Pokud však není k dispozici laserscanner a příslušný software, je možno za jistých podmínek využít markerless tracking. Ten však bude dobře fungovat jen na určité typy součástí a je zde předpokladem, že na místech, dle kterých se provádí tracking, odchylka není. Na druhou stranu, pokud je vizuální inspekce dostačující, mohli bychom používat variantu klasické, na druhou stranu ovšem pokud není k dispozici zkušený pracovník, mohli bychom si pomoci využitím AR s markery.

Zdroj:

PENTENRIEDER, Katharina. Augmented Reality based Factory Planning. Disseration TUM [online]. 2009. ISSN 0903-4641 (Print). Dostupné z: doi:10.1109/ISMAR.2007.4538822

SUN, Wei-wei, Jian-feng LU a De-zhong LI. Augmented Reality Based Factory Model Comparison Method. In:  [online]. 2013, s. 1421–1426. ISBN 978-3-642-38390-8. Dostupné z: doi:10.1007/978-3-642-38391-5_150

17. Využití VR/AR/AV při tréninku, servisu a montáži

Oblast tréninku patří rozhodně k oblastem, ve kterém má virtuální realita nejvíce možností aplikací.

1)     Simulace probíhají v měřítku 1:1 v rámci zapojení více senzorů. Což umožňuje vyhodnocení simulace v rámci standardizovaného prostředí

2)     Trénink není riskantní. Uživatel může být trénován v jakémkoliv prostředí, včetně nebezpečného prostředí. Také je možné adaptovat uživatele na různé podvědomé reakce v případě nebezpečí

3)     Úspory na materiálech (např. lepidlo; při tréninku nanášení lepidla) a strojích (není třeba vypínat linku za účelem tréninku)

4)     Atraktivita prostředí sama o sobě může zvýšit zájem a potažmo i úspěšnost trénovaného.

Vzhledem ke zvýšené fluktuaci zaměstnanců, kterou lze poslední dobou v České republice pozorovat, je také nutné úměrně snížit náklady na proškolení jednoho zaměstnance. VR trénink je sice poměrně náročný na vývoj, náklady na proškolení jednoho zaměstnance ve VR naproti tomu mohou být výrazně nižší nežli náklady na proškolení standardní cestou. Některé společnosti také začaly využívat VR i pro realizaci assesment centre testů při testování nových uchazečů o práci (např. Lloyd Bankig Group).

Samotná realizace tréninku obsahuje mnohé výzvy a problémy, které je potřeba řešit: Problémem je především to, že virtuální objekty nejsou hmotné. Uživatel tak nevnímá jejich hmotnost a při kolizi dílů ve VR nedochází k žádné kolizi ve skutečnosti. Uživatele tak upozorní pouze haptická zpětná vazba ve formě vibrací haptického zařízení, přehrávání zvuku nárazu dílů o sebe nebo různá vizuální vodítka pro zobrazení kolize (symboly, jiskry, blikání). Tento problém je možné pro trénink, v rámci kterého se prostředí mění jen málo, vyřešit aplikací vhodných trackerů na jednotlivých fyzických dílech. Nevýhodou současných komerčních trackerů jsou však jejich vyšší rozměry. Profesionální řešení pro Motion Capture do jisté míry tento problém řeší, jsou však neúměrně drahá.

Dalším problémem těchto systémů je tracking rukou a gest uživatele. Je tak nutné sledovat druh úchopu, do kterého jsou ohnuty prsty a polohu. Existují různé metody řešení těchto problémů, jako je použití datových rukavic, MoCap senzorů jako je Kinect nebo Leap Motion.

Uveďme jedno konkrétní řešení: Linka se skládá z robotických pracovišť pracujících v sérii. Pro tuto linku je potřeba udržovat pracovníky zajišťující servis. Nenadálá událost vyvolá zastavení celé linky. Po tento okamžik je potřeba mít vyškolené pracovníky. V tomto případě je samozřejmě ideální trénink ve skutečné robotické buňce – to však opět vyvolá zastavené celé linky. Pro tento případ je tedy výhodné nad 3D modely, které často již existují, vystavět vhodné scénáře virtuálního tréninku.

V rámci virtuálním tréninku je tak možné vytvořit dílčí úrovně pro virtuální trénink včetně variant, přičemž některé detaily mohou být generovány náhodně a některá prostředí dokonce procedurálně. Je možné tak postavit rozhraní pro školitele, který zadává úkoly i širšímu spektru zaměstnanců. Celý proces tréninku je zaznamenatelný a snadno vyhodnotitelný. Nehledě na to, že mohou systémy tréninku motivovat zaměstnance nejen atraktivitou prostředí, ale také např. díky implementovanému systému odměn, poměřováním se s ostatními hráči, odměňováním virtuální měnou, zkušenostmi a s tím souvisejícím nárustem úrovně avatara, hledání skrytých výzev, sbíráním čehokoliv atd. čili využití principů, které jsou známé z počítačových her.

Využití v servisu je dále nasnadě: Obsáhlé servisní úkony, které se realizují jen zřídka, je velmi obtížné si zapamatovat. Nehledě na to, že digitální manuál k provedení těchto úkonů je možné zaslat, až v případě potřeby. Následující porovnání dílčích variant se soustředí spíše na podporu tréninku, dílčí aplikace jsou však využitelné i pro servis.

Trénink In Vivo

Trénink ve skutečném prostředí je samozřejmě nenahraditelný. V rámci něj pracujeme se skutečnými objekty, používáme skutečné nástroje, komunikujeme se skutečnými lidmi. Tento způsob samozřejmě vždy bude nejlepší.

Ostatní varianty se mohou využívat v okamžiku, kdy je skutečný trénink obtížně realizovatelný, nerealizovatelný, příliš drahý, obtížně vyhodnotitelný atp. (viz výše).

Zdroje:

ARNALDI, BRUNO, GUITTON, PASCAL, MOREAU, Guillaume. Virtual Reality and Augmented Reality: Myths and Realities. 1. vyd. INSA de Rennes, France: Wiley-ISTE, 2018. ISBN 978-1786301055.

GROUP, Lloyds Banking. Virtual Reality Assessment [online]. 2019 [vid. 2019-04-02]. Dostupné z: https://www.lloydsbankinggrouptalent.com/early-careers-hub/virtual-reality/

ZALDÍVAR-COLADO, U, S GARBAYA, P TAMAYO-SERRANO, X ZALDÍVAR-COLADO a P BLAZEVIC. A mixed reality for virtual assembly. In: 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) [online]. 2017, s. 739–744. ISBN 1944-9437 VO  -. Dostupné z: doi:10.1109/ROMAN.2017.8172385

GUPTA, Rakesh, Daniel WHITNEY a David ZELTZER. Prototyping and Design for Assembly analysis using Multimodal virtual environments. CAD Computer Aided Design [online]. 1997. ISSN 00104485. Dostupné z: doi:10.1016/S0010-4485(96)00093-0

VALENTINI, Pier Paolo. Interactive virtual assembling in augmented reality [online]. 2009. Dostupné z: doi:10.1007/s12008-009-0064-x

17.1. Využití 2D/3D „serious games“ pro trénink

Serious game je pojem, který je definován jako hry, které kromě svého primárního účelu pobavení, mají také něco naučit (někde se lze setkat i pojmem edutainment). Definice tak vlastně ani nehovoří o nutnosti digitalizovat tento trénink. Tyto hry se využívají zejména v medicíně. Lze však najít celou řadu příkladů i z průmyslové praxe. Do takovýchto didaktických her pak může spadat třeba trénink principu Kanban s využitím stavebnice Lego (řešeno na Katedře průmyslového inženýrství a managementu, ZČU v Plzni), popř. uveďme výzkum nad „deskovou hrou“, kde studenti řídí proces výroby.

Ve článku Gamification in engineering education and professional training se tvrdí, že lze očekávat, že nejméně 50% organizací, které se zabývají inovačními procesy, bude využívat aspekty gamifikace.

Nežli pro sekundární trénink zaměstnanců jsou však serious games vhodné pro primární vzdělávání. Vlastním řešením tak vznikl ve spolupráci s Katedrou Umění a Designu například projekt Manažerský simulátor. Jedná se o hru typu adventure: hráč se vcítí do role mladého manažera, který má za úkol vysvětlovat a učit své podřízené metody průmyslového inženýrství.

^{Obr. 1 Ukázka z výukového programu Manager Simulator – Vlastní řešení}

Obdobná aplikace byla realizována ve vlastní serious game Virtuální Dílna. Student zde má za úkol vyrobit součást dle zadaného výrobního postupu. V rámci této serious game byl také provedena studie na základě dotazníkového šetření nad 47 probandy: studenti byli rozděleni do skupin dle zkušeností se stroji a s počítačovými hrami. Hra se jevila užitečná a přínosná zejména skupině bez zkušeností práce se stroji.

Jako další příklad takového trenažéru můžeme uvést realizaci společnosti Fronius, jež využívá vlastní platformu pro nácvik svařování. Testovaný subjekt tak má v ruce speciální ovladače, které vypadají identicky jako svařovací náčiní, přičemž na obrazovce před sebou sleduje celý proces svařování. Součástí řešení není jen samotný SW, ale také didaktický systém určený pro různé svářeče na různých úrovních. Navíc existuje i mobilní varianta.

Zdroje:

POURABDOLLAHIAN, Borzoo, Marco TAISCH a Endris KERGA. Serious Games in Manufacturing Education: Evaluation of Learners’ Engagement. Procedia Computer Science [online]. 2012. ISSN 18770509. Dostupné z: doi:10.1016/j.procs.2012.10.077

MARKOPOULOS, Angelos P., Anastasios FRAGKOU, Petros D. KASIDIARIS a J. Paulo DAVIM. Gamification in engineering education and professional training. International Journal of Mechanical Engineering Education [online]. 2015. ISSN 20504586. Dostupné z: doi:10.1177/0306419015591324

Výuka svařování budoucnosti: Fronius Virtual Welding [online]. 2018 [vid. 2019-03-26]. Dostupné z: https://www.fronius.com/cs-cz/czech-republic/perfect-welding/o-svarovani/vyuka-svarovani/virtual-welding

17.2. Ukázky využití VR

Jak potvrdily celé řady studií, pro lidský mozek neexistuje rozdíl mezi vnímáním skutečného světa a virtuálního ve smyslu aktivace příslušných mozkových center ([1], [2]). Důvody pro virtuální trénink ve VR již byly ukázány. Představme si příklady dílčích světových aplikací:

· Nácvik prezentačních dovedností od Holistic Lab (velmi podařená česká aplikace světového významu)[1]

· Trénink operátorů (např. [3])

· Dílčí simulátory ovládání vozidel a zařízení, např. ovládání jeřábu [4], vysokozdvižného vozíku nebo ropné plošiny.

· Nácvik těžby a chování v dole [5]

· Nácvik chování v rizikových situacích (např. STRIVR od Verizonu)

Vzniká také celá řada společností, která se nabízí na komerční bázi tvorbu VR tréninku často na základě vlastního standardizovaná řešení (VE Studio, Tengo, Ludus). Zmiňme například řešení od Rockwell Automation Emulate3D. V rámci tohoto softwaru je možné otestovat a interagovat s 3D simulačním modelem.

Zdroje:

[1]      Virtual Lab by Holistic Lab [online]. 2019 [vid. 2019-03-26]. Dostupné z: https://www.virtual-lab.cz/nacvik-prezentacnich-dovednosti

[2]      POLÁK, A, D PÁNEK a D PAVLŮ. First experience with virtual reality in the therapy of spinal cord lesions . Rehabilitace a Fyzikalni Lekarstvi [online]. 2017, 24(2), 116–122. ISSN 12112658 (ISSN). Dostupné z: https://www.scopus.com/inward/record.uri?eid=2-s2.0-85024122808&partnerID=40&md5=7745dff0d5a855be9ff65b521747c68c

[3]      Emulate3D by Rockwell Automation. 2019 [online]. [vid. 2019-03-26]. Dostupné z: https://www.demo3d.com/

[4]      Training to Craning in 60 Minutes: Putting My VR-learned Skills to the Test with a Real 22 Ton Crane [online]. 2017 [vid. 2019-03-26]. Dostupné z: https://www.roadtovr.com/iti-vr-crane-training-simulator-test/

[5]      ZHANG, Hui. Head-mounted display-based intuitive virtual reality training system for the mining industry. International Journal of Mining Science and Technology [online]. 2017. ISSN 20952686. Dostupné z: doi:10.1016/j.ijmst.2017.05.005

17.3. Využití AR

V roce 1992 společnost Boeing publikovala článek [1], ve kterém se prvně užilo termínu „augmented reality“. Byly definovány požadavky na AR systém podporující montážní operace ve výrobě letadel, včetně předpokládaného požadavku na přesnost pro různé druhy operací. Zároveň již tato práce zmiňuje problémy HMD, které dodnes nebyly kompletně vyřešeny: registraci obrazu z hlediska rychlosti i přesnosti a šíři zorného pole (FOV). Práce popisuje i vytvoření dvou prototypů pomocí malého monitoru. Zajímavé je, že práce předpokládá menší výpočetní nároky na AR, než na VR z důvodu mnohem jednodušší grafiky. To je sice pravda, nicméně v současných implementacích spotřebuje samotné trackování velkou část procesorového času.

Studie [2] představuje pilotní experiment provedený za účelem porovnání virtuální montážní operace čistě ve VR a AR se skutečností. Celá studie se zabývá porovnání montáže celé převodovky. V pilotním experimentu je sledována pouze jediná montážní operace ve formě zasunutí hřídele do díry. 11 účastníků experimentu mělo průměrné časy ve VR 22,65 s, v AR 11,00 s a ve skutečnosti 4,66 s. AR systém sestával z markeru ukazujícím na počátek virtuálního souřadného systému snímaného kamerou. VR a AR pak byly ukazovány na LCD televizi. HMD nebyly použity. Výsledky experimentu ukazují přínos AR. Je to pravděpodobně tím, že uživatel vidí svoje ruce, nikoli jejich virtuální reprezentaci, stejně tak i reálné okolí.

Je zřejmé, že uchopit a nasadit skutečný předmět bude vždy snazší. Zajímavé je však srovnání AR a VR.

Technicky je možné takový trénink provádět pomocí markerů nebo bez nich. Tak například systémy pro poskytování servisních dat na základě snímání dílčí části vozidla již provozuje mnoho automobilek (např. Hyundai Virtual Guide). Zajímavé jsou ovšem také virtuální návody pro servis a údržbu.

Německá automobilka BMW již v roce 2014 vyvinula vlastní pilotní řešení pro využití brýlí pro rozšířenou realitu v rámci servisu:

 Snahou BMW bylo využít AR brýle, které by sloužily vlastním mechanikům k usnadnění práce při opravě vozidel. Navíc tyto brýle pomáhají i těm pracovníkům, kteří nemají předchozí zkušenosti. Brýle pomocí rozšířené reality zobrazují průvodce s pokyny ve formě 3D virtuálních objektů na displeji brýlí. Mechanik tak kromě skutečného prostředí vidí i animované komponenty či nástroje k použití (to vše interaktivně spojené s hlasovým vstupem). V brýlích jsou navíc integrována sluchátka, díky kterým mechanik i slyší potřebné informace o každém kroku[3].

Obdobnými řešeními, která však často vznikají jen pro vnitřní potřebu daného subjektu, disponují i další automobilky: VW Marta, Porsche Augmented Reality, ARMedia I-Mechanic for Ford atp.

Další dílčí ukázky aplikací tréninku a servisu v AR popisuje např. článek [4], který se zaměřuje na technické využití v automotive. Ačkoliv v současné době mnoho komerčních subjektů vytváří různé AR tréninky na míru, lze konstatovat, že reálné využití v podnicích je spíše stále v rovině experimentální. Jedním z logických podnikových požadavku je totiž nutnost mít při realizaci tréninku volné ruce, z čehož vyplývá nutnost využití poloprůhledných náhlavních displejů, které stále nejsou na plné komerční využití připraveny.  V každém případě se jeví jako nejprogresivnější směr vývoje právě využití poloprůhledných brýlích.

Zdroje:

[1]  CAUDELL, T P a D W MIZELL. Augmented reality: an application of heads-up display technology to manual manufacturing processes. In: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences [online]. 1992, s. 659–669 roč.2. Dostupné z: doi:10.1109/HICSS.1992.183317

[2] ZALDÍVAR-COLADO, U, S GARBAYA, P TAMAYO-SERRANO, X ZALDÍVAR-COLADO a P BLAZEVIC. A mixed reality for virtual assembly. In: 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) [online]. 2017, s. 739–744. ISBN 1944-9437 VO  -. Dostupné z: doi:10.1109/ROMAN.2017.8172385

[3] BMW designs augmented reality glasses to help BMW mechanics [online]. [vid. 2019-03-26]. Dostupné z: https://www.bmwblog.com/2014/01/23/bmw-designs-augmented-reality-glasses-help-bmw-mechanics/

[4] PAULO LIMA, João, Rafael ROBERTO, Francisco SIMÕES, Mozart ALMEIDA, Lucas FIGUEIREDO, João MARCELO TEIXEIRA a Veronica TEICHRIEB. Markerless tracking system for augmented reality in the automotive industry. Expert Systems with Applications [online]. 2017. ISSN 09574174. Dostupné z: doi:10.1016/j.eswa.2017.03.060

17.4. Trénink pomocí rozšířené virtuality

Na tomto místě odbočíme od AR/VR směrem k Mixed Reality a zmíníme i potenciál rozšířené virtuality (AV – Augmented Virtuality). Ta je často reprezentována využitím interaktivní projekce při tréninku. Za účelem takového tréninku se využívá tzv. In-Situ projekce; to znamená využití projektoru, který je zaměřen na dílčí objekty. Nad těmito objekty jsou promítány doplňkové informace. Za účelem tréninku nebo servisu by tato projekce měla být interaktivní, tj. mělo by být možné vyžádat změnu obrazu na projektoru (např. posun na další krok).

Jedna z prvních studiích proběhla na zdravotně postižených osobách v roce 2013[1]. Byl vytvořen systém, v rámci, kterého byl skládán jednoduchý Lego model automobilu skládající se z devíti kostek, přičemž k sestavení bylo nutno projít osmi kroky. Pracovní deska se skládala z šesti pořadačů, prostoru pro promítání návodu a prostoru s fiktivními tlačítky Dopředu a Zpět. Tato tlačítka byla de facto prostorem, kam bylo možné vložit ruku a tím tlačítko „zmáčknout“. Stejně tak byla monitorována místa u pořadačů za účelem automatického měření chyb (viz Obr. 1).

^{Obr. 5.13 Pracovní stůl ze studie[1]}

Byly porovnávány dvě skupiny. Ta první měla k dispozici standardní návod a druhá pak využívala metodu projekce In-Situ. Průměrný experiment v rámci skupiny využívající standardní návodku trval 25,6 minut (odchylka 9 minut) s chybou 22,6 % (směrodatná odchylka 17,5 %). In-Situ byla rychlejší, průměrný čas byl 23,6 minut (směrodatná odchylka 10,3 minut), avšak s vyšší chybovostí 29,1 % (směrodatná odchylka 27,3 %). Vzhledem k tomu, že je zde však poměrně markantní směrodatná odchylka, byla In-Situ skupina rozdělena na respondenty, kterým augmentace vyhovovala, a na ty, kterým nikoliv. V rámci „dobré“ skupiny byla chybovost jen 14,7 %.

V sérii publikací Funk a tým kolem něj shrnuli svoje poznatky získané několikaletým výzkumem v oblasti podpory výroby pomocí AR [2]. Tento tým se zabýval především In-situ projekcí montážních návodek. Z prací je možno shrnout následující zjištění:

·         Zkušený pracovník nepotřebuje žádné takovéto instrukce. Naopak jej tyto instrukce rozptylují a tím způsobují další kognitivní zátěž.

·         Nezkušený pracovník pracuje s instrukcemi typu In-situ projekce sice pomaleji, po zaškolení pak ale pracuje rychleji a vykazuje méně chyb než při zaučení s papírovou návodkou. Je ale nutné identifikovat okamžik, kdy naučení již proběhlo, který je zároveň optimálním okamžikem k odstavení instrukcí.

·         Vizuální prezentace instrukcí a zpětné vazby je lepší než dotyková či zvuková. Ty bývají vnímány jako rušivé a nepřirozené.

Nekonvenčním využitím rozšířené virtuality pro trénink se zabývá také „proof-of-concept“ studie z roku 2018[3], která zkoumá využívání skutečných modelů v rámci tréninku ve VR, do které jsou promítány ruce uživatele – jedná se tedy opět o rozšířenou virtualitu. Zde byl využit reálný model vodoinstalace, ke kterému je vytvořeno virtuální dvojče, které uživatel po nasazení HMD vidí ve VR. Celý prostor je však „kalibrován“ tak, aby ve skutečném světě byl na správném místě skutečný model. Figurant tak vidí svoje ruce (Leap Motion tracking) a má možnost manipulovat se skutečným modelem. Tento princip redukuje jednu z hlavních nevýhod tréninku ve VR, a sice absence zpětné vazby ve smyslu manipulace s čistě virtuálními objekty.

^{Obr. 2 Práce se skutečným modelem v prostředí rozšířené virtuality (ovladač HTC Vive je využit jako virtuální baterka)[3]}

Figurant na Obr. 2 vidí v brýlích digitální dvojče fyzického modelu před ním. Ve virtuálním prostředí mohou být simulovány různé stresové situace: úzký kužel světla baterie, tmavá místnost, blikající světlo.

Tento princip však nezůstal jen u aplikací „z laboratoře“, tak například ve společnosti Škoda Auto se využívá In-Situ projekce pro pickování správných dílů z palety. Nejčastěji se však v praxi s In-Situ setkáme v rámci vizualizace skrytých rozvodů (vizualizace elektroinstalace: promítání na automobil nebo na stěnu).

Pro některé aplikace může být tato možnost výhodnou alternativou k tréninku v AR. Pokud porovnáme využití poloprůhledných brýlí je tato varianta i hardwarově méně náročná. Je však třeba občas uvažovat, zda některá jiná řešení nemohou být snazší. Řešení pomocí LED pásky pro pickování z přepravek, která nemění své umístění může být snazší, nežli na ně promítat In-Situ projekci. Řešení se naproti tomu nabízí pro pickování z dynamicky se měnících se míst.

[1] KORN, Oliver, Albrecht SCHMIDT a Thomas HÖRZ. The potentials of in-situ-projection for augmented workplaces in production. In:  [online]. 2013. Dostupné z: doi:10.1145/2468356.2468531

[2] KOSCH, Thomas, Markus FUNK, Yomna ABDELRAHMAN a Albrecht SCHMIDT. One Size does not Fit All - Challenges of Providing Interactive Worker Assistance in Industrial Settings. In: PROCEEDINGS OF THE 2017 ACM INTERNATIONAL JOINT CONFERENCE ON PERVASIVE AND UBIQUITOUS COMPUTING AND PROCEEDINGS OF THE 2017 ACM INTERNATIONAL SYMPOSIUM ON WEARABLE COMPUTERS (UBICOMP/ISWC `17 ADJUNCT) [online]. 2017. ISBN 978-1-4503-5190-4. Dostupné z: doi:10.1145/3123024.3124395

[3] NEGES, Matthias, Stefan ADWERNAT a Michael ABRAMOVICI. Augmented Virtuality for maintenance training simulation under various stress conditions. In: Procedia Manufacturing [online]. 2018. ISSN 23519789. Dostupné z: doi:10.1016/j.promfg.2018.01.024

17.5. Zhodnocení

Využití imerzních technologií pro trénink a servis se jeví jako velmi výhodné. Lze konstatovat, že v případě VR se jedná o hlavní aplikační možnost. Zda zvolit VR/AR/AV trénink před standardním je vždy otázkou konkrétního případu a individuálního posouzení. Pokud je snadné vytvořit fyzické tréninkové pracoviště (popř. je již k dispozici) a samotný trénink pak významně kapacitně nezatěžuje jiné pracovníky, pravděpodobně bude reálný trénink výhodnější. Pokud však je nutné kvůli tréninku omezovat (zastavovat) výrobu či kapacitně vytěžovat jiné zaměstnance, je třeba zvážit možnosti tréninku ve VR/AR/AV. Je třeba dobře spočítat návratnost investice do trenažéru. Na straně nákladů je třeba uvažovat investici do hardwaru, na vývoj a odladění trenažéru a náklady na údržbu zařízení.

V případě servisu je situace jiná. Zde nachází své uplatnění spíše technologie AR. Princip může být kombinován se vzdálenou asistencí (pracovní postup je doručen na vyžádání včetně komentářů experta). Původní procesy zahrnují vyhledání správného návodu (pro jejich organizaci často v podnicích chybí vhodná IT Infrastruktura) a manipulování s tímto návodem (papír nebo obrazovka) v často problematickém prostředí. Servis pomocí AR tyto problémy částečně řeší.

18. Virtuální kolaborace

Pokud se zaměříme na klasický pojem kolaborace s použitím technologií, de facto bychom mohli tvrdit, že i běžná komunikace pomocí mailu nebo chatu může být vnímána jako virtuální kolaborace. Pojďme se na tomto místě však zaměřit na kolaborační techniky, kdy:

1)     Je nutné diskutovat nad 3D daty (konstrukční výkres, výrobní linka, atp.), popř. nad reálným prostředím doplněným 3D daty

2)     Je možné, na základě diskuze, 3D data měnit

3)     Je nutné spolupracovat se zaměstnanci, kteří nejsou fyzicky přítomni na svém pracovišti

Praxe ukazuje, že shromáždit všechny spolupracovníky na jedno místo a v jednom čase je obtížné. Specializovaní pracovníci, kterých je při návrhu potřeba velké množství, často řeší více projektů najednou a je pro ně obtížné najít si čas ve stejnou dobu jako ostatní nebo se dostavit na místo.

Běžné způsoby kolaborace

Pro běžné případy kolaborace, popř. práci s 3D daty na dálku lze samozřejmě využít různé běžně dostupné softwarové prostředky, jako je například vzdálená plocha v kombinaci s telefonických. Software pro vzdálenou komunikaci (např. Skype) většinou též umožňuje sdílet plochu s více uživateli. Upravovat např. CAD data však často může jen jeden účastník telekonference. Existují samozřejmě i další (drahé) high-end nástroje pro konstruktéry, např. Siemens Teamcenter, Dassault Systéme 3DExperience.

Výhody: Snadné pro spuštění a obsluhu

Nevýhody: Chybí imerze, data většinou může upravovat jen jeden účastník

Zdroje:

POLCAR, Jiří. Využití LiDARových bodových mračen a virtuální reality pro tvorbu 3D modelů výrobních systémů,TEZE K DISERTAČNÍ PRÁCI, ZČU v Plzni. 2016.

18.1. Virtuální kolaborace pomocí virtuální reality

Virtuální realita přímo nabízí možnost kolaborativně spolupracovat na jedné činnosti. V tomto případě může být činností např. tvorba nebo úprava layoutu výrobního systému. Kolaborace může probíhat i současně a geograficky v jednom místě nebo distribuovaně.

Virtuální realita dává dobrou možnost teleprezence (volně přeloženo jako vzdálená přítomnost). Virtuální prostředí umožňuje reprezentovat jednotlivé účastníky pomocí avatarů. Dále je možné na dálku přenášet řeč i obraz, nicméně skutečná interakce s virtuálním prostředím je složitější. Na více geograficky distribuovaných počítačích musí být v aktuálním čase k dispozici stejná data.

Jeden z prvních systémů pro virtuální kolaboraci ve VR byl představen již v roce 2012. Navržený systém VirCa, který je určen pro strojní inženýry a umožňuje vytvářet porady přímo ve virtuálním prostředí s avatary často geograficky rozmístěných odborníků. Klíčové aspekty pro výměnu zkušeností jsou:

·         Sdílená vizualizace modelu

·         Interakce s modelem

·         Mezilidská interakce

Výhody: Imerze, kromě avatarů je možné pracovat s různými dalšími virtuálními artefakty. Všichni účastníci mohou s artefakty manipulovat.

Nevýhody: Náročné na hardware

Zdroj:

GALAMBOS, Péter, Christian WEIDIG, Péter BARANYI, Jan C. AURICH, Bernd HAMANN a Oliver KREYLOS. VirCA NET: A case study for collaboration in shared virtual space. In: 3rd IEEE International Conference on Cognitive Infocommunications, CogInfoCom 2012 - Proceedings [online]. 2012. ISBN 9781467351874. Dostupné z: doi:10.1109/CogInfoCom.2012.6421993

18.2. Virtuální kolaborace pomocí rozšířené reality

Rozšířená realita, jak se poslední dobou ukazuje, zřejmě má větší potenciál pro realizování virtuální kolaborace. High-end řešení představuje Microsoft Remote Assist. Tento produkt, který je určen pro MS Hololens, se jeví jako představitel jednoho z prvních milníku v rámci standardizace (s potenciálem na tzv. „killer-app“).

V případě zjištění problému, na jehož řešení potřebuje uživatel odborníka, si může uživatel nasadit poloprůhledné brýle, pomocí gesta vyvolat seznam osob a dílčímu odborníkovi zatelefonovat. V tento okamžik by mělo postačit, aby odborník měl běžný smartphone připojený kvalitním připojením na internet. Tento odborník na displeji svého telefonu vidí to, co volající. V tento okamžik si mohou sdílet dokumenty (např. manuál). Díky možnostem Spartial Detection (detekce skutečného prostředí) je tak možné sdílet 3D prostor okolo účastníka hovoru. Poznámky nebo dokumenty je tak možno umisťovat přímo do scény (např. označení problému gestem přímo v prostoru).

Toto řešení však nelze v tento okamžik stavět na rovinu s kolaborací ve virtuální realitě, neboť zde stále neexistuje standardizovaný bussiness software, pomocí kterého by bylo možné diskutovat nad 3D daty s avatary geograficky distribuovaných odborníků. Jistou nadějí představuje integrace softwaru pro MS Hololens, který slouží pro tvorbu a úpravu layoutu – Dynamics 365 Layout do produktu Remote Assist.

Další zajímavé obdobné řešení vyvinula britská společnost EON Reality – AR Assist. Jedná se o třístupňovou kolaboraci opět za pomocí MS Hololens. Vysvětlíme si celý systém na příkladu: Do místnosti přichází osoba A, která si nasadí poloprůhledné brýle a pomocí rozhlížení naskenuje místnost (Spartial Detection – viz výše), dále tato osoba v této místnosti pomocí gest označí problematická místa (opravit, uklidit, provést údržbu). V tento okamžik je možné doprovodit vlastní značky mluveným komentářem. Osoba B je na ústředí. Od své stanice může přidat k dílčím místům dokumenty, standardizované návody, obrázky nebo videa. Do takto připravené místnosti přichází osoba C, které se díky poloprůhledným brýlím zhmotní před očima všechny poznámky, které byly uvedeny v digitálním dvojčeti této místnosti, resp. Navigační rozhraní už tuto činnou jednotku vedu od úkolu k úkolu. V tento okamžik je samozřejmě možné se obdobným způsobem, jako bylo výše popisováno, obracet na specialisty.

Výhody: Možno nasadit přímo v terénu a pracovat se skutečnými objekty

Nevýhody: Náročné na hardware

^{Obr. 1 Návrh vzhledu avatarů pro bussiness prostředí (Zdroj: Object Theory [online]. 2019 [vid. 2019-03-29]. Dostupné z: https://objecttheory.com/)}

18.3. Zhodnocení

Virtuální kolaborace představuje jednu ze zajímavých aktuálních výzev. Významné společnosti (např. Microsoft) vyvíjejí současně s hardwarem pro rozšířenou realitu také i software pro vzdálenou asistenci. Vzdálená asistence je prvním stupněm k využití mixu technologií pro vzdálenou kolaboraci. Vize spočívá v tom, že by existovalo standardizovaného prostředí. Instance tohoto prostředí by vytvořil „správce“, který by do virtuální kolaborace pozval kolegy nezávisle na tom, jaký hardware by v danou chvíli využívali – smartphone, tablet, stolní počítač, HMD pro VR, HMD pro AR. Každý z nich by pak dle dispozic dílčího zařízení byl v simulaci zobrazen jako avatar. Problémem vzdálené kolaborace s avatary se zabývala například společnost Object Theory, která dokonce i provedla vlastní obsáhlou studii ohledně vzhledu avatarů v business prostředí (viz předchozí kapitola)

19. Využití AR pro podporu prediktivní údržby

Jednu z prvních vizí možnosti využití rozšířené reality pro prediktivní údržbu uvedl článek již z roku 1998 [1]. Dnešní vize a pilotní aplikace se soustřeďují na kombinaci výše popsaných přístupů [2].

Komplexní systém pro prediktivní údržbu je de facto expertním systémem s umělou inteligencí. Takový systém tak sbírá údaje ze senzorů a snaží se odhadnout čas příští údržby stroje. V mnoha případech však standardní metody (počet zdvihů, životnost nástroje atp.) nestačí a postupuje se na základě zkušeností (strojové učení), kdy na základě vyhodnocování dat z předchozích cyklů je možno stanovit riziko poruchy na dílčí části stroje nebo zařízení.

Uvažujme tedy tento systém jako back-end vrstvu. Vizualizace pomocí AR je front-end určený pro uživatele, který kombinuje výše uvedené přístupy:

·         Orientace po závodě. Systém může dovést servisního technika přímo na místo. To se může hodit zejména v případě komplikovaných oprav.

·         Vizualizace metadat. Přímo na dílně je možno vidět doplňková data u dílčích strojů (životnost, cyklus, datum a čas plánované opravy atp.)

·         Vizualizace skrytých inženýrských sítí (a jiných skrytých elementů)

·         Vizualizace návodek. Systém by mohl umožňovat napojení na systém virtuálních návodek, který tuto návodku „spustí“ na vyžádání.

·         Propojení na asistenta. Systém by dále měl umožnit propojení na vzdáleného asistenta

·         Rozdělování kompetencí a času. Back-end vrstva inteligentně plánuje a rozděluje úkoly dle kompetencí dílčí seřizovačů/techniků. Front-end AR pak tato data vizualizuje.

Dílčí části této komplexní aplikace nemusí být v rámci AR vizualizovány pomocí zatím nedokonalých poloprůhledných brýlí, ale jen za pomoci smartphonu, všude tam, kde není potřeba mít volné ruce (navigace, vizualizace skrytých částí).

Zdroje:

[1] LIPSON, H, M SHPITALNI, F KIMURA a I GONCHARENKO. Online Product Maintenance by Web-Based Augmented Reality. In: New Tools and Workflows for Product Development. 1998.

[2] Augmented Reality Re-defines Predictive Maintenance [online]. 2019 [vid. 2019-04-05]. Dostupné z: https://www.valmet.com/media/articles/all-articles/augmented-reality-re-defines-predictive-maintenance/

20. Zhodnocení využití imerzních technologií v průmyslu

Shrňme na tomto místě hlavní oblasti využití VR a AR ve vazbě na podnikové primární činnosti; potažmo PLC. Na základě výchozích studií, popsaných aplikací, zkušeností z předchozích projektů a konzultací s experty z oboru byla vytvořena hrubá kategorizace dílčích aplikací, která již byla zmíněna na začátku této knihy. Zde se k této kategorizaci vracíme a doplňujeme ji přehlednou grafickou vizualizací v podobě matice (viz Obr. 1).

^{Obr. 1 Kategorizace využitelnosti VR/AR v průmyslu}

Sloupce reprezentují vybrané činnosti, které mají přímou vazbu na primární činnosti podniku a současně i na PLC (Porterův model, který primární činnosti definuje vychází z PLC), v řádcích pak nalezneme dílčí aplikace imerzních technologií v dané činnosti (etapě PLC). V každé buňce je pak ještě barevně odlišeno, zda se jedná o aplikaci v rámci VR, AR nebo je přípustná jejich kombinace. Tato matice popisuje klíčové aplikace pro aktuální stav (rok 2019). Tuto matici je možno do budoucna modifikovat: přidávat řádky (aplikace) nebo sloupce (relevantní činnosti/etapy).

První sloupec popisuje etapu Návrhu a vývoje čili předvýrobní etapy.  Imerzní technologie a zejména pak VR zde nachází široké uplatnění. V této fázi často pracujeme jen s virtuálními daty. Fyzicky může v této etapě existovat buď prototyp nebo část linky nebo produktu, obvyklejší je však existence výlučně digitálního prototypu. Primárně tedy využíváme spíše aplikace ve VR. Nelze však říci, že se v rámci předvýrobních etap využívá jen VR, obecně lze provádět dílčí ověřování i na zmíněných fyzických prototypech v AR.

Předvýrobní etapy jsou z hlediska nákladů nejnáročnější čili je na místě hledat úspory. Díky těmto technologiím není potřeba vytvářet větší množství prototypů. Celou řadu problémů tak lze odstranit na virtuálních prototypech a posléze vyrobit třeba jen jediný finální fyzický prototyp. Virtuální prototypy budou vždy „aktuálnější“, nehledě na to, že je možné s nimi provádět celou řadu různých simulací s využitím standardizovaných scénářů. Podpora pro redukci množství nákladných prototypů (produktů i pracovišť) se již využívá ve smyslu nástrojů pro kontrolu smontovatelnosti, ergonomičnosti, odrazů (raytracing), generování různých scénářů atp. Po připojení systému Motion Capture můžeme navíc provádět rozličné ergonomické analýzy v reálném čase. Tento způsob využití imerzních technologií je relativně běžný a existuje i celá řada vhodných softwarových nástrojů pro podporu těchto aplikací. Naproti tomu spolehlivá softwarová podpora pro virtuální konsturování, které také spadá do předvýrobních etap, zatím neexistuje.

Imerzní technologie lze též využívat i v dalších fázích PLC. Ve výrobní fázi má větší uplatnění AR, neboť zde bývá k dispozici fyzický model. S vlastní výrobou souvisí i údržba výrobního zařízení, kde lze pro jednotlivé případy jak prevence, tak i vlastních oprav, s výhodou použít obě technologie, tedy jak VR, tak AR ve shodné míře.

V případě logistiky je předpokládejme majoritní využívání AR, a to např. HMD pro navigaci po skladu nebo pickování s přímým napojení na ERP systém. AR nachází využití též ve vnější logistice ve formě systémů pro navigaci.

Ukazuje se, že majoritní využití VR/AR nalezneme v rámci provozu a údržby. Trénink pomocí VR je využíván a technicky i díky moderním HMD je konečně plně realizovatelný, naproti tomu v případě tréninku v AR je častým požadavkem mít volné ruce. Zde stále narážíme na HW omezení, dané zejména konstrukcí poloprůhledných brýlí:

·         Virtuálních objekty překáží ve FOV uživatele a ten tak nevidí správně na situaci.

·         Velmi snadné posunutí HMD na hlavě způsobuje posun virtuálních objektů nad těmi pravými.

·         Současné HMD nemají dostatečnou obrazovou kvalitu (jas, obnovovací frekvence, FOV, odlesky) a jejich rámy mohou stínit. 

Na druhou stranu je však možno za poslední roky pozorovat významné hardwarové inovace. Výše uvedené studie prokázaly pozitivní vliv VR/AR tréninku na rychlost učení. Na druhou stranu se jakékoliv doplňující informace ukazují jako kontraproduktivní v okamžiku, kdy pracovník již operaci umí.

Některá využití prorůstají všemi etapami. Ta jsou uvedena v posledním sloupci: Všechny etapy. Tak například v případě Marketingu (ten může být zastoupen ve všech etapách PLC) jsou zde aplikace nasnadě. Již jen atraktivita, novost a přitažlivost technologií vysokou měrou přispívá k účinnosti marketingu.