Realizace virtuální a rozšířené reality

1. Historie

Prvním základním předpokladem, aby bylo možno realizovat zobrazení virtuálních světů a současně na patřičné úrovni zajistit uživateli pocit imerze, jsou rychlé počítače. Jako první milník předzvěsti moderní VR by se dal označit popkulturní symbol: film Jurský park z roku 1993. Od tohoto okamžiku začíná veřejnost počítačem generované prostředí vnímat „více vážně“. 3D modely byly toho času vytvořeny a oživeny pomocí grafické stanice SGI (Silicon Graphics) Crimson běžícím na operačním systému Unix. Výkonové parametry tehdejších stanic se z dnešní perspektivy jeví velice nízké – 150 MHz procesor, 256MB paměti s vlastním grafickým subsystémem. SGI Crimson však byl první 64-bitovou pracovní stanicí na světě.

Od tohoto okamžiku však zbývá dlouhá cesta k dnešním výkonným stanicím, které jsou schopné stereoskopického zobrazení ve vyšším rozlišení včetně řízení haptických pomůcek. De facto celá 90. léta byla ve znamení jednoznačné dominance značky Silicon Graphics pro řízení grafického prostředí. Jeden z prvních VR systémů „modernějšího vzhledu“ vyšel v roce 1993 pod názvem Division dVisor. V té době byla cena za systém stanovena na cenu odpovídající domu se čtyřmi ložnicemi. Systém uměl v reálné čase vykreslovat 10 000 polygonů v rámci deseti snímků za vteřinu (fps – frames per second), nehledě vysoké množství objemných periférií.

^{Obr. 1 Systém dVisor z roku 1993 (vpravo) v porovnání s prvním Oculus Rift DK1 z roku 2013 [Zdroj: ..https://medium.com/virtual-reality/virtual-reality-1993-and-2013-1f503273e24a (cit. 7.4.2019)]}

Je až zarážející, jaký obrovský technologický skok by od té doby učiněn (viz dále).

Dominance grafických stanic SGI končí přibližně kolem roku 2000 (společnost SGI se vydává cestou realizace výkonných počítačů pro vědecké výpočty). Od té doby je pro distribuci 3D grafického obsahu majoritně využívána PC platforma s procesory Intel nebo AMD s grafickými kartami od společnosti Nvidia, popř. ATI) využívající primárně operační systém Windows. Pro mobilní platformy VR a AR se samozřejmě jedná platformy Android, iOS atd.

2. Hardware pro virtuální realitu

Systémů pro zprostředkování imerzního zážitku ve virtuální realitě je celá řada. Zaměřme se dva nejdůležitější principy: pomocí tzv. počítačem generovaného/podpořeného virtuálního prostředí (CAVE Computer Aided Virtual Environment) a pomocí tzv. náhlavního displeje (HMD – Head Mounted Display).

2.1. CAVE – Computer Aided Virtual Environment

V rámci projekce pro více diváků můžeme samozřejmě začít minimalisticky. Na základě mnoha experimentů lze potvrdit, že i „obyčejná“ stereoskopie na monitoru je schopna uživateli zprostředkovat zážitek ve VR. To ovšem není možnost pro větší skupinu pozorovatelů. Pokud tedy jednoduchá jednostěnová projekce nestačí a je nutné projekci zprostředkovat většímu počtu diváků, nabízí se projekce promítána na jednu projekční plochu (tvořenou z více stěn s více projektory), jedná se pak o projekci typu PowerWall (ta bývá často opatřena i haptickými prvky). Na Obr. 1a vidíme PowerWall, který využívá projekci tří projektorů zepředu. Jednoznačnou nevýhodou je překrytí obrazu uživatelem v případě přiblížení se ke stěně. Na Obr. 1b tento problém řeší PowerWall se zadní projekcí.

Pokud je projekčních ploch několik, začne jejich rozmístěním v prostoru kolem pozorovatele vznikat tzv. CAVE (jeskyně) nebo také Computer Aided Virtual Environment – počítačem řízené virtuální prostředí. Tento typ projekce má za úkol co nejvíce obklopit pozorovatele produkovaným “prostorem“. Tím navodíme velmi silný vjem sounáležitosti pozorovatele s celou scénou. Technicky nejjednodušší řešení typu CAVE vidíme na Obr. 1c.

K tomuto řešení je již potřeba větší místnost, někdy i několik pater budov, více projektorů, projekčních ploch, zrcadel, a hlavně velmi výkonné grafické stanice. Řešení typu CUBE, které se v průmyslové praxi poměrně často využívá, je možno vidět na Obr. 1d.

^{Obr. 1 a) PowerWall – přední projekce, b) PowerWall - zadní projekce, c) jednoduchá CAVE, d) řešení CUBE [Upraveno dle: http://cb.nowan.net/blog/ (cit. 6.3.2019)]}

Typickou součástí takového řešení je i tzv. trackovací zařízení: Tedy zařízení pro hlídání pozice hlavy a rukou uživatele. Díky sledování pozice uživatele je možné přizpůsobit celou projekci tak, aby ji uživatel viděl korektně ze svého úhlu pohledu. Dále je možné sledovat i různé speciální ovladače (např. Flystick), díky nimž uživatel scénu ovládá. Dnes se v kombinaci s CAVE využívají i haptické rukavice.

Nespornou výhodou tohoto řešení je možnost imerze více uživatelů najednou. Nevýhodou je prostorová mohutnost konstrukce a někdy i technická náročnost realizace. Z tohoto důvodu s v praxi poslední dobou často přistupuje k řešení pomocí náhlavní displeje (HMD).

2.2. HMD – Head Mounted Display

Pořizovací hodnota HMD (náhlavních displejů) je výrazně nižší v porovnání s řešením CAVE. HMD je však určeno jen pro jednoho uživatele (pozorovatele). V současnosti „nejjednodušší“ řešení představuje uzavření mobilního telefonu do tzv. Cardboardu. K tomuto řešení s vrátíme v následující kapitole.

Pokud se však budeme bavit o „seriózním“ řešení pro VR, existuje na trhu celá řada různých řešení. Některá jsou mobilní – ovládací počítač je součástí zařízení. Zde však opět narážíme na dílčí hardwarové limity. Po schématický 3D design jsou však tato řešení pro průmysl vhodná. V případě univerzálních řešení, která jsou vhodná jak pro design nebo třeba pro vizualizaci složitějších objektů (vizualizace CAD dat celého automobilu) je vhodnější volit sofistikovanější řešení „plného“ HMD. Tato řešení však často potřebují výkonnější ovládací sestavu s výkonnou grafickou kartou. Ač minimalizace dovolí již osazovat těmito výkonnými grafickými kartami i notebooky (často „odlehčené“ varianty s nižším příkonem), stále je možno vidět i řešení, kdy ovládací počítač nese uživatel na zádech (pokud je nutná mobilita).

Tato řešení pak přestávají dávat smysl, pokud jsou tyto HMD vybaveny podporou přijatelně velkého trackovacího prostoru (prostor, kde je uživatel sledován).

Na tomto místě uveďme alespoň jeden příklad high-end řešení. Headset HTC Vive Pro v současnosti představuje high-end řešení. Toto řešení zahrnuje dva AMOLED displeje pro každé oko (rozlišení 2x 1440x1600 pixelů). Pozice brýlí je sledována dvojicí tzv. základních stanic, které by neměly být od sebe dále než 5 metrů; což definuje maximální velikost trackovacího prostoru (viz Obr. 1). Základní stanice komunikují opticky s brýlemi a zjišťují pozici i úhly natočení brýlí. Systém je inerciální: čili kromě výše uvedeného sledování, brýle upřesňují polohu pomocí gyroskopů a akcelometrů. Sledována je nejenom pozice hlavy, ale také dvojice speciálních ovladačů.

^{Obr. 1 Trackovací prostor HMD [Zdroj: https://www.vive.com (cit. 7.4.2019)]}

Jak již bylo uvedeno největší nevýhodou, je že HMD je zařízení určené pro jednoho uživatele. Tuto nevýhodu lze částečně kompenzovat tím, že bychom při současné imerzi uživatele pomoc HMD, promítali vše, co vidí na plátno.

Tohoto přístupu je využíváno například ve vlastním multioborovém projektu „virtuální třída“. Obecenstvo zde totiž „hraje“ roli žáků a musí vidět, co vidí učitel, který je ve VR exponován. Na plátně je navíc i osoba učitele. Jak virtuální obraz, tak obraz učitele je nahráván za účelem pozdějšího didaktického rozboru práce učitele (ukázka viz Obr. 2).

^{Obr. 2 Ukázka realizace vlastního interdisciplinárního projektu "virtuální třída"}

2.3. Cardboard

Na tomto místě je potřeba zmínit ještě jednu technickou možnost realizace projekce virtuální reality, a to zejména protože se jedná o mobilní a cenově přístupnou variantu. Jedná se o možnosti reprezentace VR na mobilním telefonu.

Obrazovka telefonu rozdělena na polovinu. Přičemž na jedné polovině je obraz pro levé oko na druhé polovině pro oko pravé. Telefon s spuštěnou speciální aplikací se vloží do upravené krabičky – Cardboard a okamžitě je možno pozorovat 3D obraz. Na Obr. 1 vidíme levnější papírovou variantu i variantu robustnější – plastovou.

^{Obr. 1 a) Google Cardboard, b) VR Box 2.0 [upraveno dle: www.amazon.com (cit. 7.4. 2019)]}

Obraz je uzpůsoben dle náklonu hlavy uživatele, což je možné díky gyroskopům a akcelerometrům, kterými jsou běžně vybavovány mobilní telefony střední třídy. Nevýhodou zde opět může být obtížnější realizovatelnost. Pro ovládání prostředí se používá např. Bluetooth gyroskopická myš, kterou je potřeba nejprve spárovat, potom spustit aplikaci a až v tento okamžik vložit telefon do Cardboardu přičemž tato operace může být v závislosti na typu Cardboardu a telefonu obtížnější. Zde by pomohla podpora Cradboardu na úrovni operačního systému (bylo by možné spouštět aplikace a provádět nastavení s nasazeným Cardboardem). Každopádně majoritní výhodou tohoto řešení je vysoká mobilita a dostupnost.  

3. Uživatelské rozhraní pro virtuální realitu

Pozastavme se nyní nad tím, jak se liší softwarový obsah pro VR od toho klasického. Liší se zejména uživatelské rozhraní (interface) – též UI (User Interface). Pro aplikace ve VR se ukazuje klasický tzv. „nediegetický“ interface jako velmi nevhodný (2D menu + 3D svět). Uživatel nemůže zaostřit na objekty, které jsou v odlišné vzdálenosti od jeho pozorovacího bodu nežli okolní prostředí. Takový interface je pro uživatele nepřirozený. Z tohoto důvodu se pro realizaci ve VR často používají dva přístupy (viz Obr. 3.6):

Prostorový interface (Spartial Interface) – Interface je součástí scény. Může to být informace, která se v 3D scéně vyskytuje v určité vzdálenosti od pozorovatele anebo je zapuštěna nebo součástí některého 3D modelu.

Diegetický interface (Diegetic Interface) – Interface je součástí ovladače. V Google Earth VR je tímto způsobem například možné zvolit přímo na ovladači jakékoliv místo na zemi.

^{Obr. 3.6 Interface pro VR [Upraveno dle; [22] a http://www.bridgevr.cz/google-earth-vr/ (cit. 7.4.2019)]}

Zdroj:

UNITY3D. User Interfaces for VR [online]. 2019 [vid. 2019-04-05]. Dostupné z: https://unity3d.com/learn/tutorials/topics/virtual-reality/user-interfaces-vr

4. Hardware pro rozšířenou realitu

Zařízení pro rozšířenou realitu (AR – augmented reality) je možné dělit dle umístění displeje (viz Obr. 1):

·         Náhlavní displeje (Head Mounted Displays, HMD), které jsou umístěny v nosiči umístěným na uživatelově hlavě

·         Ruční displeje (Hand Held Displays, HHD), které uživatel drží v ruce. Nejčastějším zástupci jsou mobilní telefony a tablety.

·         Prostorové displeje (Spatial Displays), které jsou umístěné v prostoru. Jedná se například o projekční plátna umístěná v prostoru nebo mapovaný obraz na objektech (In-Situ projekce).

^{Obr. 1 a) HMD, b) HHD, c) In-Situ projekce [Zdroje: https://www.ptc.com/en/resources/ar/report/how-augmented-reality-drives-real-world-gains , https://eu.mouser.com/applications/Augmented-Reality-Hardware-Key-to-HMI/ , vlastní foto z veletrhu CeBit 2017]}

Klíčový požadavkem na rozšířenou realitu je, aby byla mobilní. To je také její přednost a zásadní rozdíl oproti VR. Je zřejmé, že v současné době jsou pro AR nejpoužívanější mobilní telefony. Jedná se o masově rozšířený hardware a vzhledem k tomu, že existuje i celá řada každému snadno dostupný aplikací (AR navigace, AR rozmisťování nábytku, Pokémon Go, atp.), je veřejné podvědomí se základními možnostmi AR dobře obeznámeno. Pravdou však zůstává, že pro realizaci business AR aplikaci je často požadován výkonnější mobilní telefon či tablet.

Zdroj:

AR Core Supported Devices [online]. 2019 [vid. 2019-03-19]. Dostupné z: https://developers.google.com/ar/discover/supported-devices

5. Software pro tvorbu virtuálních světů

Pro tvorbu virtuální reality/rozšířené reality je možné nalézt mnoho softwarů. Samozřejmě je možné začít pracovat tzv. "from scratch". V rámci libovolného vývojového prostředí je tam možno vytvořit naprosto vše. Tato možnost se však dnes již nevyužívá, neboť možnosti jsou již velmi komplexní a zejména existují již hotová implementační prostředí.  

Mezi nejvíce používané enginy/frameworky/architektury/vývojová prostředí patří i Unreal Engine 4 a Unity3D. Tyto dva programy mají své výhody i nevýhody, které budou popsány dále. Existuje celá řada dalších alternativ. Tyto programy zde byly vybrány, protože jsou volně ke stažení a dokud uživatel nepřekračuje roční příjmy více než je dáno výrobcem, může tyto softwary využívat volně. Hlavním kritériem ovšem je, aby se dal vytvořený obsah přizpůsobit a modifikovat dle vlastních potřeb. V těchto programech je možnost si navolit funkčnost pro individuální řešení a tím přizpůsobit obsah tak, aby odpovídal co nejvěrohodněji požadavkům. 

5.1. Unreal Engine

Unreal Engine je původně herní engine, který byl vytvořen firmou Epic Games. Jeho první verze z roku 1998 byla použita ve hře Unreal. Od té doby byl Unreal Engine několikrát vylepšen a doplněn, aby mohl být použit v několika desítkách novějších herních titulů. Jádro Unreal Enginu, napsané v programovacím jazyku C++, podporuje mnoho různých platforem, jako jsou Microsoft Windows, Linux, Mac OS, Mac OS X na PC. 

Unreal Engine 4 je volně ke stažení. K platbě dochází, jakmile aplikace začne vydělávat peníze Uživatel zaplatí 5 % z hrubého příjmu, když výdělek za čtvrtinu roku překročí 3000 dolarů. 

Obr. 1 Unreal Engine

Zdroje:

Kubr, J., Praktická implementace návodek, Diplomová práce, ZČU, 2019

Wikipedia. Unreal Engine. [Online] 10. Spren 2019. [Citace: 10. Listopad 2019.] https://cs.wikipedia.org/wiki/Unreal_Engine#Unreal_Engine_4.

Unreal Engine. Unreal Engine 4 Commercial Game Deployment Guidelines. [Online] 2019. [Citace: 10. Listopad 2019.] https://www.unrealengine.com/en-US/release.

5.2. Unity3D

Unity je multiplatformní herní engine vyvinutý společností Unity Technologies. Byl použit pro vývoj počítačových her pro PC, konzole, mobily a web. První verze podporovala pouze OS X a byla představena na celosvětové konferenci Applu v roce 2005. Od té doby byl rozvinut o více než patnáct dalších platforem (včetně komlexní podpory pro Windows).

^{Obr. 1 Ukázka z editoru Unity - projekt Virtuální návodky, autor: Jan Kubr}

Unity poskytuje možnosti vývoje pro (primárně) 2D i 3D hry libovolného žánru a zaměření. Kromě grafického prostředí pro tvorbu, podporuje také tvorbu skriptů především v jazyce C# a UnityScript (podobná syntaxe jako Javascript). 

Možnosti platby za využívání Unity3D jsou rozděleny podle toho, jakou verzi uživatel využívá. Dostupné jsou Personal, Plus, Pro a Enterprise. Verze se volí podle toho, jaký má firma za daný rok obrat:

·         Personal – obrat za rok menší než 100 000 dolarů

·         Plus – obrat za rok menší než 200 000 dolarů

·         Pro – obrat za rok vyšší než 200 000 dolarů

·         Enterprise – obrat za rok vyšší než 200 000 dolarů – k této verzi jsou dodávána další zvýhodnění

Pro využívání Unity3D uživatel musí měsíčně zaplatit částky zmíněné níže.

·         Personal – Free

·         Plus - 35 $

·         Pro – 125 $

·         Enterprise – Po dohodě 

Zdroje:

Kubr, J., Praktická implementace návodek, Diplomová práce, ZČU, 2019

Wikipedia. Unity (herní engine). [Online] 2019. [Citace: 10. Listopad 2019.] https://cs.wikipedia.org/wiki/Unity_(hern%C3%AD_engine).

Unity Store. Compare plans. [Online] 2019. [Citace: 10. Listopad 2019.] https://store.unity.com/compare-plans.