Was kann Virtual Reality, was 360Grad-Videos nicht können? Und sind die beiden wirklich so unterschiedlich? Tja, einfache Fragen, eine wortreiche Antwort. Weil der Text immer länger und länger wurde, habe ich kurzerhand zwei Teile daraus gemacht. Im ersten Post zu dieser Frage habe ich grundlegend zu 360Grad-Videos geschrieben. Jetzt wird es richtig spannend, denn heute geht es um Virtual Reality.
Kurz zusammengefasst: 360Grad-Videos sind super für ein erstes Ausprobieren und für (eher passive) Filme. Die meisten sind in der echten Welt gedreht, aber es gibt sie auch hübsch animiert oder computergeneriert. Sie bieten mal mehr, mal weniger 3D-Gefühl, was man in allen 360Grad-Videos jedoch nicht machen kann, das ist, sich in der virtuellen Welt zu bewegen und mit ihr zu spielen. Wenn Ihr also den Hund streicheln oder jemandem vor Euch ins Nasenloch gucken wollt, dann braucht Ihr schon Brillen jenseits von Cardboard und Co.
Bye bye Smartphones: Virtual Reality mit professioneller Ausrüstung
Für die „richtige“ VR-Erfahrung benötigt man teurere VR-Brillen samt Zubehör (Tracker, Controller…) wie die HTC Vive, die Oculus Rift oder die Playstation-VR-Brille, die über sehr leistungsfähige Computer bzw. Konsolen betrieben werden müssen. Dafür bieten sie aber auch das volle Paket:
Solche professionellen Headsets geben die Möglichkeit, mit der virtuellen Welt interagieren! Unter Interaktion im weitesten Sinne zählen die schon oft genannten Positionswechsel: Die Position des Kopfes im Raum wird erfasst, man kann Dinge also von oben, unten, hinten oder vorne betrachten, und, je nach VR-Ausrüstung (die Vive kann das derzeit am besten), auch umhergehen im Raum. Vor allem aber meine ich mit Interaktion das Eingreifen in die virtuelle Welt: Ich kann Dinge mit meinen „Händen“ (den beiden Controllern) Dinge aufheben, Angreifer erschießen, Kaffee kochen, Wale streicheln und lauter wilde Sachen machen.
Theoretisch. Denn nur, weil die VR-Headset-Technik all dies ermöglicht, heißt das noch lange nicht, dass jede Anwendung in VR auch alle Möglichkeiten anbietet. Wie Filmemacher bei den 360Grad-Videos treffen auch VR-Entwickler und –Entwicklerinnen im Vorfeld weitreichende, inhaltliche Entscheidungen. Und da wären wir: zurück bei der Story. Es scheint, als führten alle Wege zu ihr zurück.
Inhalte von Virtual Reality-Anwendungen
In dieser Skizze habe ich vier Varianten aufgezeigt, die ich bereits gefunden und ausprobiert habe. Es gibt aber sicher noch viel mehr Abstufungen, vor allem innerhalb der Games, klare Grenzen sind da kaum zu ziehen.
Super 3D oder wie man in einem Film spazieren geht
Das neue große Ding und ganz schwer am Kommen sind volumetrische Filme. Im Gegensatz zur „echten“ Virtual Reality sind volumetrische Filme aber immer noch – zumindest in Teilen – echte Umgebungen oder Personen, also gedrehtes Material. Um es kompliziert zu machen: Es sind im Grunde 360Grad-Videos, nur dass sie eben nicht mehr „nur“ 360 Grad abbilden, sondern viel viel mehr. Deswegen würde ich sie auch auf jeden Fall in VR einordnen. Man sieht, so einfach ist die Unterscheidung nämlich überhaupt nicht mehr. Was ist das „viel mehr“, das volumetrisch gefilmte Videos ermöglichen? Man kann sich in ihnen bewegen, das heißt näher an etwas herangehen, in einem Raum herumlaufen, den Kopf nicht nur drehen, sondern tatsächlich auch bewegen. Im letzten Post erwähnt habe ich schon realities.io, die mittels Photogrammetrie aus Fotos begehbare Räume machen. Viele arbeiten gerade daran, das Ganze auch für Videos zu ermöglichen. Adobe hat anscheinend eine Möglichkeit gefunden, nicht nur Fotos, sondern auch ganz „normale“ 360Grad-Videos in volumetrische Filme umzuwandeln. Möglich wird es mittels mathematischer Berechnungen. Nahe liegender (aber sicher nicht unbedingt billiger) ist es natürlich, von Anfang an volumetrisch zu produzieren. Derzeit erscheinen die ersten volumetrischen Serien und Filme und Sony hat neulich ein klassisches Konzert mit dieser Technik aufgenommen. Eine ganz besondere Rolle spielte darin natürlich der Sound:
In Deutschland ist man ebenso umtriebig, was volumetrische Filme angeht oder, etwas sperriger, 3D Human Body Reconstruction, was bedeutet, dass man echte Personen in virtuelle (computergenerierte) Umgebungen setzt: Kürzlich hat das Fraunhofer HH Institut mehrere volumetrische VR-Erfahrungen vorgestellt. Darunter ist das Tiger-Mädchen (realisiert zusammen mit Trotzkind):
Das andere ist der kleine Kurz-Film „Gateway to Infinity“, auch vom Fraunhofer HH Institut zusammen mit dem UFA Lab.
Ich habe „Gateway to Infinity“ auf der letzten Re:publica gesehen: Am Anfang war ich in einer für mich inzwischen recht normalen, computergenerierten VR-Umgebung. Nichts Spektakuläres, spannend lediglich, dass ich mich auf einem kleinen Balkon über einem canyon-artigen Abgrund befand. Hinter mir sah ich zwei Personen stehen, anscheinend Wachen. Sie fingen an zu reden und ich dachte mir: Na gut, zuhören, die Geschichte geht los. Auf einmal fiel mir etwas auf und schlagartig war meine gesamte Konzentration dahin! Die beiden Personen hatten ungewöhnlich realistisch wirkende Gesichter. Kein Vergleich mit den Gesichtern der Figuren, die mir in VR-Games bis dahin begegnet waren. Ich war so baff, dass ich für die restlichen Minuten des Filmes auf gar nichts anderes mehr achten konnte als auf diese beiden Gesichter. Ihre Mimik, wie synchron sich ihre Lippen zu den Worten bewegten. Sie wirkten unheimlich real – weil sie real waren. Die Macher hatten tatsächlich reale Schauspieler in die VR-Welt hineinbekommen. Ich bin ganz nah an eine der beiden Personen, den Mann, herangegangen und habe mir alles im Detail angesehen: seine Augen, seine Haare, seinen Mund, seine Bartstoppeln. Ein wenig voyeuristisch kam ich mir dabei schon vor. Das einzige, das auf mich befremdlich wirkte, war die starre Körperhaltung der beiden. Man hatte sich bei der Produktion dieses ersten Prototyps wohl ganz auf die Gesichter konzentriert. Jedenfalls weiß ich bis heute nicht so ganz genau, wovon der Film handelt….
Das ist schon eine sehr spektakuläre Entwicklung, gerade in Hinblick auf Dokumentationen oder Reportagen, bis hin zu Live-Übertragungen und sogar Echtzeit-VR-Kommunikation. Ein Hologramm der Liebsten statt Telefonanruf oder Skype? Ich wäre dabei!
Wer sich für die Technik dahinter interessiert, kann einen ersten Einblick in diesem Artikel von Vrodo.de bekommen.
Was auch volumetrische Filme bislang jedoch noch nicht können, das ist eine direkte Interaktion mittels Händen (oder Flügeln oder Krallen oder Pranken, denkt Euch etwas aus). Sie bleiben trotz der Möglichkeiten, in ihnen herumzugehen und so eine eigene Perspektive zu wählen, eher passive Formate.
Um mit Händen zu interagieren, muss man das Drehen in der echten Welt komplett verlassen und sich in animierte und computergenerierte Umgebungen begeben. Und da ist alles abhängig von der Wahl, die die Designer und Entwickler treffen. Es ist wie im ersten Teil beschrieben: Nur weil das Headset es technisch könnte, heißt es nicht automatisch, dass auch der Inhalt es kann. In Virtual Reality, wo technisch schon so vieles möglich ist, werden Beschränkungen bewusst getroffen von den Entwicklern. Meistens aus Gründen des Storytellings oder weil es auf einer bestimmten Plattform funktionieren soll (die Vive hat beispielsweise andere Anforderungen als die Oculus Rift).
Sitzen oder Stehen? Design-Optionen in VR
Das neue, sehr klar geschriebene Einsteiger-Buch „Virtual Reality rettet die Welt“ von VR JUMP-Autor Ruben Artus unterteilt solche Entscheidungen in drei Kategorien: „Seated“, „Standing“ und „Roomscale“. „Seated“, also die Erfahrung im Sitzen, weist das Buch vor allem mobilen VR-Erfahrungen zu und Spielen, die in einem Cockpit oder ähnlichem stattfinden. Eine sitzende Erfahrung heißt also nur, dass sich der Spieler nicht real bewegt, der Charakter im Spiel kann dies sehr wohl und so beispielsweise im Weltraum umher fliegen. Bei solchen Erfahrungen spielt sich die gesamte Handlung meist gar nicht rund herum sondern nur in den 180 Grad vor dem Spieler ab, also in seinem direkten Blickfeld. Dazu werde ich noch einen extra Beitrag schreiben. „Standing“ sind dann laut Buch die Erfahrungen, bei denen man steht und die Position wechseln kann und mit zwei Controller-Händen interagiert. „Roomscale“ ist dann das auch von mir schon so oft beschriebene Herumlaufen, das aktuell die Vive ermöglicht. Die meisten VR-Spiele geben ganz am Anfang eine Empfehlung ab, in welcher Position man loslegen soll.
Ein anderes Buch, eher ein Büchlein, mit dem einfachen Namen „VR UX“ unterscheidet nicht drei, sondern vier Klassen von VR-Design-Entscheidungen und mischt technische mit klar inhaltlichen Kriterien: Da ist zum einen „Grounded“, was weitgehend der sitzenden Erfahrung des ersten Buches entspricht. Wobei man „Grounded“ auch durchaus wörtlich nehmen und sich auf den Boden setzen kann, wie es das Oculus Story Studio bei der herzzerreißend süßen Geschichte um Igel Henry empfiehlt. So ein Igel-Häuschen ist nämlich recht klein. Logisch, oder? (Ihr könnt „Henry“ in der Samsung Gear und natürlich der Oculus Rift sehen.) Auch die Entwickler des Spieles Lucid Trips (für die HTC Vive erhältlich auf Steam, Early Access) haben ein sitzendes Design gewählt, wobei man als Spieler auf dem Boden sitzt und seine Arme benutzt, um im Spiel umherzufliegen und zu gleiten. Die zweite Option des Buches hat den schönen Namen „God’s Eye“. Darin kann sich der Spieler frei im Raum bewegen, aber nichts anfassen und auch nichts manipulieren. Man ist also eine Art große Fliege an der Wand. Ein Beispiel dafür wäre mein Lieblings-Animationsfilm für VR „Allumette“. Auf diese bezaubernde Geschichte eines kleines Mädchens, produziert von den Penrose Studios aus San Francisco, werde ich noch in späteren Posts immer wieder zurückkommen. Die oben beschriebenen volumetrischen Filme gehören auch in diese Kategorie „God’s Eye“. Die Dritte Wahlmöglichkeit, die das Buch gibt, heißt „The Map“ und ermöglicht dem Spieler, sich zu bewegen, auch im Spiel zu teleportieren, aber nach einer festgelegten Geschichte. Die Möglichkeiten sind also eingeschränkt und das ganze Spiel folgt einem eher narrativen Ansatz. Als Beispiel fällt mir hier das preisgekrönte VR-Spiel „The Gallery“ ein. Und die vierte und letzte Möglichkeit des Buches heißt „Free me“ und bietet quasi uneingeschränkte Bewegungsmöglichkeiten in der Geschichte. Technische Voraussetzung wäre hier der „Roomscale“-Ansatz des ersten Buches, man braucht also auf jeden Fall eine Möglichkeit, sich im Raum tracken zu lassen. Theoretisch würden also zu dieser letzten und vierten Kategorie auch Erfahrungen zählen, die keine Erzählung bieten, sondern die Spieler nur an einen mehr oder weniger spektakulären Ort beamen, an dem sie ein wenig herumlaufen können. Das wurde vor allem zu Anfang sehr viel gemacht, sowohl als Virtual Reality als auch bei 360Grad-Videos. Nach diesem Ansatz funktionieren einige eher wissenschaftliche VR-Erfahrungen, bei denen man an einen Ort geschickt wird und sich dort umsehen kann. Bis auf den ersten Wow-Effekt, der aber schnell abklingt, finde ich das meist etwas langweilig.
Meine VR-Kategorien: Wie viel Macht gibt man dem Nutzer?
Man sieht an diesen Beispielen, wie schwierig eine Einteilung ist. Bei meinen Kategorien in der Skizze ganz oben habe ich mich vor allem an dem zweiten Buch orientiert und versucht, Inhaltliches und Technisches etwas zu mixen. Im Grunde steigen pro Kategorie die Möglichkeiten des Bewegens und des Interagierens, aber auch die Möglichkeiten des Eingreifens in die Story. „Allumette“ fällt hier in die erste VR-Kategorie: Man kann sich in Maßen bewegen und herumlaufen, aber anfassen oder gar aufheben kann man nichts. Allerdings gibt es manche Szenen, die man nicht sehen würde, könnte man sich nicht in der virtuellen Welt bewegen…. Davon abgesehen ist diese Kategorie vom erzählerischen Standpunkt her aber sehr verwandt mit 360Grad-Videos, nur dass es eben hier statt realer künstliche und animierte Welten sind. Wie ähnlich sich die beiden Gattungen sind, sieht man auch daran, dass immer mehr VR-Filme auch als animierte 360Grad-Videos (meistens 3D) produziert werden, um mehr Menschen zu erreichen. Dadurch kann man den Film nämlich auf einem der mobilen Headsets sehen, was natürlich deutlich einfacher ist. So haben es die Macher des preisgekrönten, animierten Kurzfilms „Invation!“ gemacht. Man kann ihn in einer Profi-VR-Brille ansehen und sich darin als kleiner Schneemann – oder war es ein Eisbär? – bewegen, wenn auch nur sehr eingeschränkt. Daneben ist der Film als 360Grad-Video aber auch auf allen anderen Plattformen zu finden, inklusive Youtube für das Cardboard. Dann ohne Herumlaufen, was aber überhaupt nicht stört. Ebenso ist der Kurzfilm „Pearl“ (Video unten) einerseits als 360Grad-Film als auch als VR-Erfahrung zu erleben. Bei letzterer, und nur da, kann man immerhin den Kopf aus dem Dachfenster strecken, hey! Diese beiden Beispiele machen vor allem eines deutlich: Für eine linear erzählte, nicht-interaktive Geschichte ist es kaum von Bedeutung, ob sie nun als 360Grad-Video oder als „richtige“ VR-Erfahrung konzipiert wird.
In meiner Kategorie zwei geht da schon mehr bezüglich Interaktion. Das kann in Formaten ohne viel Narration passieren wie in der Vive-Demo „The Blu`“, wo man unter Wasser – neben einem Wal – auch ein paar Quallen begegnet und diese zurückschrecken, sobald man die Hand nach ihnen ausstreckt. Vorstellbar wäre auch ein narrativerer Ansatz, ein Film, bei dem die Handlung zwar um mich herum abläuft, ich aber trotzdem kleine Details selbst bestimmen kann, z.B. ob ich sitzen oder stehen möchte, ob ich das Buch aufschlage oder nicht. Ob erst Person eins spricht, dann Person zwei, oder andersherum. Bei einem solchen interaktiven Film gäbe es dann bereits einzelne Gaming-Elemente. In meine dritte Kategorie fallen eigentlich alle „richtigen“ VR-Games. Mir ist da natürlich bewusst, dass es noch sehr große Unterschiede innerhalb dieser Kategorie gibt, Games sind unglaublich verschieden. Schon fast Klassiker in VR sind alle Exit-Games, bei denen man sich mittels zusammengesuchter Hinweise aus einem virtuellen Raum befreien muss. Ego-Shooter und Action-Spiele gehören natürlich auch in Kategorie 3, man kann aber auch durch die Luft fliegendes Obst mit den Händen zerschlagen. Fast schon eine Art eSport, ist ziemlich anstregend….
Die vierte Kategorie ist derzeit der größte Hype: Mittels flacher Rucksäcke, in denen der Computer und die ganze Rechenkraft sitzt, können sich die Spieler ganz unbeschwert im Raum bewegen, viel weiter als mit unserer Vive im Wohnzimmer zuhause – und ohne, dass die Kabel hinten aus der Brille auf den Boden hängen und sich während des Spiels wie eine tückische Schlange mehr und mehr um die Füße wickeln. Überall auf der Welt öffnen gerade VR-Arcades, die das ermöglichen. In Berlin ist das zum Beispiel das Spiel „Huxley“ bei Exit, das wir vor kurzem ausprobiert haben (Review folgt!).
Das Tolle dabei ist, dass man hier in einer Gruppe ab zwei Personen spielen muss, es ist also eine soziale Erfahrung. Beide werden in die virtuelle Welt geschickt und können sich dort gegenseitig sehen und miteinander sprechen. Eines der bisher einzigen VR-Spiele, bei denen diese soziale Erfahrung auch zuhause möglich ist, ist das vor ein paar Wochen erschienene Spiel „Star Trek Bridge Crew“. Das große Vorbild aller VR-Spielehallen ist jedoch THE VOID aus den USA. Dort lässt man die Spieler nicht nur gemeinsam mittels Rucksäcken auf Abenteuer-Tour gehen, sie werden auch in eine Mixed Reality, also in eine passend gestaltete, reale Umgebung gesteckt: Das heißt nichts weniger, als dass das Erleben in virtuellen Geschichten noch realistischer wird. Ist im Spiel eine Wand, läuft man auch in der Halle an einer Wand entlang. Sie sieht in echt sicher nicht toll aus, muss sie aber nicht, denn mit der Brille sieht man eine virtuelle Wand – und ertastet die echte mit den Händen. Steht man im Spiel an einer Klippe, spürt man einen kalten Luftzug im Gesicht. Holodeck pur! Und auch an dem Integrieren anderer Reize in VR wie z.B. von Gerüchen wird gerade getüfftelt. Es geht ums Fühlen, ums Erleben mit allen Sinnen. Ich würde es als die ultimative VR-Erfahrung ansehen und kann kaum erwarten, es einmal auszuprobieren!
Sonderkategorie: Mobile VR mit Interaktion
Von den mobilen Headsets habe ich im letzen Beitrag, als es um die 360Grad-Videos ging, ja schon gesprochen. Dort habe ich gesagt, dass man sich nicht bewegen kann und es auch keine Interaktion mit Objekten oder Personen gäbe. Das war etwas vereinfacht. Es gibt inzwischen nämlich sehr wohl erste Versuche, um auch solche passiven Erfahrungen interaktiver zu machen. Das geht dann nicht mit virtuellen Händen (die durch zwei Controller dargestellt werden), sondern durch andere Möglichkeiten: Einerseits durch den Blick, die Augen werden zu einer Art „Maus“. Die Nutzer bekommen mehrere Möglichkeiten zur Auswahl, zum Beispiel verschiedene Kapitel, die sie anwählen können, und müssen die Kategorie ihrer Wahl für ein paar Sekunden ansehen. Dann wird diese Option aktiviert. Eine zweite Möglichkeit, die beispielsweise die Samsung Gear bietet, ist ein Touchpad an der Brillen-Seite oder ein kleiner Mini-Controller. Dieser stellt nicht wie die Profi-Sets zwei „Hände“ nach, sondern vielmehr eine Möglichkeit, mittels verschiedener Knöpfe Optionen in VR auszuwählen und zu steuern. In manchen Spieleapps wird der Controller sogar wie bei den Profi-Sets integriert und man kann richtig mit ihm spielen als Tennisschläger oder Pistole. Aber eben nur mit einer Hand. Fast immer sind solche mobilen VR-Apps noch computergenerierte Umgebungen, wenn auch natürlich mit deutlich kleineren Grafik-Ansprüchen als Spiele für die Profi-Headsets. Durch ihre künstlichen Welten entfernen sich auch inhaltlich von den oft in der wirklichen Welt gedrehten 360Grad-Videos. Einen großen Unterschied gibt es aber trotzdem: In solchen Erfahrungen kann ich zwar (in Maßen) interagieren, aber mich immer noch nicht bewegen, da die Kopfposition nicht erfasst wird. Für Geschichten eröffnet eine solche – wie ich sie nenne -„Interaktion-Light“ trotzdem spannende Möglichkeiten. Der VR-Film für die Samsung Gear „Notes on Blindness“ von arte (Video unten), der erfahrbar macht, was es heißt, blind zu sein, wäre ein Beispiel für eine interaktive Geschichte. Ebenso das Märchen „The Turning Forest“ von der BBC, das man auf der Gear oder Daydream sehen kann. Beide Erfahrungen sind im Grunde lineare Erzählungen, die keine Möglichkeiten lassen, die Geschichte zu verändern oder in selbst-gewählter Reihenfolge zu erleben. Allerdings beinhalten beide kleinere Elemente, die eine Aktivität des Zuschauers fordern: Bei „Notes on Blindness“ muss man in einer Szene mittels des kleinen Touchpads selbst Wind machen, um die nächste Szene freizuschalten. Bei „The Turning Forest“ spielt man auf Eiszapfen und erzeugt so Klänge, sie sich langsam zu einer Musik verdichten. Beides eine schöne und interessante Erfahrung. In naher Zukunft wird Mobile VR deutlich mehr Features bekommen bis hin zum Head-Tracking und dem Steuern mittels Händen.
Mein Fazit dieser langen Reise
Immer wieder landet man beim Versuch einer Kategorisierung bei technischen Unterscheidungen. Was alle Versuche, auch meiner, mehr oder weniger vernachlässigen, ist die Art des Geschichtenerzählens. Es gibt lineare Geschichten, non-lineare mit ein paare wenigen interaktiven Schlüsselszenen, bei denen man sich zwischen einer begrenzten Anzahl Optionen wählen kann. Und wiederum voll interaktive Erfahrungen, also Spiele, die entweder einer narrativen Struktur folgen, bei der die Spieler mit ihrer Figur bestimmte Ziele erreichen müssen, oder ganz freie Spieldesigns, bei denen die Spieler sich die gesamte Welt samt ihrer Charaktere selbst erschaffen. Aber das ist ein anderer Post an einem anderen Tag…
Was ich gelernt habe beim Schreiben der letzten beiden Beiträge: 360Grad-Videos sind nicht einfach nur die kleine Schwester von VR, sondern werden immer besser, vor allem auf guten mobilen Brillen wie der Gear. Bei linearen, größtenteils passiven Erfahrungen wie VR-Filmen eignen sie sich genauso gut für die Wiedergabe wie die Profi-Brillen, wenn nicht sogar besser. Denn ein Smartphone haben ja die meisten zuhause! Am Ende kommt es also doch auf die Story an.
NACHTRAG zu 360Grad-Videos: Auf seiner vor allem für Entwickler, aber auch für Einsteiger interessanten Seite VR JUMP veröffentlicht Ruben Artus demnächst eine Unterseite, die sich nur um 360Grad-Videos dreht. In den nächsten Wochen soll es losgehen, hat er mir gesagt. Da werden sich neben aktuellen Entwicklungen auch Infos zu Kameras finden und andere praktische Tipps. Reinschauen lohnt sicher.
