In the Code: Die Zukunft von Augmented Reality jetzt erleben

HoloLens mit sichtbaren Lichtleitern und unzähligen Sensoren.
Augmented Reality ist durch Pokemon Go ein sehr aktuelles Thema. Die HoloLens geht dank Umgebungserkennung einige bahnbrechende Schritte weiter: Sie visualisiert virtuelle Welten im realen Raum. Noch ist das Gerät nur sehr beschränkten Kreisen zugänglich, doch zeigt es eindrücklich wie die Zukunft von Augmented Reality, respektive Mixed Reality, in ein paar Jahren aussieht. Viele Personen sind kritisch und können sich den Nutzen noch nicht vorstellen. Doch als damals erste Mobiltelefone mit Kameras auf dem Markt erschienen, war es ähnlich. Niemand verstand den Nutzen von guten Kameras. Wenn man diese Augmented oder Mixed Reality jedoch einmal erlebt hat, ist klar: diese überzeugende Art der Visualisierung ist nicht ein vorübergehender Hype, sondern das erste Anzeichen von etwas Grösserem.
 
HoloLens kurz und knapp
Die HoloLens ist eine digitale Brille - respektive ein neue Art von tragbarem Computer - und erlaubt 3D-Projektionen im Raum einzubetten und mit den Objekten zu interagieren. Die HoloLens erkennt die Umgebung, so dass die Objekte sich an Wände haften oder unter Tischen verbergen oder mit ihnen interagieren, basierend auf physikalischen Modellen. Gesteuert wird mittels einfachen Gesten, Kopfbewegung, Augensteuerung und Spracherkennung.
 
Im Gegensatz zu anderen "smarten" Brillen ist die HoloLens ein eigenständiger Computer - völlig autonom, ohne Smartphone. Die HoloLens enthält eine Vielzahl von Sensoren, WiFi und Kameras, funktioniert drei Stunden mit einer Batterieladung und läuft auf Windows 10. Microsoft bietet das Gerät aktuell in den USA und Kanada als sogenanntes "Mixed-Reality-Device" an für 3000 US$. Die Begründung für den Ausdruck Mixed Reality (MR) beruht auf der Tatsache, dass das Gerät stärker mit der Umgebung interagiert als bisherige Augmented Reality (AR) Anwendungen.
 
Begriffserklärung zwischendurch: VR, AR, MR
Virtual Reality (VR): Vollständige computergenerierte Umgebung mit höchstmöglicher Immersion, aber wenig Bezug zur realen Welt. Augmented Reality (AR: Computerunterstützte Erweiterung der Realität. Häufig durch Einblenden resp. Überlagerung mit Bild und Ton. Mixed Reality (MR): Vermischung von reellen Welten und Umgebungen mit virtuellen Umgebungen
 
Technologie und Aufbau
Als Nutzer schaut man durch ein transparentes Brillenglas. Eingebettet im Glas sind Lichtleiter die aussehen wie zwei transparente Bildschirme. Diese fügen dem natürlichen Licht weiteres Licht dazu und fügen so die dreidimensionalen Welten der natürlichen Umgebung hinzu.
 
Für die Raumerkennung verwendet die HoloLens die Technologien von Kinect, insbesondere die Tiefensensoren. Damit wird laufend die Umgebung ertastet. Die HoloLens erkennt und merkt sich so die ganzen Räume inklusive Wände und Tische.
 
Eine Holographic Processing Unit (HPU) verarbeitet alle Sensordaten und berechnet die Projektionen. Sensoren beinhalten ein Gyroskop, Beschleunigungs- und Drehsensor, Magnetometer, Lichtsensor, Mikrofone und eine Videokamera.
 
Alles wurde in einem sehr guten Gesamtpaket gebündelt. Erstaunlich sind die hohe Auflösung und die stabile Platzierung der 3D-Objekte im Raum.
 
Ein "Game Changer"
Die HoloLens ist schwer zu beschreiben - man sollte diese veränderten Realitäten erleben, um zu verstehen, was es tatsächlich bedeutet. Die neue Art der Visualisierung in der eigenen Umgebung ist sehr eindrücklich. Warum ist sie ein "Game Changer"?
 
Erstens die hochstehende Visualisierung: Ein Beispiel ist die HoloAnatomy App, die den menschlichen Körper in echter Grösse im Wohnzimmer darstellt. Geht man um den Körper herum, versteht man die Funktionsweise des Körpers sehr viel besser als auf einem Bildschirm.
 
Zweitens die Art und Weise wie mit der Umgebung interagiert wird. Am Beispiel RoboRaid, einem Shooter Game, ist eindrücklich zu sehen, wie Aliens Teile aus der eigenen Zimmerwand schlagen und Insekten daraus hervor kriechen.
 
Drittens,
Bild links: Aliens in RoboRaid erkennen die Wände. Bild rechts: Visualisierung des menschlichen Körpers.
die Einfachheit. Ohne grosse Instruktionen waren Kindern von 6 Jahren oder Senioren von über 70 Jahren in der Lage die Brille zu nutzen. Sie konnten sofort in das Erlebnis eintauchen und sich darin bewegen. Seit der Einführung des iPhones ist dies das erste Gerät mit einer komplett neuen Art der Steuerung, das so leicht und intuitiv von allen genutzt werden kann.
 
Für mich ist die HoloLens deshalb ein "Game Changer". Das Produkt erlaubt völlig neue Erlebnisse, die vorher nicht möglich waren. Das aktuelle Produkt wird sicher nicht eine riesige Verbreitung erlangen, dafür ist sie zu teuer und zu wenig verfügbar - jedoch zeigt sie wohin uns die Reise mit AR/MR in Zukunft führt.
 
Konkurrenz schläft nicht
Das AR/MR Themengebiet befindet sich in raschem Wandel. Wo steht die HoloLens im Markt?
 
Das Mobiltelefon ist aufgrund der Verbreitung der stärkste Mitbewerber. Mit dem Erfolg von Pokemon Go ist das Thema AR in der Breite angekommen. Auch wenn Pokemon Go sehr trivial ist, zeigt es, wie schnell eine grosse Masse von Personen dafür gewonnen werden kann. Mit Tango wird eine HoloLens-ähnliche Erfahrung auf dem Mobiltelefon erreicht. Noch ist erst ein Gerät, das Lenovo Phab 2 Pro, angekündigt. Das Erlebnis wird etwas eingeschränkt, weil der Benutzer die Szene durch den kleinen Bildschirm des Telefons respektive Tablet ansehen muss - falls es jedoch für die grosse Masse praktisch ohne erkennbare Kosten mit dem Smartphone mitkommt, wird es trotzdem grosse Verbreitung frinden.
 
Magic Leap ist ein Startup, das bereits mit mehr als 4.5 Milliarden Dollar bewertet wird und Finanzierungen von über einer Milliarde Dollar erhalten hat. Noch hält sich die Firma sehr bedeckt, doch anscheinend soll bei seinem Gerät im Gegensatz zur HoloLens das Licht direkt in die Augen projiziert werden. Die Magic Leap Technologie könnte damit also einen sehr breiten Sichtwinkel und eventuell kleinere Hardware ermöglichen. Lassen wir uns überraschen.
 
Im Bereich VR gibt es sehr viele Geräte, unter anderem HTC Vive und Samsung Gear oder CardBoard. Diese erlauben ein viel besseres Eintauchen in eine geschlossene virtuelle Welt, da der Benutzer die echte Welt nicht mehr wahrnimmt. Als Folge davon tritt jedoch oft Übelkeit auf. Da der Benutzer sehr isoliert ist, sehe ich diese Art von Geräten hauptsächlich im Gaming Bereich oder für Visualisierungen in Museen.
 
Wo hakt es noch?
Beim Lichtleiter - dem Herzstück - befindet sich der meist genannte Kritikpunkt der HoloLens: Das Sichtfeld ist beschränkt, genannt wurden etwa 30-40 Grad in der Breite. Die Nutzer stört es mehr oder weniger - es hängt auch von der Anwendung ab, wie stark dies auffällt, respektive stört. Weiter sind die Lichtleiter nicht im Sonnenlicht nutzbar, weil sie das Sonnenlicht nicht stark genug überlagern können. Man nutzt das Gerät also hauptsächlich in Innenräumen.
 
Die HoloLens ist bereits sehr gut verarbeitet und im Verhältnis zu den vielen Funktionen ein sehr kleines und optimiertes Gerät. Aber für die Nutzungszenarien könnte es einiges dezenter sein, speziell wenn ein Mitarbeiter mit der Brille jemanden ansieht, ist sie immer sehr auffallend und störend.
 
Anwendungsgebiete
Obwohl erst ein "Development Kit", ist die HoloLens ein sehr gut verarbeitetes und ausgereiftes Produkt. Aufgrund des hohen Preises und der beschränkten Verfügbarkeit in Nordamerika wird die Verbreitung sehr tief sein - es ist deshalb kein Consumer-Gerät sondern ein Business-Gerät.
 
Folgende Einsatzbereich wurden bereits identifiziert:
  • In Ingenieurbüros fürs Rapid Prototyping von neuen Designs.
  • In Designagenturen und Architekturbüros zum Visualisieren ihrer Arbeiten.
  • Im Gesundheitsbereich zur Darstellung der Körperscans.
  • Generell im Schulungsbereich für das bessere Erklären von Abläufen, beispielsweise die innere Funktionsweise des Körpers oder von Maschinen.
  • Für Visualisierungen und intuitive Erklärungen in Museen.
Es wird sich noch zeigen wie stark sich diese Use Cases tatsächlich durchsetzen.
Aber die bereits existierenden Beispiel-Anwendungen zeigen eindrücklich. was mit Mixed Reality möglich ist. Wer schlussendlich das Rennen gewinnt, ist nicht klar, aber mit der HoloLens erfährt man heute, in welche Richtung die Reise geht. (Reto Grob)
 
Über den Autor
Reto Grob ist Principal Software Architect bei der Zürcher Softwarefirma Netcetera. Er ist zuständig für die Software-Architektur, leitet die Entwicklung in Projekten und fördert die Geschäftsentwicklung mit Innovationsthemen. Zudem ist er tätig im Vorstand der smama und Best-of-Swiss Apps und leitet die Fachgruppe 'Mobile Apps' in smama. Seine 16-jährige Erfahrung hat ihn auf die unterschiedlichsten Software Stacks geführt - der Fokus zuletzt liegt in mobilen und modernen Web-Applikation. Reto Grob hat an der ETH Zürich Informatik studiert und langjährige Erfahrungen im Ausland gesammelt.