ARKit: Wie Apple-Entwickler Augmented Reality auf iPhones und iPads bringen können
Die Wiener Firma all about apps hat sich auf mobile Software spezialisiert und zählt unter anderem Startups wie Payuca, Cashquizz oder Cashpresso zu seinen Kunden. In regelmäßigen Blogposts gibt das Team Einblicke in die Welt des App-Business:
Nun springt Apple auch auf den virtuellen Zug. Es war das „nächste große Ding“ und eines der Highlights der diesjährigen Entwicklerkonferenz WWDC von Apple: die Ankündigung einer neuen Plattform für Augmented Reality Apps. Mit der Veröffentlichung von iOS 11 im Herbst wird diese Plattform Millionen von iPhones und iPads zugänglich sein und geht es nach Apple, verspricht der Global player „unvorstellbares Potential“.
Was ist Augmented Reality (AR)?
Augmented Reality („erweiterte Realität“) bezeichnet die Erweiterung der Realitätswahrnehmung durch künstlich erzeugte Informationen, etwa vom Smartphone. In den meisten Fällen handelt es sich dabei um visuelle Darstellungen. Bekannte Beispiele sind etwa Einblendungen bei Sportübertragungen im Fernsehen, wie etwa einer virtuellen Ideallinie bei einem Formel-1-Rennen oder einer Abseitslinie beim Fußball.
Mobile Augmented Reality geht hier einen Schritt weiter und zeigt diese Informationen über dem aktuellen Live-Bild der Smartphone-Kamera in Echtzeit an. Oftmals wird dazu nicht nur die Kamera, sondern eine Vielzahl von weiteren Sensoren (Orientierung, GPS, …) verwendet. Dies ermöglicht, dass eine Bewegung des Gerätes auch die Darstellung der virtuellen Darstellung beeinflusst. An enormer Popularität hat AR im vergangenen Jahr vor allem auch aufgrund von Spielen wie Pokémon Go gewonnen.
Was kann das ARKit?
Mussten bisherige AR-Anwendungen noch auf externen Bibliotheken aufbauen, so ist ARKit ab iOS 11 in das System integriert und kann dadurch auf interne Sensoren und deren Daten zugreifen, die eine Darstellungsqualität ermöglichen, die bisher nicht erreichbar war.
Die Basis für AR bildet das „World Tracking“, also das Herstellen einer Verbindung von echter und virtueller Welt. Aus dem Live-Kamerabild werden über mehrere Frames hinweg sogenannte „Merkmale“ erkannt und einander zugeordnet, sodass Flächen und Ebenen im Raum erkannt werden können. Wird eine solche Fläche erkannt, so kann sie mit Hilfe der Orientierungssensoren im Raum getrackt werden. Das bedeutet, dass es möglich ist, eine 360°-Drehung durchzuführen, während das System zu jedem Zeitpunkt die Position und Orientierung der erkannten Fläche weiß.
Auf eine solche Fläche lassen sich nun 3D- oder auch 2D-Objekte platzieren, die dadurch eine fixe Position im „echten Raum“ erhalten. Dadurch lässt sich zum Beispiel die Unterseite eines virtuellen Sessels frei betrachten, obwohl die Fläche, auf die dieser steht, nicht mehr im Kamerabild ist.
Kaum mehr von der Realität zu unterscheiden
ARKit bietet hier aber noch zwei bemerkenswerte Features, welche Apples Plattform so besonders machen. Zum einen werden Licht- und Schattenverhältnisse ermittelt, welche wiederum für die Darstellung der virtuellen Objekte verwendet werden können. Damit wirken diese nicht wie Fremdkörper, sondern fügen sich nahtlos in die Realität ein. Auf Standbildern ist auf dem erstem Blick häufig nicht erkennbar, was nun virtuell bzw. real ist.
Weiters liefert ARKit sehr genaue Größeninformationen über die erkannte Szene. Dies ermöglicht eine realistische Skalierung von Objekten, sodass ein virtuelles Sofa im Raum tatsächlich die korrekte Größe einnimmt. Die Abweichung ist hier häufig im Millimeterbereich, wie dieses Experiment eindrucksvoll demonstriert.
Intern setzt ARKit auf weitere neue iOS 11-Frameworks: Vision bzw. CoreML, Apple’s Machine Learning Platform. Anbindungen an existierende Technologien wie SceneKit und SpriteKit ermöglichen die schnelle Umsetzung von AR-Applikationen. Auch populäre 3D-Engines wie Unity und Unreal, ebenso wie Metal, werden unterstützt.
Dennoch hat das System seine Tücken
Wie bei jeder neuen Technologie gibt es aktuell bei ARKit auch noch ein paar Einschränkungen, die bei der Entwicklung zu berücksichtigen sind. Aktuell können etwa nur horizontale Ebenen erkannt werden. Während Tischflächen oder der Straßenboden kein Problem darstellen, kann eine Häuserwand oder ein Straßenschild nicht verwendet werden.
Auch Verdeckungen im Raum (ein virtuelles Objekt, welches sich hinter einem realen Objekt befindet) sind derzeit aufgrund fehlender Tiefeninformationen nicht realisierbar. Hier gibt es aber Gerüchte, dass sich dies mit dem kommenden iPhone 8 und einem neuen 3D-Lasersensor auf der Rückseite des Gerätes ändern könnte.
Obwohl ARKit mit iOS 11 ausgeliefert wird, haben nicht alle iOS 11-fähigen Geräte (iPhone 5s aufwärts) Zugriff auf die neue Technologie. Aktuell ist ein A9 oder A10 Prozessor Mindestvoraussetzung, was einem iPhone 6s bzw. iPad Pro entspricht.
Zahlreiche Anwendungsmöglichkeiten
ARKit wurde von der Entwickler-Gemeinde begeistert aufgenommen, wie Webseiten wie “Made With ARKit” demonstrieren. Auch wenn viele der ersten Umsetzungen “Spielereien” sind, lässt sich das große Potential und die zahlreichen Anwendungsmöglichkeiten bereits erkennen. Diese reichen vom virtuellen Maßband über Inneneinrichtung bis hin zu AR unterstützter Wegfindung.
