Im Rahmen meiner Abschlussarbeit habe ich das Themengebiet Augmented Reality (AR) ins Auge gefasst. Die Zielstellung bestand bei der Durchführung der Arbeit darin, einen Vokabeltrainer in Form einer Smartphone-App mit einem vordefinierten Umfang an Grundfunktionalität zu implementieren. Es sollte auch herausgefunden werden, welche Schwierigkeiten und Hindernisse sowohl bei der Auswahl der eingesetzten Technologien, aber auch bei der Umsetzung mit AR entstehen. Auch der Gewinn neuer Erkenntnisse und praktischen Erfahrungen sollten mit diesem Entwicklungsvorgang gewonnen werden.

Die Idee resultierte aus dem aktuellen Trend und dem weiterhin anwachsenden Interesse und der Verbreitung von AR, Virtual Reality (VR) sowie Mixed-Reality Applikationen, die mittlerweile sowohl im Spiele-, im Produktwerbesektor, aber auch für Alltagsaufgaben Anwendung finden.

Bereits vor einigen Jahren wurden erste Versuche unternommen, um Augmented Reality im schulischen Umfeld bzw. im lernbezogenen Kontext zu erproben. In einigen Untersuchungen wurden in erster Linie jüngere Zielgruppen wie Schul- oder Grundschulkinder hierzu mit AR-Technologie konfrontiert. Beispielsweise sollte in einem Szenario AR dazu genutzt werden, um die Kinder über gefährdete Tierarten aufzuklären. Damit diese dargestellt werden konnten wurden verschiedene Karten mit Bildern ausgehändigt und je nach Bild ein anderes Tier virtuell dargestellt. Die Kinder sollten so den Kontext zwischen dem Wort und dem tatsächlichen Tier (virtuellen Objekt) erschließen können. In einem weiteren Beispiel wurde ein virtuelles Vokabelheft konzipiert. Hierbei konnte bei Auswahl eines bestimmten Bildes ebenfalls ein passendes virtuelles Objekt eingeblendet werden. Diese Beispiele verdeutlichen, dass bereits vor einigen Jahren die ersten Versuche unternommen wurden, AR im Lernkontext zu nutzen.

Um nun aber verstehen zu können worum es bei AR letztendlich geht, soll zunächst ein Kurzüberblick über die wichtigsten Funktionsweisen und Begrifflichkeiten von Augmented Reality gegeben werden.

Good to know! Welche grundlegenden Aspekte gibt es bei AR zu verstehen?

Für AR gibt es, wie auch bei vielen anderen Begriffen, unterschiedliche Auffassungen der Begriffsdefinition. Eine davon wurde 1997 von Ronald Azuma aufgestellt. Dieser beschreibt Augmented Reality mit Hilfe von drei charakteristischen Merkmalen:

  • Kombination von Realität und Virtualität
  • Interaktivität in Echtzeit
  • Registrierung virtueller Inhalte in 3D

Demnach findet bei Augmented Reality eine Kombination der physischen Welt mit Gegenständen und Inhalten einer virtuellen Welt statt. Vereinfacht gesagt kann man sich dies folgendermaßen vorstellen: Eine Kamera zeichnet einen Videostream auf und dieser wird dann mit virtuellen Inhalten ergänzt, sodass dann mit diesen virtuellen Objekten in Echtzeit interagiert werden kann. Die Registrierung dieser Inhalte bedeutet, dass diese virtuellen Gegenstände an einem festen Ort im realen Raum, der durch das Video aufgezeichnete wird, platziert aber auch geändert werden können.

Soweit so gut. Darüber hinaus gibt es aber auch noch ganz unterschiedliche Ansätze von AR. Ansatz bedeutet hierbei, inwiefern der Nutzer mit der Anwendung interagieren kann. Grundlegend wird dabei zwischen drei unterschiedlichen Möglichkeiten differenziert:

  • marker-based AR
  • markerless AR
  • location-based AR

Bei marker-based AR können mit Hilfe eines Fotos oder beispielsweise eines Musters (QR-Code), Informationen über ein physisches Objekt zurückgeliefert werden, um eine digitale Visualisierung eines virtuellen Objekts hervorzurufen, sprich um ein 3D-Objekt darzustellen. Im Kontrast dazu wird bei markerless AR Sensorik genutzt. Digitaler Kompass, Positions- sowie Beschleunigungssensoren tragen dazu bei, dass Informationen in Echtzeit an einen bestimmten Ort angefügt werden können. So lässt sich beispielsweise die aufgezeichnete Bildfolge an bestimmten Stellen mit den jeweiligen Gegenständen erweitern.

Der Fokus meiner Arbeit für die Entwicklung des Prototyps lag dabei auf den beiden ersten hier genannten Typen von AR. Weil location-based AR mit Hilfe von GPS arbeitet wurde dieser Typ nicht berücksichtigt.

Der Weg zum Prototyp - Die Umsetzung

Konzepterstellung – Wie sieht das Spielprinzip aus?

Der Weg bis hin zur Entstehung des Prototyps bestand unter anderem in einer ausgiebigen Recherche, der Auswahl von geeigneten Hilfsmitteln wie Software- und Werkzeugen, aber auch darin viel auszuprobieren- und zu evaluieren. Um nun ein Spiel zum Erlernen von Wörtern in einer Fremdsprache in AR umsetzen zu können, musste zunächst ein Spielprinzip gefunden bzw. ausgewählt werden, welches später den Spielablauf begleiten sollte. Daher wurde ein bekanntes Spielprinzip ausgewählt. Mit dem Pairs-Prinzip, bei uns bekannt unter dem Namen Memory, sollte der Spielablauf gestaltet werden.

Für das Spielsetup bedeutet dies Folgendes. Für die zu Beginn vorherrschende Ausgangssituation müssen mehrere Karten verdeckt ausgelegt werden. Die Karten sind dabei auf eine bestimmte Anzahl festgelegt und treten immer paarweise (Basiswort und zugehörige Übersetzung) auf. Wird nun das Spiel begonnen, so kann der Spieler Karten aufdecken und muss dabei die jeweils zusammengehörenden Wörter (Basiswort und Übersetzung) finden, um dieses Paar dann „zu lösen“ bzw. weglegen zu können (s. Darstellung unten).

Paare von zusammengehörigen Vokabeln finden
Paare von zusammengehörigen Vokabeln finden

Die Idee hinter dem Pairs-Prinzip besteht darin, Paare in verdeckt ausgelegten Karten zu finden, die dann aus dem Spielbereich bei korrekter Antwort entfernt werden. Bei falscher Antwort werden diese wieder verdeckt und der Spielfluss wird fortgesetzt.

Evaluieren & Entscheiden – Auswahl von Softwarekomponenten

Auf diesem Spielansatz wurde aufgebaut. Android wurde als Betriebssystem für die Entwicklung bestimmt und Features für den Prototypen festgelegt sowie priorisiert. Ein weiterer wichtiger und interessanter Schritt bei der Umsetzung bestand auch in der Evaluation sowie der Auswahl der AR-Komponente für die Umsetzung. Für diese Evaluation wurden sieben unterschiedliche Softwares herangezogen:

  • ARCore
  • ARKit
  • ARToolKit
  • EasyAR
  • Kudan
  • Vuforia
  • Wikitude

Schritt für Schritt wurde dann überprüft, welche dieser Auswahlmöglichkeiten in Frage kommen würde. Da die Anwendung auf Basis von Android entwickelt werden sollte, entfiel zunächst die Option ARKit, da diese ausschließlich für iOS Entwicklung zum Einsatz kommt. Auch weil mit Java als Programmiersprache entwickelt werden sollte, entfielen die Optionen Wikitude sowie Vuforia, weil hierfür keine entsprechend passende Dokumentation vorhanden war. Kudan wurde aufgrund der Struktur und des Anwendungskontext aus der Wahl entnommen. Easy-AR stellte hingegen eine kostenfreie Version zur Verfügung, die aber ein Wasserzeichen über die AR-Szene (den Kamera-Stream) legt, was für die Entwicklung unkomfortabel gewesen wäre. Zwischen den verbleibenden Optionen ARToolKit und ARCore fiel die Entscheidung dann pro ARCore aus. Aspekte wie gute Kompatibilität zu Android, gute Entwicklerdokumentation, der Open-Source Aspekt sowie die Unterstützung des SDK auf einer Vielzahl von Geräten führten zu dieser Entscheidung. Ergänzend zum ARCore wurde eine Software zur Darstellung virtueller Objekte benötigt. Hierbei wurde Sceneform SDK von Google gewählt, da auch viel Beispielcode und Dokumentation vorhanden war und darüber hinaus gut in Kombination mit ARCore gearbeitet werden konnte.

Auswahl Hardware – Smartphone fürs Testen des Prototyp

Als Endgerät zum Testen wurde ein Gerät aus der Liste der unterstützten Geräte für ARCore gewählt. Es wurde neben der Unterstützung von ARCore darauf geachtet, dass die Anschaffungskosten und das Preis-Leistungs-Verhältnis stimmt, sprich die Performance gut genug ist. Aus diesen Gründen wurde das Xiaomi Redmi Note 8 (s. Bild unten) als Versuchsgerät ausgewählt.

Mein Versuchsendgerät, das Xiaomi Redmi Note 8
Mein Versuchsendgerät, das Xiaomi Redmi Note 8

Welcher „AR-Schuh“ passt? - Geeigneten AR-Ansatz finden

Nach Evaluation der Software wurden zunächst markerbased- und im Anschluss daran markerless AR genauer betrachtet und ausprobiert. Aus dieser Herangehensweise resultierte die Schlussfolgerung, dass markerless-AR weniger Probleme aufzeigt, als es bei Versuchsdurchführungen mit marker-based AR der Fall war. Dabei ist allerdings auch zu erwähnen, dass diese Aussagen auch auf das vorhandene Setup zurückzuführen sein könnte. Schlussendlich machte jedoch der markerless-Ansatz einen allgemein stabileren Eindruck. Die virtuelle Szene inkl. Beispielgegenstände flackerte nicht so schnell und führte zu Aussetzern oder gar Verschwinden bei Positionsänderungen, wie es bei marker-based AR der Fall war. Beide Praktiken haben jedoch Probleme bei sehr hellen Lichtverhältnissen (z.B. draußen bei sonnigem Wetter). Dieser Umstand wurde jedoch als verkraftbar angesehen.

Struktur des Prototyps – Aufbau des Spiels

Nach ausgiebigem Analysieren, Testen und Erproben wurde der Spielemodus implementiert. Dieser wird im nachfolgenden Abschnitt noch einmal genauer aufgelistet. Der Prototyp selbst besteht aus mehreren Unterseiten mit verschiedenen Bereichen:

  • Game - Das eigentliche Spiel
  • Vocabulary - Wortschatzverwaltung
  • Settings - Einstellungen
  • User - Statistiken
  • Credits - Sonstiges

Interessant sind hierbei jedoch in erster Linie die ersten beiden Punkte Game und Vocabulary.

Bevor der Spielablauf implementiert wurde, entstand zunächst eine Art virtueller Karteikasten. Die folgende beiden Darstellung zeigen genauer auf, was darunter zu verstehen ist.

Vokabelschaukasten - Anzeige der Vokabeln als virtuelle Karteikarten
Vokabelschaukasten - Anzeige der Vokabeln als virtuelle Karteikarten

Innerhalb dieses Unterbereichs der App, können alle erstellten Wörter ausgewählt werden. Diese lassen sich dann als virtuelle Karteikarten anzeigen. Der Nutzer muss hierbei eine geeignete Oberfläche finden, um die Karteikarte anzeigen zu können. Wurde die Oberfläche erkannt, kann die virtuelle Szene eingeblendet werden. Über virtuelle Buttons (s. Darstellung oben) lässt sich dann die Karte ein- und wieder ausblenden oder aber neu platzieren.

Alle weiteren Punkte dienen eher als Platzhalter. Unter Game wurde der Spielemodus umgesetzt, während unter Vocabulary die einzelnen erfassten Wörter, die später im Spiel gelernt werden sollen, angelegt werden, eingesehen und verändert werden können. Die verbleibenden Punkte Settings sollten von der Überlegung her dazu dienen, Theme-Anpassungen sowie Sprachanpassungen (Internationalisierung) oder Ton-Ausgaben einstellen zu können. Unter dem Punkt User sollten Statistiken zu den Spieliterationen eines Nutzer gesammelt- und in den Credits einfach die wichtigsten Regularien inkl. Versionsinfos aufgeführt werden. Aus zeitlichen Gründen wurden diese drei Punkte jedoch nur sehr minimal ausgearbeitet, da der Fokus auf der AR-Umsetzung lag.

Wir wollen nun im Folgeabschnitt einen Blick auf das entstandene Spiel werfen.

Eine Runde Vokabeltraining - Der Spielablauf

Zunächst wird beim Betreten der Game-Unterseite eine Seite für die Spieleinstellungen geöffnet. Der Anwender erhält hierdurch die Möglichkeit, verschiedene Einstellungen für das Spiel vorzunehmen. Das bedeutet, dass er unter anderem die Sprachen, in denen er das Training starten möchte, auswählen kann. Darüber hinaus kann auch zwischen einem zeit- oder einem antwortbasiertem Spielemodus gewählt werden und die Anzahl der Karten, bzw. die Dauer einer Spielerunde, festgelegt werden. Auch hier wieder wird die Auswahl mancher Auswahlelemente eingeschränkt (z.B. Spielemodus - Game-Mode). Die Idee hierbei bestand darin, das Spiel so zu gestalten, dass später neue Spielemodi hinzugefügt werden könnten.

Spieleinstellungen
Spieleinstellungen

Nachdem die Einstellungen vorgenommen sind, startet der Nutzer das Spiel. Der Spielaufbau inklusive Inhalte wird bei Klick auf den Button Spiel starten (s. oben) nun entsprechend vorbereitet. Die Anzahl der Fragen (doppelte Anzahl an Vokabelkarten) sowie die festgelegte Spielzeit und alle anderen Informationen, werden nun entsprechend verarbeitet. Der Nutzer muss dann, wie bereits oben beim Vokabelschaukasten beschrieben, wieder eine Oberfläche finden um die einzelnen Karten platzieren zu können (s. Darstellung unten links). Visuelle Informationen auf dem Display geben dem Spieler Aufschluss darüber, wie viele Karten er noch platzieren muss um die Spielrunde starten zu können (s. Darstellung unten mitte). Sind alle Karten ausgelegt, kann das Spiel begonnen werden (s. Darstellung unten rechts). Auch hier können die Spielelemente (Karten) jederzeit neu platziert werden, solange das Spiel nicht begonnen wurde.

Eine geeignete Oberfläche wählen & Spielkarten platzieren
Eine geeignete Oberfläche wählen & Spielkarten platzieren

Nun kann das Spiel starten. Je nach Spielemodus läuft nun die Zeit herunter und der Nutzer hat solange Zeit Paare zu finden, bis die Zeit abgelaufen und damit die Runde beendet ist. Alternativ wird die Zeit mit aufgezeichnet, bis alle Paare gelöst wurden. Paare können durch Aufdecken identifiziert werden. Die folgende Darstellung soll dabei Aufschluss über diesen Ablauf geben.

Zusammengehörige Paare während des Spiels auffinden
Zusammengehörige Paare während des Spiels auffinden

Eine Karte lässt sich also durch Antippen auf dem Spielbildschirm auswählen (s. links). Um ein mögliches Paar zu identifizieren, muss dann eine weitere Karte angewählt werden. Ist nun eine zweite Karte gewählt, zeigen beide Karten den dahinter liegenden Inhalt ("werden umgedreht"), d.h. das darunterliegende Wort in einer der beiden vorausgewählten Sprachen auf, je nachdem, welche Information sich darunter verbirgt. Wurde ein falsches Paar ausgewählt, so wird dies durch eine rötliche Markierung auf Teilen der Karte und des Wortes selbst aufgezeigt (s. rechts). War die Antwort richtig, so wird dies durch eine grüne Färbung visuell verdeutlicht (s. mitte).

Bei Identifizieren eines Paares verschwindet dieses aus der Spielszene. Sind alle zusammengehörenden Karten gefunden, so ist das Spiel beendet und die Informationen der verstrichenen Runde werde noch einmal visuell dargestellt (s. Abbildung unten).

Übersicht mit Statistiken der letzten Spielrunde
Übersicht mit Statistiken der letzten Spielrunde

Der Benutzer kann so erkennen wie viele Spielzüge und gelöste Kartenpaare er in einer Runde hat. Darüber hinaus sieht er auch die dafür aufgewendete Spielzeit. Im letzten Abschnitt dieses Artikels soll nun eine Zusammenfassung gegeben werden.

Fazit - Virtuelles Vokabeltraining mit Augmented Reality

Nach Erstellung und Evaluation dieses Prototyps kann festgehalten werden, dass eine Anwendung in AR zum Vokabeltraining durchaus gut umsetzbar ist. Darüber hinaus bieten sich viele Möglichkeiten zur Erweiterung. Neue Spielkonzepte bzw. Modi, aber auch viele andere Interaktionsmöglichkeiten könnten hier noch angebracht werden, die den Anwender beim Lernprozess noch stärker unterstützen könnten.

In nachfolgenden Schritten würde es durchaus Sinn ergeben, ein bestmögliches Spiel- und Lernerlebnis für den User zu ermitteln. Mit Evaluation in den entsprechenden Anwendungsgebieten (schulisches- oder privates Umfeld), könnten gezielt eben solche Untersuchungen und Versuchsreihen stattfinden, um dann weitere Spielteile hinzuzufügen, die gezielt auf ein besseres Lernen ausgelegt sind.

Das Feld AR bietet zahlreiche Möglichkeiten diesem Anspruch nachzukommen und wird sicherlich auch noch in Zukunft einige spannende Themenbereiche im Bereich Lernen- und Bildung aufgreifen.