Um Stiftbewegungen zu erkennen, wird ein Deep Learning-Ansatz verfolgt. Unter Einsatz eines <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Mask-RCNN</hi>-Netzes (He et al., 2017) wird dabei ein Kamerabild segmentiert und dazu genutzt, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Convolutional Pose Machines</hi> (Wei et al., 2016) zu trainieren, welche <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Keypoints</hi> des Stifts in der Hand der Nutzer liefern. Das Ziel dieser Erkennung ist ein vektorisiertes Schriftbild mit Bewegungsinformationen, das an bestehende Systeme zur Online-Handschrifterkennung (Keysers et al., 2017) übergeben werden kann. Als Trainingsdaten für die neuronalen Netze dienen das <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Google Open Image Dataset v4</hi> (Krasin et al., 2017) sowie eigene Aufnahmen. Zudem soll die Eignung von Tiefenkameras untersucht werden, um mehr Informationen über die vorliegende Notizszene in den Machine Learning-Ansatz einfließen zu lassen. Außerdem ist eine Erweiterung des Trainingskorpus geplant, um die Genauigkeit und Robustheit der Detektion der Stiftpose zu erhöhen. Gleichzeitig wird eine Client-Server-Architektur entworfen, um die für eine Echtzeit-Erkennung notwendige Rechenleistung außerhalb des AR-Headsets zur Verfügung zu stellen.