urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:	edition	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:1	body	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:1.1	div1	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:1.1.1	p	Die Verarbeitung, Erzeugung und Visualisierung von multimodalen Netzwerken, in denen etwa symbolische und ikonographische Inhalte miteinander vernetzt werden, um sie multimodal rezipierbar zu machen, bilden neuartige Herausforderungen für die digitalen Geisteswissenschaften, da sie weit über textbasierte Medien hinausreichen. Digitalisate von Schrifttexten, Bildern und Illustrationen können in diesem Zusammenhang als Beispiele für knotenbildende Informationsobjekte ebenso genannt werden wie dreidimensionale Objektrepräsentationen. Die Anordnung dieser Objekte zu <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">semiotischen Netzwerken</hi> hat den Zweck, deren Zusammenhangsstruktur zu visualisieren und rezipierbar zu machen. Der Begriff des Netzwerks erlaubt es dabei, Mikrostrukturen auf der Ebene von Knotenpaaren oder -triaden ebenso zu unterscheiden, wie Mesostrukturen von so genannten Netzwerkmotiven oder gar Makrostrukturen, welche die Gesamtorganisation des jeweiligen Informationsraums thematisieren (etwa im Sinne einer Zentrums-Peripherie-Struktur). Multimodale Netzwerke waren bereits Gegenstand einer Reihe von Projekten (siehe z.B. Li et al. 2007; Kane, Alavi 2008; Nasser, Gleich 2017). Allerdings befindet sich darunter kein Projekt, das eine generische Plattform zur Visualisierung und Annotation solcher Netzwerke im Rahmen virtueller Umgebungen zur Verfügung stellt. Um diese Lücke zu schließen, haben wir <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> (Spiekermann, Abrami, Mehler 2018) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> </hi>entwickelt. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> ist ein Framework zur Erstellung und Visualisierung multimodaler Netzwerke in virtuellen Umgebungen. Das System erlaubt die Bearbeitung und Visualisierung dieser Netzwerke als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">multimodale Hypertexte</hi> (Mehler et al. 2018) in der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">virtuellen Realität</hi> (VR) und der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">augmentierten Realität</hi> (AR). <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> wurde mithilfe von Unity3D<hi xmlns="http://www.tei-c.org/ns/1.0" rend="superscript">1</hi> für VR implementiert und unterstützt gängige Desktop-VR-Brillen<hi xmlns="http://www.tei-c.org/ns/1.0" rend="superscript">2</hi> (HTC Vive und Oculus Rift). Die AR-Implementierung von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> für Smartphones basiert wiederum auf AR-Core<hi xmlns="http://www.tei-c.org/ns/1.0" rend="superscript">3</hi>. Mittels <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> sind Inhalte visualisierbar, suchbar, relationierbar, attribuierbar und weit darüber hinaus annotierbar. Die derzeitige Implementierung dieses Systems erlaubt die Modellierung von Netzwerken auf der Ebene so genannter Hypergraphen (Berge 1989) und hierarchischer Graphen, in denen Knoten vollständige Graphen enthalten können. Abbildung 1 illustriert ein solches Netzwerk unter anderem durch Rekurs auf Texte, Bilder, Photographien, dreidimenionale Modelle und ein begehbares Haus. Um eine natürliche Interaktion mit den Komponenten solcher Graphen zu ermöglichen, beinhaltet <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> eine Gesten- und Bewegungssteuerung mit dazugehörigen VR-Controllern. Da klassische VR-Eingabegeräte die Gestaltungsfreiheit der Gestensteuerung limitieren, beinhaltet <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR </hi>darüber hinaus eine Gestenerkennung unter Verwendung von Leap-Motion<hi xmlns="http://www.tei-c.org/ns/1.0" rend="superscript">4</hi>. Gleichzeitig wurde eine Gestenerkennung basierend auf Datenhandschuhen<hi xmlns="http://www.tei-c.org/ns/1.0" rend="superscript">5</hi> für den <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> entwickelt (Kühn 2018). Da komplexe Annotationsprozesse i.d.R. von mehreren Annotatoren durchgeführt werden müssen, ermöglicht <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> zudem die simultane und kollaborative Bearbeitung von multimodalen Netzwerken. Die Annotationen werden in UIMA-Strukturen, unter Verwendung des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">UIMA-Database Inferface</hi> (Abrami, Mehler 2018), abgespeichert und nutzbar gemacht.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:1.1.2	p	Mit <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> ist ein Annotationswerkzeug entstanden, welches die Bearbeitung und Visualisierung komplexer Netzwerke gestengesteuert ermöglicht. Der Beitrag demonstriert dies am Beispiel einer <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Public History of the Holocaust</hi>, in welcher, basierend auf dem Konzept der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Stolperwege</hi> (Mehler et al. 2017), <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> dazu genutzt wird, dreidimensionale Modelle nicht mehr existierender bzw. unzugänglicher Gebäude begehbar zu machen und zu dokumentieren. Auf diese Weise entsteht ein begehbarer und erweiterbarer Informationsraum, der insbesondere dazu dient, historische Prozesse zu dokumentieren. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> ist daher als ein Werkzeug zu betrachten, das verschiedene geisteswissenschaftliche Disziplinen verbindet. Inwiefern <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">VAnnotatoR</hi> daher als interdisziplinäres Werkzeug der digitalen Geisteswissenschaften aufzufassen ist, soll Diskussionsgegenstand der Präsentation dieses Systems sein.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:1.1.3	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="226_final-45cbda9b8080c7c4b2f93829f5265c65.png" /> </figure>Abbildung 1: Ein Bild und ein Text wurden aus einem Browser extrahiert (linker Kubus). Beide wurden segmentiert und mit anderen Entitäten relationiert. Das Netzwerk zeigt in diesem Beispiel unter anderem Relationen zwischen einem 3D Modell eines Gebäudes (welches im extrahierten Text thematisiert wird), einer Postion (Karte), einer Videoübertragung aus der realen Welt, einer Personenrepräsentation, einem Audio-Dokument und einem Wikidata-Eintrag. Subnetzwerke können außerdem zu Knoten aggregiert werden (visualisiert als Kubus), welche untereinander wiederum relationiert werden können. Auf diese Weise entstehen virtuelle Netzwerke von annotierten Szenen oder Situationen, die von anderen Personen weiterverarbeitet oder rezipiert werden können. Die Legende zeigt die der jeweiligen Modalität zugewiesene Farbe.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2	back	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" place="foot" n="1">https://unity3d.com/de</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" place="foot" n="2">Getestet mit HTC Vive (https://www.vive.com) und Oculus Rift (https://www.oculus.com/rift)</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn3" place="foot" n="3">https://developers.google.com/ar/discover</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn4" place="foot" n="4">https://www.leapmotion.com</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn5" place="foot" n="5">Hi5 VR Glove (https://hi5vrglove.com)</note>
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2	bibliogr	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1	listBibl	
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Abrami, Giuseppe / Mehler, Alexander (2018): </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">A UIMA Database Interface for Managing NLP-related Text Annotations</hi>, in: Proceedings of the 11th edition of the Language Resources and Evaluation Conference. Miyazaki / Japan
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Berge, Claus (1989):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Hypergraphs: Combinatorics of Finite Sets</hi>. North Holland, Amsterdam.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Kane, Gerald C. / Alavi, Maryam (2008):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Casting the net: A multimodal network perspective on user-system interactions</hi>, in: Information Systems Research, 19(3), pages 253–272.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Kühn, Vincent Roy (2018)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">A gesture-based interface to VR</hi>. Bachelor’s thesis, Goethe-Universität Frankfurt.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Li, Zhi-Chun / Huang, Hai-Jun / Lam, William HK. / Wong, Sze Chun (2007):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">A model for evaluation of transport policies in multimodal networks with road and parking capacity constraints</hi> in: Journal of Mathematical Modelling and Algorithms 6(2), pages: 239–257.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Mehler, Alexander / Abrami, Giuseppe / Bruendel, Steffen / Felder, Lisa / Ostertag, Thomas / Spiekermann, Christian (2017):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Stolperwege: An App for a digital public history of the holocaust</hi> in: Proceedings of the 28th ACM Conference on Hypertext and Social Media. Pages 319–320. New York, NY, USA. ACM.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Mehler, Alexander / Abrami, Giuseppe / Spiekermann, Christian / Jostock, Matthias (2018):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">VAnnotatoR: A framework for generating multimodal hypertexts</hi>, in: Proceedings of the 29th ACM Conference on Hypertext and Social Media. New York, NY, USA. ACM.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Nassar, Huda / Gleich, David F. (2017):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Multimodal network alignment</hi> in: CoRR, abs/1703.10511.
urn:cts:dhd:2019.abrami_giuseppe_vannotator_ein_werkzeug_zur_annotation_mult:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Spiekermann, Christian / Abrami, Giuseppe / Mehler, Alexander (2018):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">VAnnotatoR: a gesture-driven annotation framework for linguistic and multimodal annotation</hi>, in: Proceedings of the Annotation, Recognition and Evaluation of Actions (AREA) Workshop. Japan.