urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:	edition	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1	body	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.1	p	Die Medienspezifik zeitbasierter performativer Künste, wie Musik, Theater, Tanz und auch Film, stellt Analyseansätze, die nach der ästhetischen Erfahrung fragen, vor zahlreiche Herausforderungen: Es geht in diesen Ansätzen nicht um die ‘objektiv-messbaren’ Eigenschaften der Artefakte und Aufführungen, sondern darum, die intersubjektive Erfahrungsdimension in den Blick zu nehmen – sie zielen auf das Denken und Fühlen, das im Filme-Sehen (Kappelhoff 2018) oder Musik-Hören entsteht. Ein tradiertes analytisches Vorgehen besteht in der Dekonstruktion solcher Erfahrungsprozesse in detaillierte Beschreibungen zeitlicher Prozesse – von Partituren über Tanznotationen bis hin zu mehrdimensionalen Einstellungsprotokollen. Solche Instrumente und Techniken rücken vermehrt in den Fokus der Digital-Humanities-Forschung, wobei die Verbindung ästhetischer Theorien und Techniken der Datengewinnung, -haltung, -verarbeitung und -aufbereitung eine der zentralen Herausforderungen des Feldes markiert (Arnold et al. 2019, Flückiger/Halter 2020, Freedman et al. 2019). Drei Schlüsselaspekte eines solchen Methodendesigns werden im Folgenden anhand der Begriffe der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Synchronizität</hi>, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Prozessualität</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Komparabilität</hi> beleuchtet. Audiovisuelle Bilder werden erst dann analytisch handhabbar, wenn sie auf unterschiedlichen Beschreibungsebenen gleichzeitig erfasst werden, um dann deren Zusammenspiel in den Blick zu nehmen (<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Synchronizität</hi>). Dabei sind einzelne Beschreibungen immer kontextabhängig und nicht objektorientiert, sondern auf die zeitliche Entfaltung eines Ganzen bezogen (<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Prozessualität</hi>). Das Forschungsinteresse ist dabei selten auf ein einzelnes Werk begrenzt, sondern richtet sich an ein Genre, einen Themenkomplex oder einen audiovisuellen Diskurs (<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Komparabilität</hi>). Es besteht so die Anforderung nach komplexen, vielschichtigen Beschreibungen, die gleichzeitig jedoch auf einen größeren Korpus bezogen werden können. Dies übersteigt häufig die Kapazitäten einzelner Forscher*innen, jedoch ermöglichen systematisierte filmanalytische Annotationen gleichermaßen die Vergleichbarkeit der analytischen Beobachtungen mehrerer Annotator*innen, als auch die Integration (semi-)automatisch erzeugter Annotationen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.2	p	Einer solchen Korpusstudie widmete sich die Nachwuchsgruppe “Affektrhetoriken des Audiovisuellen” (2016–2021, Freie Universität Berlin/ Hasso-Plattner-Institut, kurz: “AdA”), die den audiovisuellen Diskurs zur globalen Finanzkrise (nach 2007) hinsichtlich wiederkehrender affektrhetorischer Muster untersuchte. Das Projekt gründete auf theoretischen Annahmen zum Filme-Sehen, dem Verhältnis der Wahrnehmung von Zuschauenden und sich zeitlich entfaltenden audiovisuellen Bilder und knüpfte an die eMAEX-Methode an (Kappelhoff et al. 2011-2016), die auf die analytischen Grundprinzipien von Segmentierung und Qualifizierung zurückgreift, um Erfahrungsfigurationen zu rekonstruieren (Bakels et al. 2020a, 2020b).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.3	p	Um eine feingliedrige und multidimensionale Beschreibung mit interpersoneller Annotation für einen größeren Korpus leisten zu können, galt es das filmanalytische Beschreibungsvokabular in der AdA-Filmontologie maschinenlesbar zu systematisieren (für eine ausführlichere Darstellung siehe Bakels et al. 2020c). Das resultierende systematische Vokabular <hi xmlns="http://www.tei-c.org/ns/1.0" rend="background(white)">orientiert sich ebenso an methodischen Standardbegriffen der Filmwissenschaft (z.B. Einstellungsgrößen oder Montagefiguren), wie an ansatzspezifischen Fachbegriffen der eMAEX-Analyse (z.B. ‘Ausdrucksbewegung’ oder ‘Dynamiken des Bildraums’). Die AdA-Filmontologie</hi> umfasst 502 einzelne Annotationswerte, die 78 Annotationstypen zugeordnet sind, die wiederum auf 8 Beschreibungsebenen wie Akustik, Montage, Bildkomposition oder Kamera organisiert sind (siehe Abb. 2).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.4	p	Mit einem auf Basis der AdA-Filmontologie generierten Template konnten in der Annotationssoftware <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Advene</hi> (Aubert/Prié 2005) semantisch strukturierte Linked Open Data-Annotationen erstellt werden. Insgesamt wurden mehr als 125.000 Annotationen manuell erstellt für 4 komplette Filme, 2 Webvideos, Beiträge aus 35 Nachrichtensendungen sowie einzelne Szenen aus 10 weiteren Filmen. Darüber hinaus wurden über 440.000 Annotationen für 76 Filme sowie 315 Nachrichtensendungen automatisch generiert. Um die affektrhetorischen Muster auf Grundlage dieser manuellen und automatischen Annotationen allerdings korpusübergreifend analysieren zu können, insbesondere hinsichlich ihrem inhärenten multidimensionalen Zusammenspiel, d.h. auf unterschiedlichen Beschreibungsebenen, und kontextabhängig im zeitlichen Verlauf, war ein Framework zur Exploration des umfassenden Annotationsdatensatzes notwendig, für das verfügbare Annotations- und Visualisierungssoftware (wie Advene, ELAN, Dive+ der Clariah Media Suite) nicht ausgelegt war. Die zeitgleich entwickelte VIAN WebApp (<ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.vian.app/">https://www.vian.app/</ref>) legt im Zusammenspiel mit der VIAN-Annotationssoftware wiederum den zentralen Untersuchungsfokus auf die Farbanalyse.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5	div1	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.1	p	Der AdA Annotation Explorer<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn1" n="1" /> wurde entwickelt, um sämtliche im AdA-Projekt erstellten zeitbasierten Videoannotationen zu verwalten und über eine webbasierte Oberfläche für die Exploration und Analyse zugänglich zu machen. Hierbei stand einerseits im Fokus, alle im Projekt entstehenden Daten zur freien Nutzung und Weiterverwendung zu veröffentlichen und andererseits die Anforderungen aus der korpusübergreifenden Filmanalyse umzusetzen, um Annotationsdaten gezielt nach bestimmten Kriterien abzufragen, zu filtern und die Ergebnisse kontextabhängig (d.h. in ihrer Einbettung in szenische Kompositionen) zu visualisieren.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.2	p	Der Annotation Explorer wurde über eine entkoppelte Client-Server-Architektur mit RESTful API (Masse 2011) realisiert (siehe Abb. 1), die auf offene Standards für den Datenaustausch und auf Verwendung von Open-Source-Komponenten setzt.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.3	p	Die Serverkomponenten im Backend sind für die Speicherung der Daten in einer Graphdatenbank (Triplestore) und für die Bereitstellung von Funktionen zum Datenabruf (REST-API) zuständig. Die Clientkomponenten des Frontends laufen ausschließlich im Browser und bilden die Benutzerschnittstelle, die eine Zusammenstellung von Annotationen mittels Eingabe von Auswahlkriterien (Filme, Szenen, Annotationswerte, etc.) ermöglicht und die Filterung und Weiterverarbeitung der Ergebnisse der REST-API übernimmt. Die aufbereiteten Daten werden mit der Open-Source-Software FrameTrail<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn2" n="2" /> visualisiert, die es erlaubt, interaktive Videos und damit verlinkte Inhalte direkt im Browser anzusehen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.4	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.4.1	p	Das Datenmanagement des Annotation Explorers folgt den Linked Open Data-Prinzipien<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn3" n="3" />, um die in aufwändiger Arbeit erstellten Annotationen und Metadaten als maschinenlesbare, offene Daten für die Nachnutzung zu veröffentlichen. Sie werden mithilfe von Openlink Virtuoso<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn4" n="4" /> gespeichert und mit LodView<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn5" n="5" /> angezeigt. Der öffentliche SPARQL-Endpunkt<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn6" n="6" /> erlaubt auch das Abfragen und Nutzen der Daten mit selbst entwickelten Queries. Die Nutzung von W3C Standards, die Bereitstellung von öffentlichen URIs für Annotationsdaten, Metadaten und Vokabular, sowie die dokumentierte Ontologie, ermöglichen die Nutzung der Projektergebnisse im Sinne der FAIR Data Prinzipien.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.4.2	p	Zu den Daten des Projekts gehört die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">AdA-Filmontologie</hi><ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn7" n="7" />, ein systematisches Vokabular auf Basis von OWL und RDF, welches filmanalytische Begriffe – geordnet nach Annotationsebenen, Annotationstypen und Annotationswerten (siehe Abb. 2) – für feingranulare semantische Videoannotationen definiert und per URIs erreichbar macht<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn8" n="8" />.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.4.3	p	Die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Korpus-Metadaten</hi> umfassen beschreibende Information (wie z.B. Titel, Laufzeit, Veröffentlichungsjahr, Regisseur) zu allen Filmen im Videokorpus zur globalen Finanzkrise. Die Metadatenfelder werden mit bestehenden Vokabular-Properties aus DBpedia, schema.org und Dublin Core kodiert und sind ebenfalls per URI abrufbar<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn9" n="9" />. Der Korpus umfasst 391 Filme in den Kategorien Spielfilme, Dokumentarfilme und Nachrichten<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn10" n="10" />.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.4.4	p	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Semantische Videoannotationen</hi> sind der Hauptteil der Daten, die im Triplestore gespeichert werden. Sie erfassen die zeitbezogenen Anmerkungen zu den Filmen auf den unterschiedlichen Beschreibungsebenen unter Verwendung des systematischen Vokabulars. Das Annotationsmodell basiert auf dem W3C Web Annotation Data Model<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn11" n="11" /> und der Media Fragments URI Spezifikation<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn12" n="12" /> (siehe Abb. 3).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.5	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.5.1	p	Die im Projekt entwickelte REST-API bildet die Schnittstelle zwischen dem User Interface und den im Triplestore gespeicherten Videoannotationen, Metadaten und Ontologiedaten. Sie bietet über einen Web-Dienst per HTTP eine Reihe von Funktionen an, die entsprechend der Anfrageparameter SPARQL-Datenbankabfragen generieren, ausführen und direkt im Browser weiterverarbeitbare JSON bzw. JSON-LD Formate zurückliefern. Sie ist in Java implementiert und verwendet die Frameworks Apache Jena<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn14" n="14" />, Javalin<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn15" n="15" /> und JSONLD-JAVA<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn16" n="16" />. Neben der Bereitstellung der Ontologiedaten und der Verwaltung der Metadaten, ist die Hauptaufgabe der REST-API, die feingliedrige und multidimensionale Beschreibung der Filme korpusübergreifend anhand bestimmter Kriterien abrufbar und durchsuchbar zu machen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.5.2	p	Videoannotationen können pro Film, pro Szene und pro Annotationstyp abgerufen werden (siehe Abb. 4). Die REST-API ermöglicht außerdem eine Volltextsuche nach einem oder mehreren Schlüsselwörtern und liefert alle Trefferannotationen korpusübergreifend zurück (Beispiel: “crisis”, nur ganze Worte, nur im Annotationstyp ‘Dialogtext’)<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn17" n="17" />. Um Muster im Korpus zu finden, ist eine Value Search nach ein oder mehreren Annotationswerten möglich. Dabei werden die Stellen zurückgeliefert, bei denen Werte <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">zeitgleich</hi> (auch teilweise überlappend) auftreten (z.B. Musikstimmung “traurig” zusammen mit nahen Einstellungsgrößen).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.6	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.6.1	p	Die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Zusammenstellungskomponente</hi> im Annotation Explorer Web-Frontend erlaubt der Benutzer*in Anfragen an die Datenbasis zu stellen. Dafür werden Formularfelder zur Film-, Text-, Bilder- und Wertesuche (siehe Abb. 5) mit nutzerfreundlicher Autocomplete-Funktion angeboten, um ein schnelles Auswählen aus der großen Menge von Metadaten zu ermöglichen. Entsprechend der Nutzereingaben werden REST-API Aufrufe erzeugt, Annotationen geladen und für den Arbeitsbereich zusammengestellt.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.6.2	p	Filmmetadaten und Ontologiedaten werden im Filterbereich in zwei Baumansichten (Facettensuche) dargestellt, geben Aufschluss darüber, wie viele Annotationen in den jeweiligen Kategorien gefunden wurden, und ermöglichen das weitere Einschränken des Suchergebnisses.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.5.6.3	p	Die kontextabhängige <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" xml:space="preserve">Visualisierung </hi>der Annotationen erfolgt in einer Timeline-Darstellung zusammen mit einem Videoplayer, bei der angefragte Annotationstypen als Spuren dargestellt werden (siehe Abb. 6). Für diesen Zweck wird FrameTrail eingesetzt, das im Rahmen des Projekts durch den Autor Joscha Jäger hinsichtlich der Darstellung spezieller Annotationstypen, Sortiermöglichkeiten, Szenen- bzw. Filmvergleich und Exportmöglichkeiten erweitert wurde.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6	div1	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.1	p	Das graphische User-Interface des Annotation Explorers – der sogenannte Workspace – ist zentral für die Nutzer*inneninteraktion, das meint in erster Linie Film- und Medienwissenschaftler*innen ohne Programmierkenntnisse (siehe Abb. 6). Dabei kommen die drei zu Beginn genannten Schlüsselaspekte des Methodendesigns in der konkreten Nutzung des Annotation Explorers zum Tragen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.2	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.2.1	p	Gegenstand der eMAEX-basierten Filmanalyse ist eine sich in der Wahrnehmung entfaltende Bewegung. In diesem Kontext ist nicht nur die enge Verknüpfung der Annotationen mit dem interaktiven Videoplayer herauszustellen, der die direkte Rückbindung der Analysebeobachtungen an das Bewegtbild ermöglicht und dabei deren Einbettung erlebbar macht, vielmehr sind die Einzelannotationen nicht als statische Eigenschaften oder isolierte Zeitpunkte von Interesse, sondern stets in der zeitlichen Entfaltung und in Bezug auf größere Zeitsegmente (etwa szenische Kompositionen).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.2.2	p	Entscheidend ist dabei auch die Skalierbarkeit der Ansicht: so lassen sich sowohl einzelne Szenen als auch ganze Filme durch eine Szenenauswahlleiste oder freies Zoomen in den Blick nehmen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.2.3	p	Mit dem Wechsel zwischen Makro und Mikro in der Ansicht ganzer Filme können Schlüsselsequenzen (z.B. dramaturgische Umschlagpunkte) anhand Extrema einzelner Analysedimensionen (etwa extreme Nahaufnahmen, besonders (un-)bewegte Abschnitte, sehr leise Passagen oder schnelle Wortwechsel auf Ebene des Dialogs) identifiziert werden.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.2.4	p	Der Annotation Explorer ist so gestaltet, dass nicht der einzelne analytische Befund in Annotationsform grafisch isoliert dargestellt wird, sondern stets als Teil eines komplexen Gefüges. So lassen sich durch unterschiedliche Darstellungsoptionen beispielsweise Einstellungsgrößen als farbiges Balkendiagramm anzeigen, bei der die Höhe des Balkens Auskunft über die Nähe der Kamera zum Referenzobjekt und die Breite Auskunft über die Dauer der einzelnen Einstellungen gibt (siehe Abb. 8). Auf diese Weise wird der Blick der Analysierenden auf den Prozess der Entfaltung im Hinblick auf spezifische Gestaltungsdimensionen gelenkt: Im Fall von Einstellungsgrößen die Modulation von Nähe-Distanz-Verhältnissen.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.3	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.3.1	p	Die Expressivität audiovisueller Bilder ist nicht auf eine Gestaltungsdimension zu reduzieren, sondern erst der Blick auf das Zusammenspiel unterschiedlicher Dimensionen gibt Aufschluss über die Affektdramaturgie einer Sequenz. So lassen sich im Annotation Explorer unterschiedliche Kombinationen von Annotationstypen zusammenstellen und über die Baumansichten (Facettensuchen) detailliert anpassen (siehe Abb. 9).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.3.2	p	Es lässt sich beispielsweise untersuchen wie ein akustisches Phänomen (z.B. Einsatz und Taktung von Musik) mit einem optischen Phänomen (z.B. Schnittrhythmus) interagiert, dieses aufgreift, verstärkt oder konterkariert. Die FrameTrail-Implementation im Workspace bietet die Möglichkeit unterschiedliche Visualisierungsformen auf den so abgerufenen Annotationsdatensatz anzuwenden und mit wenigen Klicks unterschiedliche Annotations-”Partituren” zu erstellen. Diese können entweder über die URL geteilt und gespeichert, oder als offline verfügbare HTML-Pakete heruntergeladen werden.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4	div2	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.1	p	Die Untersuchungsperspektive des AdA-Projekts und die Frage nach affektrhetorischen Mustern zielte aber nicht nur auf einzelne Filme und Sequenzen, sondern korpusübergreifende vergleichende Analysen. Dazu galt es die Möglichkeit bereitzustellen, Analyseabfragen verschiedener Filme direkt nebeneinander zu legen ohne an Funktionalität (interaktiver Videoplayer, Filter- und Suchoptionen, Darstellungsoptionen) einzubüßen. So lassen sich in der Playeransicht zwei Filme bzw. Szenen nebeneinander anzeigen, während weitere Vergleichsfilme/-szenen durch seitliches Scrollen ins Bild gebracht werden können (siehe Abb. 10).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.2	p	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.3	p	In einer Listenansicht können wiederum mehrere Filme und Szenen untereinander angezeigt werden (siehe Abb. 11).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.4	p	Zur Entwicklung und Überprüfung von Analysehypothesen gibt es unterschiedliche Suchfunktionen: etwa die Value Search oder die Volltextsuche, die für die Suche nach Schlagworten oder erwähnten Personen im Dialog (sei es auf Basis manueller Transkripte, redigierter Untertitel oder automatischer Spracherkennungsalgorithmen) genutzt werden kann oder auch für die Ergebnisse von automatischen Image Captioning-Extraktoren, das Aufspüren wiederkehrender oder ungewöhnlicher Bildelemente.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.5	p	Eine weitere Möglichkeit ist die Reverse Image Search, bei der eine Bilddatei als Suchanfrage hochgeladen werden kann. Diese wird dann mit Keyframes jeder Einstellung des gesamten Korpus abgeglichen und die ähnlichsten Bilder werden mit Metadaten versehen ausgegeben (siehe Abb. 12).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.6.4.6	p	Die jeweiligen Anfrageergebnisse lassen sich wiederum im Framework des Annotation Explorers mit weiteren Annotationen kombinieren und können somit innerhalb sich zeitlich entfaltender Dynamiken, die auf dem Zusammenspiel unterschiedlicher Dimensionen beruhen, analysiert werden.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn18" n="18" />
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.7	div1	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.7.1	p	In den Pilotstudien zum audiovisuellen Diskurs zur globalen Finanzkrise (2007–) erwies sich der Annotation Explorer insbesondere im Hinblick auf die Korpusexploration und die Überprüfung von filmübergreifenden Forschungshypothesen als nützliches Werkzeug der Mustererkennung (im Sinne von Bakels et al 2020a, 115f).<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn19" n="19" /> Im Kontext der Frage nach der audiovisuellen Gestaltung und Motivik gesellschaftlicher Krisenkommunikation in Nachrichten, Spiel- und Dokumentarfilmen bot das Framework neue Möglichkeiten der Exploration in unterschiedlichen Zusammenhängen. Werden einzelne Aspekte eines audiovisuellen Motivs durch die bereits implementierten (semi-)automatischen Erkenner erfasst, so ermöglichen diese das schnelle Auffinden weiterer Vorkommnisse. So zeigte eine Studie zum Stilmittel des “Brokerface”, dass Bildkompositionen von angespannten Gesichter von Aktienhändlern im Zusammenspiel mit Monitoren einen wiederkehrendes Topos in der Verhandlung der Frage nach den realen Auswirkungen virtueller Marktentwicklungen spielt (vgl. Scherer & Stratil (in Ersch.)). Eine weitere Studie zum Motiv der plötzlich hereinbrechenden BREAKING NEWS als Kipp- und Höhepunkt von Krisendramaturgien veranschaulicht hingegen wie das Zusammenspiel von automatischer Schnitt-, Bildbewegungs- und Lautstärkeerkennung Rhythmusprofile hervorbringt, die Aufschluss über deren affektive Dimension geben (Stratil, in Ersch.). Ein solcher dynamischer ‘Fingerabdruck’ einer Szene, der sich durch die (Darstellungs-)Prinzipien der Prozessualität, Synchronizität und Komparabilität in den Annotationsdaten als Muster zu erkennen gibt, ermöglicht es Aussagen zur Affektorientierung audiovisueller Sequenzen direkt am Material zu plausibilisieren und Charakteristika und Vergleichspunkte herauszuarbeiten. <hi xmlns="http://www.tei-c.org/ns/1.0" rend=" background(white)" xml:space="preserve">Die grundlegende Architektur des Annotation Explorers ermöglicht die flexible Kombination von (semi-)automatischen und manuellen Annotationen. </hi>Werden Kernkompositionsprinzipien allerdings nicht durch (semi-)automatische Erkenner tangiert, ist die Analyse auf die zeitaufwändigeren manuellen Annotationen angewiesen. Der Nutzen des Frameworks im Bereich der Korpus-Exploration verschiebt sich dann hin zu mikroanalytischen Detail- und Vergleichsstudien, anhand derer nachvollzogen werden kann, wie kompositorische Prinzipien quer zu einzelnen Gestaltungsebenen als übergreifendes dynamisches Muster in Erscheinung treten. Es konnte so beispielsweise gezeigt werden, wie das Gefühl der Enttäuschung in einem Finanzkrisenfilm nicht als narrative Information zum Ausdruck kommt, sondern als filmische Ausdrucksbewegung (Bakels et al. 2020b).
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:1.7.2	p	Die Architektur des Annotation Explorers ermöglicht die Verknüpfung semantischer Daten mit einer geisteswissenschaftlichen Perspektive auf die Expressivität audiovisueller Medien und stellt so Fragen nach der Anwendbarkeit solcher Technologien in qualitativen Ansätzen – nicht als Alternative, sondern als ergänzendes Instrument zur Weitung und Systematisierung des analytischen Blicks.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2	back	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn1" n="1"><ref target="http://ada.cinepoetics.org/explorer/">http://ada.cinepoetics.org/explorer/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn2" n="2"><ref target="https://frametrail.org/"> https://frametrail.org/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn3" n="3"><ref target="https://www.w3.org/DesignIssues/LinkedData.html"> https://www.w3.org/DesignIssues/LinkedData.html </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn4" n="4"><ref target="https://github.com/openlink/virtuoso-opensource/"> https://github.com/openlink/virtuoso-opensource/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn5" n="5"><ref target="https://github.com/LodLive/LodView"> https://github.com/LodLive/LodView </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn6" n="6"><ref target="https://ada.cinepoetics.org/sparql/"> https://ada.cinepoetics.org/sparql/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn7" n="7"> <hi style="font-size:10pt" xml:space="preserve"> Download der Ontologie unter </hi><ref target="https://github.com/ProjectAdA/ada-ae/tree/main/filmontology"> https://github.com/ProjectAdA/ada-ae/tree/main/filmontology </ref> <hi style="font-size:10pt" xml:space="preserve">, Visualisierung unter </hi><ref target="https://ada.cinepoetics.org/ontoviz/"> https://ada.cinepoetics.org/ontoviz/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn8" n="8"> <hi style="font-size:10pt" xml:space="preserve"> Beispiel einer Ontologie URI: Typ der Kamerabewegung </hi><ref target="http://ada.cinepoetics.org/resource/2021/05/19/AnnotationType/CameraMovementType"> http://ada.cinepoetics.org/resource/2021/05/19/AnnotationType/CameraMovementType </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn9" n="9"> <hi style="font-size:10pt" xml:space="preserve"> Beispiel einer Metadaten URI: Occupy Wall Street: </hi><ref target="https://ada.cinepoetics.org/resource/media/39953b6ccea8c49b0a119f1715aab20818e4564cc4b2c2e8567722c9f418f1b9"> https://ada.cinepoetics.org/resource/media/39953b6ccea8c49b0a119f1715aab20818e4564cc4b2c2e8567722c9f418f1b9 </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn10" n="10"> <hi style="font-size:10pt" xml:space="preserve"> Download der Metadaten unter </hi><ref target="https://github.com/ProjectAdA/ada-ae/tree/main/corpus_metadata"> https://github.com/ProjectAdA/ada-ae/tree/main/corpus_metadata </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn11" n="11"><ref target="https://www.w3.org/TR/annotation-model/"> https://www.w3.org/TR/annotation-model/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn12" n="12"><ref target="https://www.w3.org/TR/media-frags/"> https://www.w3.org/TR/media-frags/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn13" n="13"> <hi style="font-size:10pt" xml:space="preserve"> Die Annotation ist auch per URI abrufbar:</hi> <ref target="http://ada.cinepoetics.org/resource/media/294704ee3bd55a6888235ae7721120c29522eddd3cc273cc8365fa0eef2ac56d/ed63d084-717f-11e9-99b8-0242ac130003"> <hi style="font-size:10pt">http://ada.cinepoetics.org/resource/media/294704ee3bd55a6888235ae7721120c29522eddd3cc273cc8365fa0eef2ac56d/ed63d084-717f-11e9-99b8-0242ac130003</hi> </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn14" n="14"><ref target="https://jena.apache.org/"> https://jena.apache.org/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn15" n="15"><ref target="https://javalin.io/"> https://javalin.io/ </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn16" n="16"><ref target="https://github.com/jsonld-java/jsonld-java"> https://github.com/jsonld-java/jsonld-java </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn17" n="17"><ref target="https://project1.ada.cinepoetics.org/explorer/?r%5B%5D=t_n_crisis_w_48&ui=kfc&unit=movie&view=movie"> https://project1.ada.cinepoetics.org/explorer/?r[]=t_n_crisis_w_48&ui=kfc&unit=movie&view=movie </ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn18" n="18"> <hi style="font-size:10pt" xml:space="preserve"> Detaillierte Anleitung zur Benutzung des Annotation Explorer findet sich in </hi><ref target="https://www.ada.cinepoetics.fu-berlin.de/en/ada-toolkit/index.html"> Pfeilschifter et al. 2021 </ref> <hi style="font-size:10pt">, S. 151ff.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn19" n="19"> <hi style="font-size:10pt" xml:space="preserve"> Vgl. dazu den Themenschwerpunkt der </hi> <hi rend="italic" style="font-size:10pt">mediaesthetics</hi> <hi style="font-size:10pt" xml:space="preserve">-Ausgabe </hi><ref target="https://www.mediaesthetics.org/index.php/mae/issue/view/12/showToc"> <hi rend="underline" style="font-size:10pt">“Digitale Filmanalyse und Bilder der Krise”</hi> </ref>. </note>
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2	bibliogr	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1	listBibl	
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold" xml:space="preserve">Arnold, Taylor / Tilton, Lauren / Berke, Annie </hi>(2019): “Visual Style in Two Network Era Sitcoms”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Journal of Cultural Analytics</hi> 1(2) 10.22148/16.043.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Aubert, Olivier / Prié, Yannick</hi> (2005): “Advene: active reading through hypervideo”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the sixteenth ACM conference on Hypertext and hypermedia</hi> 235-244.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Bakels, Jan-Hendrik / Grotkopp, Matthias / Scherer, Thomas / Stratil, Jasper</hi> (2020a): “Digitale Empirie? Computergestützte Filmanalyse im Spannungsfeld von Datenmodellen und Gestalttheorie”. In: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">montage/AV</hi> 29(1) 99-118.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Bakels, Jan-Hendrik / Grotkopp, Matthias / Scherer, Thomas / Stratil, Jasper</hi> (2020b): “Matching Computational Analysis and Human Experience. Performative Arts and the Digital Humanities”. In: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Digital Humanities Quarterly</hi> 14(4) <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://www.digitalhumanities.org/dhq/vol/14/4/000496/000496.html">http://www.digitalhumanities.org/dhq/vol/14/4/000496/000496.html</ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold" xml:space="preserve">Bakels, Jan-Hendrik / Scherer, Thomas / Stratil, Jasper / Agt-Rickauer, Henning </hi>(2020): “AdA Filmontology – a machine-readable Film Analysis Vocabulary for Video Annotation”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Book of Abstracts: DH2020 – carrefours/intersections</hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://dh2020.adho.org/wp-content/uploads/2020/07/488_AdAFilmontologyamachinereadableFilmAnalysisVocabularyforVideoAnnotation.html">https://dh2020.adho.org/wp-content/uploads/2020/07/488_AdAFilmontologyamachinereadableFilmAnalysisVocabularyforVideoAnnotation.html</ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Flückiger, Barbara / Halter Gaudenz</hi> (2020): “Methods and Advanced Tools for the Analysis of Film Colors in Digital Humanities”. In: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Digital Humanities Quarterly</hi> 14(4) <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://www.digitalhumanities.org/dhq/vol/14/4/000500/000500.html">http://www.digitalhumanities.org/dhq/vol/14/4/000500/000500.html</ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Freedman, Richard / Fiala, David / Micah, Walter</hi> (2019): “The Quotable Musical Text in a Digital Age: Modeling Complexity in the Renaissance and Today”. In: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Book of Abstracts DH2019</hi>, <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://dev.clariah.nl/files/dh2019/boa/0402.html">https://dev.clariah.nl/files/dh2019/boa/0402.html</ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Kappelhoff, Hermann</hi> (2018): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kognition und Reflexion: Zur Theorie filmischen Denkens</hi>. Berlin/Boston, MA: De Gruyter.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Kappelhoff, Hermann / Bakels, Jan-Hendrik / Berger, Hanno / Brückner, Regina / Böhme, Dorothea / Chung, Hye-Jeung / Dang, Sarah-Mai / Gaertner, David / Greifenstein, Sarah / Gronmaier, Danny / Grotkopp, Matthias / Haupts, Tobias / Illger, Daniel / Lehmann, Hauke / Lück, Michael / Pogodda, Cilli / Roleff, Naomi / Rook, Stefan / Rositzka, Eileen / Scherer, Thomas / Schlochtermeier, Lorna / Schmitt, Christina / Steininger, Anna / Tag, Susanne</hi> (2011-2016): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Empirische Medienästhetik. Datenmatrix Kriegsfilm – eMAEX</hi>. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.empirische-medienaesthetik.fu-berlin.de/emaex-system/index.html">https://www.empirische-medienaesthetik.fu-berlin.de/emaex-system/index.html</ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Masse, Mark</hi> (2011): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">REST API Design Rulebook: Designing Consistent RESTful Web Service Interfaces</hi>. Sebastopol, CA: O'Reilly Media.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Pfeilschifter, Yvonne / Prado, João / Zorko, Rebecca / Buzal, Anton / Scherer, Thomas / Stratil, Jasper / Bakels, Jan-Hendrik</hi> (2021) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Manual: Annotieren mit Advene und der AdA-Filmontologie</hi>. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.ada.cinepoetics.fu-berlin.de/ada-toolkit">https://www.ada.cinepoetics.fu-berlin.de/ada-toolkit </ref> [letzter Zugriff: 26.11.2021].
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Scherer, Thomas / Stratil, Jasper</hi> (in Ersch.): “Can’t Read my Broker Face? – Tracing a Motif and Metaphor of Expert Knowledge Through Audiovisual Images of the Financial Crisis”. In <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Literature Compass</hi>.
urn:cts:dhd:2022.scherer_thomas_ada_annotation_explorer_ein_framework_fuer_ze:2.2.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Stratil, Jasper</hi> (in Ersch.): “Geteilte (Medien-)Erinnerung und die Zeiten der Krise. Zum Diskurs audiovisueller Finanzkrisendarstellungen anhand von ‘Breaking News’”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">mediaesthetics</hi> (4). <anchor xmlns="http://www.tei-c.org/ns/1.0" xml:id="jkpqn3862o3o" />