Dieser Vortrag zeigt, wie mit Hilfe des Distributed Little Red Hen Lab eine umfassende Datenbank und Forschungsinfrastruktur geschaffen wurde (und immer noch wird), mit der sich viele Aspekte multimodaler Kommunikation auf Basis der Fernsehaufnahmen des NewsScape-Projekts untersuchen lassen (Steen/Turner 2013). Mit dem UCLA Library Broadcast NewsScape steht Forschern mittlerweile eine Datensammlung von über 400.000 Stunden digitaler Fernsehaufnahmen aus über 10 Jahren zur Verfügung, nicht nur vom US-amerikanischen Fernsehmarkt, aber mit einem starken Fokus auf demselben (vgl. Tabellen 1 und 2). Aufgrund besonderer Einschränkungen des Urheberrechts in den USA darf ein Archiv oder eine Bibliothek „News“ aufnehmen und Forschern zur Verfügung stellen. Bei NewsScape wird der Begriff <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">News</hi> relativ weit ausgelegt, so dass sich auch politische Comedy oder verschiedenste Talkshows in den Aufnahmen finden. Aufgrund gesetzlicher Vorgaben müssen in den USA alle Sendungen mit Untertiteln ausgestrahlt werden, die NewsScape ebenfalls mit aufnimmt, so dass sofort eine relativ brauchbare Verschriftlichung vorliegt, wodurch die Aufnahmen durchsuchbar werden. Dies betrifft auch in den USA ausgestrahlte spanischsprachige Sendungen. Insgesamt nimmt Red Hen Sendungen in mehr als 15 Sprachen auf, unter anderem inzwischen auch in China und Indien, wobei nicht in allen Sprachen bzw. nicht auf allen Sendern Untertitel ausgestrahlt werden. Das Distributed Little Red Hen Lab kooperiert mit dem Open-Source-Projekt CCExtractor um verschiedenste technische Umsetzungen von Untertiteln in Text umwandeln zu können. Tabelle 1: Zahlen zur gesamten Sammlung, Mitte November 2017 (übersetzt aus Uhrig 2018) Tabelle 2: Verteilung auf die einzelnen Sprachen (übersetzt aus Uhrig 2018) Inzwischen zeigt sich jedoch, dass z.T. die Ergebnisse automatischer Spracherkennung im Englischen näher am gesprochenen Wort liegen als die Untertitel, so dass mittelfristig davon auszugehen ist, dass das Vorhandensein von Untertiteln an Relevanz verliert. In einem seit 2014 laufenden Projekt wird die Datensammlung auch für die linguistische Forschung aufbereitet, so dass sie nicht nur für traditionell linguistische Fragestellungen sondern auch für multimodale Forschung genutzt werden kann (momentan vorrangig für das Englische). Amerikanische Untertitel werden fast ausschließlich in Großbuchstaben ausgestrahlt. Dies stellt eine nicht zu unterschätzende Herausforderung für die weitere Verarbeitung dar, da viele Natural Language Processing (NLP)-Werkzeuge massiv schlechtere Ergebnisse liefern, wenn das Eingabeformat nur aus Großbuchstaben besteht. Das bereits fängt mit der Satzsegmentierung an, für die (gerade im Englischen) die Großschreibung am Satzanfang ein wichtiger Hinweis darauf ist, wo Satzgrenzen zu finden sind. Ein neu entwickelter Satztrenner speziell für die Untertiteldaten und ihre Besonderheiten – Zeilen sind 32 Zeichen lang; Sätze beginnen oft auf einer neuen Zeile – verbesserte die Ergebnisse deutlich, was auch für nachfolgende Verarbeitungsschritte, vor allem das syntaktische Parsing, vorteilhaft ist. Auch beim Part-of-Speech Tagging zeigte sich, dass reine Großbuchstaben zu schlechten Ergebnissen führen. Das „caseless“ Modell von Stanford CoreNLP (Manning et al. 2014) für das Englische sorgte hier für gute Ergebnisse, die den Ergebnissen für Text mit Groß- und Kleinschreibung kaum nachstehen. Zusätzlich kann man optional ein Modul namens „TrueCase“ nachschalten, das versucht, auf Basis der PoS tags die ursprüngliche Groß- und Kleinschreibung zu erraten. Für das syntaktische Parsing bietet Stanford ebenfalls ein „caseless“-Modell an, das jedoch auf relativ alter Parsertechnologie aufbaut (klassischer PCFG-Parser mit regelbasiertem Konverter für Dependenzen) und bei unseren Tests auf englischen Daten mit normaler Groß- und Kleinschreibung deutlich schlechter abschneidet das aktuelle Modell (Chen and Manning 2014) namens <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">dependency neural network</hi> (F-Score labeled attachment: 76,22 vs. 79,56). Es war also notwendig, eine genaue Evaluation durchzuführen, um die bestmögliche Parameterkombination zu ermitteln. Insgesamt wurden 576 Parameterkombinationen evaluiert. Dazu wurde das Korpus ANC MASC mit verschiedenen Parsern und Modellen sowie mit der Originalschreibweise, nur Großschreibung, nur Kleinschreibung und mit den Ergebnissen des TrueCase-Moduls (wo das möglich war) geparst. Es zeigte sich, dass mit TrueCase das Ergebnis des modernen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">dependency neural network</hi> Parsers aus Stanford CoreNLP die Ergebnisse relativ nahe an den Ergebnissen mit Originalschreibweise lagen (79,18 vs. 79,56) und damit diese Art von Vorverarbeitung zu deutlich besseren Parsing-Ergebnissen führt als die Verwendung des „caseless“ Modells. Ein Überblick findet sich in Tabelle 3: Tabelle 3: Vergleich der Parsermodelle bei unterschiedlicher Groß- und Kleinschreibung Zur Vorbereitung der Audioverarbeitung mussten darüber hinaus die Untertitel von allem Text befreit werden, der nicht gesprochen wird. Wesentliche Punkte sind dabei Sprecherangaben („Reporter:“) und Angaben über den nicht-gesprochenen Ton („[Doorbell rings.]“ oder „[Applause]“). Mittels einer Frequenzliste wurde ein Filter erstellt, der ca. 95 % des nicht-gesprochenen Texts entfernt. Im nächsten Schritt wurde mit Forced Alignment Software (in diesem Fall <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Gentle</hi>) versucht, für jedes Wort in den Untertiteln die genaue Position in der Audiospur des Videos zu ermitteln. Die Software selbst gibt an, etwas über 91 % der Wörter zu alignieren, aber Stichproben zeigen, dass auch bei den alignierten noch falsche Ergebnisse auftreten. Die genaue Größenordnung des Fehlers muss noch ermittelt werden. Schließlich wurde mittels Computer-Vision-Software die visuelle Ebene auf verschiedene Merkmale hin annotiert, die für die Erforschung multimodaler Kommunikation relevant sind. Der Computer versucht hier, automatisch zu erkennen, ob eine Person auf dem Bild zu sehen ist, ob diese der Sprecher bzw. die Sprecherin ist, ob die Person ihre Hände bewegt und ob bestimmte high-level-Gesten (in diesem Fall als Test sogenannte „timeline gestures“) zu sehen sind (Turchyn et al. 2018). Erste Tests zeigen, dass das System auf OpenCV-Basis eine sehr gute Präzision jenseits der 90% für die Personenerkennung schafft, aber leider bei den Handbewegungen nur eine Präzision im Bereich von ca. 33 % erreicht. Es ist also im Moment immer ein nachgeschalteter manueller Analyseschritt nötig. Aktuell laufen Experimente, die Erkennung mittels OpenPose zu verbessern. Alle Daten wurden in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">CQPweb</hi> (Hardie 2012), einer korpuslinguistischen Abfrageplattform mit großem Funktionsumfang, gespeichert und können so effizient und komfortabel abgefragt werden. Es wird gezeigt, wie mit einer Abfrage sowohl linguistische als visuelle Parameter abgefragt werden können, so dass man sofort die jeweils passenden Stellen im Video angezeigt bekommt. Weiterhin werden Abfragemöglichkeiten über ein Geoinformationssystem (GIS) in Verbindung mit linguistischer Analyse (z.B. für die kulturgeographische Forschung) sowie die Suchmaschinen der UCLA demonstriert. Um die oben erwähnte manuelle Analyse zu beschleunigen, wurde im Rahmen des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Google Summer of Code</hi> 2018 die Version 2 des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Red Hen Rapid Annotator</hi> entwickelt, mit dem komfortabel und schnell große Mengen an Videoschnipseln klassifiziert werden können. Im Vortrag wird dieser ebenfalls kurz demonstriert. Abschließend wird ein kurzer Überblick über laufende und abgeschlossene Projekte mit der Infrastruktur gegeben, um zu zeigen, welch vielfältige Fragestellungen bereits heute bearbeitet werden können. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Chen, Danqi / Manning, Christopher D. (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">A Fast and Accurate Dependency Parser using Neural Networks</hi>, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Moschitti, Alessandro / Pang, Bo / Daelemans, Walter (eds.):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP'14)</hi>. Doha: Association for Computational Linguistics, 740-750. <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://aclweb.org/anthology/D14-1082">http://aclweb.org/anthology/D14-1082</ref> [Letzter Zugriff 15. Januar 2018] <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Hardie, Andrew (2012):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">CQPweb – Combining Power, Flexibility and Usability in a Corpus Analysis Tool</hi>, in: International Journal of Corpus Linguistics, 17.3, 380-409 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Manning, Christopher D. / Surdeanu, Mihai / Bauer, John / Finkel, Jenny Rose / Bethard, Steven / McClosky, David (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">The Stanford CoreNLP Natural Language Processing Toolkit</hi>, in: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL'14). Baltimore, MD: Association for Computational Linguistics, 55-60. http://aclweb.org/anthology/P14-5010.pdf [Letzter Zugriff 15. Januar 2018] <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Steen, Francis F. / Turner, Mark (2013):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Multimodal Construction Grammar</hi>, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Borkent, Michael / Dancygier, Barbara / Hinnell, Jennifer (eds.): </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Language and the Creative Mind</hi>. Stanford, CA: CSLI Publications, 255-274 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Turchyn, Sergiy / Olza Moreno, Inés / Pagán Cánovas, Cristóbal / Steen, Francis / Turner, Mark / Valenzuela, Javier / Ray, Soumya (2018):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Gesture Annotation with a Visual Search Engine for Multimodal Communication Research</hi>, in: IAAI-18, article 72. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Uhrig, Peter (2018):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">NewsScape and the Distributed Little Red Hen Lab – A digital infrastructure for the large-scale analysis of TV broadcasts</hi>, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Anne-Julia Zwierlein / Jochen Petzold / Katharina Böhm / Martin Decker (eds.):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Anglistentag 2018 in Regensburg: Proceedings. Proceedings of the Conference of the German Association of University Teachers of English</hi>. Trier: Wissenschaftlicher Verlag Trier. 