urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:	edition	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1	body	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1	div1	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.1	p	Zahlreiche Projekte der eHumanities fokussieren auf die Verarbeitungvon Information, die in Textform codiert sind. Andere Modalitäten derInformationsübermittlung und -übertragung, wie beispielsweise visuelle Medien, bleiben in den DH häufig außen vor. Ein Grund dafür ist das breite Spektrum an etablierten Verfahren, das für solche Fragestellungen zur Verfügung steht. Ist man bei der Analyse von Texten in der Zwischenzeit so weit, sich den Inhalten und Kontexten durch automatisierte computergestützte Analyseverfahren zu nähern, verweilt man bei anderen Modalitäten wie Bildern allzu oft auf einer Ebene, wo verglichen mit der Textanalyse eher Buchstaben gezählt werden. Aus der Perspektive der Kulturwissenschaften ergibt sich hier ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">desideratum</hi>; schließlich widmen sich diese der (menschlichen) Kultur in ihrer ganzen Bandbreite und decken kulturelle Äußerungen im weitesten Sinne ab, die unterschiedlichste Modalitäten, wie beispielsweise physische Artefakte und performative Handlungen,mit einschließen. Zwar ist es eingeschränkt möglich, kulturellePhänomene zu transkribieren, also in textuelle Form zu bringen, wasaber kaum automatisierbar ist und Informationsverluste birgt. NativeAnsätze, welche auf jeweils spezifische Eigenschaften der zuuntersuchenden Modalität eingehen, erscheinen deshalb vielversprechend. Neueste Ansätze der Computer Visionbieten hier ein großes Potential, denn sie ermöglichen es, sich auchInhalten jenseits des Textes automatisiert zu nähern, was Möglichkeiten für computergestützte multimodale Analysen eröffnet.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.2	p	In jüngster Zeit halten nun Methoden der Computer Vision langsamEinzug in die Digital Humanities (Tilton/Arnold 2018). Dabei wird allerdings das volle Potential des Deep Learning nicht ausgeschöpft. Zwar finden Neuronale Netze zur Bilderkennung Anwendung in den Digital Humanities, diese beschränken sich aber oft auf die Nutzung vortrainierter Netze. Hier ergeben sich potentielle Probleme, werden diese Netze doch in der Regel auf einige wenige etablierte Bildkorpora wie etwa Microsofts COCO-Dataset (Common Objects in Context, <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://cocodataset.org/#home">http://cocodataset.org</ref>) trainiert. Dabei handelt es sich um Bildmaterial, das vorwiegend aus dem Nordamerika des 21. Jahrhunderts stammt. Für viele kulturwissenschaftliche Fragestellungen, die auf andere Zeiträume und/oder andere Kulturkreise abzielen, ergibt sich daraus ein Bias, der die Ergebnisse verfälschen kann. In solchen Fällen ist dann ein selbst durchgeführtes, zielgerichtetes Training notwendig, das auf die spezifische Fragestellung abgestimmt ist. Ein solches Training neuronaler Netze ist jedoch keineswegs trivial, sondern erfordert eine Menge Vorarbeit, Wissen um grundlegende Trainingsstrategien und vor allem auch Erfahrung im Tweaken der Parameter.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.3	p	Der Workshop soll grundlegende Kenntnisse zur Anwendung von State-of-the-Art-Algorithmen der Computer Vision in den Digital Humanities vermitteln. Er baut auf den Erfahrungen auf, die die beiden Workshopleiter im Rahmen ihrer Tätigkeit am Passau Center for eHumanities (PACE) sammeln konnten. Die Ergebnisse wurden auch in den letzten zwei DHd-Konferenzen in Vorträgen vorgestellt (Bermeitinger et al. 2017; Decker et al. 2018). In der dreijährigen Projektlaufzeit wurde ein reicher Schatz an Erfahrungen im Umgang mit Neuronalen Netzen gesammelt und eine Reihe von einfachen und klar strukturierten Workflows entwickelt, die nun mit einer interessierten Öffentlichkeit geteilt werden sollen. Eine Hoffnung ist, dass der Workshop Anstoß für Projekte gibt, die visuelle Medien quantitativ erfassen wollen und gleichzeitig die vorgestellten Methoden einer kritischen Evaluation unterziehen und weiterentwickeln.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.4	p	Der Workshop <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Deep Learning für visuelleMedien</hi> intendiert in mehrere der in PACE erarbeiteten Workflows einzuführen, die es erlauben, Neuronale Netze für visuelle Medien auf bestimmte Fragestellungen der Geisteswissenschaften anzuwenden, für eigene Fragestellungen zu adaptieren bzw. zu trainieren und die Ergebnisse zu analysieren. Damit soll die Grundlage gelegt werden, Forschern selbst das Training und die Anwendung Neuronaler Netze sowie die Analyse deren Ergebnisse zu ermöglichen. Im Zentrum des Workshops stehen drei Neuronale Netze, die über verschiedene Features verfügen.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.5	p	Das von Facebook Artificial Intelligence Research Group (FAIR)entwickelte Framework <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Detectron</hi> (Girshick etal. 2018) kombiniert verschiedene neuronale Netze und ermöglicht ein breites Nutzungsspektrum. Dieses leistungsstarke Framework erlaubt nicht nur das Trainieren der Objekterkennung, sondern kann ebenfalls eine Reihe wichtiger Keypoints des menschlichen Körpers (z.B.: Kopf, Schultern, Ellenbogen, Knie, usw.) erkennen, die wiederum wichtige Rückschlüsse auf die Haltung der Personen zulassen. OpenPose (Zhe et al. 2017), das ebenfalls im Rahmen des Workshops vorgestellt wird, befasst sich ebenfalls mit diesen Keypoints. Im Gegensatz zu Detectron kann OpenPose auch einzelne Finger erkennen. Anders ausgedrückt liefert dieses Netz deutlich mehr Informationen zurück. Das dritte Neuronale Netz, auf das eingegangen werden wird, ist OpenFace von Tadas Baltrusaitiš (Baltrusaitiš et al. 2018). Dieses mächtige Neuronale Netz kann nicht nur Gesichter erkennen, sondern auch deren dreidimensionale Ausrichtung errechnen und eine ganze Reihe von Keypoints im Gesicht erkennen. Diese Keypoints lassen ebenfalls Rückschlüsse auf sogenannte Facial Expression Units (Decker et al. 2019), welche genutzt werden können, um Aussagen über die Emotionen machen zu können, die eine Person zeigt.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.1.6	p	Im Rahmen des Workshops werden sowohl Installation als auch Setup und erste Schritte mit diesen Frameworks thematisiert. Darüber hinaus geht es im Rahmen dieses Workshops auch darum, Netze zielgerichtet für die eigene Fragestellung zu trainieren. Wie ein Netz erfolgreich mit verhältnismäßig kleinen Korpora trainiert werden kann, wird im Kurs vermittelt werden. Auch die Evaluierung von Trainingsergebnissen wird diskutiert. In einem letzten Schritt soll auch in die Arbeit mit den extrahierten Features eingeführt und verschiedene Analysemöglichkeiten vermittelt werden.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2	div1	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.1	p	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Vor dem Workshop:</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.2	p	Vernetzung der Teilnehmerinnen und Teilnehmer über Github (<ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://github.com/passau-centre-for-ehumanities/visual_media" />), Identifizierung von gemeinsamen Forschungsinteressen, Gruppenbildung, falls notwending Hilfestellung zur Installation grundlegender Software (Jupyter Notebooks), um beim Workshop selbst möglichst wenig Zeit zu verlieren.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.3	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.4	p	9:00-9:30 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kick-Off und Kennenlernrunde, <lb />Abfragen der Erwartungen</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.5	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.6	p	9:30-10:30 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Allgemeine Einführung in Deep Learning</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.7	p	Zum Auftakt des Workshops wird eine allgemeine kurz gehaltene Einführung zu künstlichen neuronalen Netzen und Deep Learning-Algorithmen im Allgemeinen gegeben, um ein Verständnis der Funktionsweise von Detectron zu entwickeln.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.8	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.9	p	10:30-11:00 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kaffeepause</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.10	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.11	p	11:00-12:30 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Einführung in Detectron und OpenPose, Praktische Erfahrungen</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.12	p	Im Anschluss daran wird der generelle Aufbau von Detectron in dieFunktionsweise der wichtigsten Bestandteile des Frameworksvorgestellt. Neben dem Trainingsaufbau wird hier aufgezeigt, wie manStandardmodelle lädt und auf visuelle Medien anwendenkann. Insbesondere geht es darum, Detectron und OpenPose zu nutzen, umPersonen und deren Haltung in Bildern erkennen (Abb. 1)
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.13	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="118_final-3e7ad32d6c9e9ffab33c2cf41bbaf835.png" /> <head>Abbildung 1: Posenerkennung mit Detectron </head> </figure><!-- Abb. 1: Posenerkennung mit Detectron -->
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.14	p	Als drittes Standbein soll im Kurs des Weiteren in die Anwendung von OpenFace eingeführt werden, mit dessen Hilfe es möglich ist, Keypoints von Gesichtern auszulesen, die dafür verwendet werden, um sogenannte Action Units abschätzen zu können. Action Units sind Basisbestandteile von menschlichen Emotionsausdrücken (Abb. 2)
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.15	p	<figure xmlns="http://www.tei-c.org/ns/1.0"><graphic url="118_final-dbc69cd5a27b6414af15f5353a79a93e.png" /> <head>Abbildung 2: OpenFace blickt Marlene Dietrich ins Gesicht: Lage im Raum (blau), Keypoints (rot), berechnete Blickrichtung (grün) </head> </figure>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.16	p	12:30-14:00 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Mittagspause</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.17	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.18	p	14:00-16:00 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Detectron Trainieren</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.19	p	Ein wichtiger Bestandteil des Workshops wird es sein, in ein im Rahmen des Passau Center for eHumanities entwickelten Workflow zum Trainieren von Detectron einzuführen.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.20	p	Es wird konkret an einfachen Beispielen vermittelt, wie man die einzelnen Bestandteile des Workflows installieren und auf die individuelle Forschungsfrage hin anwenden kann. Es wird neben der Vermittlung des Workflows ebenfalls großen Wert darauf gelegt, den Kursteilnehmern zu vermitteln, welche typischen Fehler beim Trainingsaufbau zu vermeiden sind. Die Teilnehmer sollen am Ende des Workshops dazu in der Lage sein:
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.21	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="118_final-c3ddf248611490a8f5cdb278b9996240.png" /> <head>Abbildung 3: Beispiel der Annotation. Als Werkzeug wird Labelme genutzt (https://github.com/wkentaro/labelme) </head></figure>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.22	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="118_final-e7ed58c620043a639632aad6203d00c4.png" /> <head>Abbildung 4: Beispiel der Anwendung von Detectron, trainiert auf ukrainische Symbole </head></figure>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.23	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.24	p	16:00-16:30 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kaffeepause</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.25	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.26	p	16:30-18:00 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Vorstellung von Analysetechniken für die produzierten Ergebnisse</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.27	p	Im letzten Teil des Kurses werden Analysetechniken vorgestellt, die es ermöglichen, die Produzierten daten nach interessanten Mustern zu explorieren bzw. deren Inhalte zu analysieren (Abb. 5, 6).
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.28	p	<figure xmlns="http://www.tei-c.org/ns/1.0"><graphic url="118_final-afb8dad49a63d091ad88232db13d100e.png" /> <head>Abbildung 5: Beispiel einer skalierbaren, dreidimensionalen Visualisierung eines Clusterings mittels einer modifizierten Version von Pixplot. Die Bilder werden anhand von Metadateninformationen zusätzlich eingefärbt.</head></figure>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.29	p	<figure xmlns="http://www.tei-c.org/ns/1.0"><graphic url="118_final-a34937a32ba3fbf223385a321c87efa7.png" /> <head>Abbildung 6: Beispiel für eine Analyse der Ergebnisse. Hier konkret: die Verteilung von Symbolen in Youtube-Videos über die Zeit.</head></figure>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.30	p	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.31	p	18:00-18:30 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Schlussrunde, Workshop-Evaluation</hi>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.2.32	p	Dieses Programm ist hoffentlich geeignet, als Inspiration und erste Einführung in das Thema Deep Learning für visuelle Medien zu dienen. Eine Nachbereitung und weitere Vernetzung über Github ist ausdrücklich erwünscht, um eine weitere Begleitung der Projekte zu garantieren.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:1.3	div1	<head xmlns="http://www.tei-c.org/ns/1.0">Zusätzliche Angaben</head> <list xmlns="http://www.tei-c.org/ns/1.0" type="unordered"> <item>Benötigte technische Ausstattung: Beamer, WLAN-Zugang, ausreichend Steckdosen für die Laptops der Teilnehmerinnen und Teilnehmer</item> <item>Zahl der möglichen Teilnehmer: 20</item> </list>
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2	back	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1	bibliogr	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1	listBibl	
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> Bermeitinger, B. / Howanitz, G. / Radisch, E. </hi> (2018): Contextualizing Bandera: Ein Distant Watching Ansatz, in Kritik der digitalen Vernunft Konferenzabstracts. Köln, 26.02-02.03.2018. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="http://dhd2018.uni-koeln.de/wp-content/uploads/boa-DHd2018-web-ISBN.pdf" /> [abgerufen am 01.05.2018].
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> Baltrusaitiš, T. / Zadeh, A. / Chong Lim, Y., Morency, L.-P.</hi> (2018): "OpenFace 2.0: Facial Behavior Analysis Toolkit," 2018 13th IEEE International Conference on. IEEE, 2018, S. 59-66.
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> Decker, J.-O. / Howanitz, G. / Radisch, E. / Rehbein, M. </hi> (2019): Den Menschen als Zeichen lesen. Quantitative Lesarten körperlicher Zeichenhaftigkeit in visuellen Medien. In: Dhd 2019, Digital Humanities: multimodal & multimedial, Konferenzabstracts, Frankfurt am Main 2019, S. 106-109. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://zenodo.org/record/2596095#.XLBUNUNS-V4" />
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> Girshick, R. / Radosavovic, I. / Gkioxari, G. / Dollár, P. / He, K.</hi> (2018): Detectron. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://github.com/facebookresearch/detectron" />. [Letzter Zugriff 25. 09. 2018]
urn:cts:dhd:2020.howanitz_gernot_deep_learning_fuer_visuelle_medien_annotatio:2.1.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> Zhe C. / Tomas S. / Shih-En W. / Yaser Sh. </hi> (2017): Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. In: CVPR.