urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:	edition	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1	body	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1	div1	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1.1	p	Dieses Paper führt unsere letztjährige Präsentation<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn1" n="1" /> des Vorhabens fort, den ersten <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Shared Task (ST) zur Annotation literarischer Phänomene</hi> zu organisieren und solch ein kompetitives Verfahren als fruchtbares Format für die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Digital Humanities</hi> einzuführen. Dieser ST hat mit dem abgehaltenen Workshop der teilnehmenden Teams einen Meilenstein erreicht.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1.2	p	Bei einem ST bewerben sich Teams mit einem Vorschlag für die Lösung eines durch die Organisatoren ausgeschriebenen Problems, den Task. STs sind kompetitive Verfahren, weil die Lösungsvorschläge vergleichend evaluiert und gemäß einer definierten Metrik in eine Rangfolge gebracht werden. Vor allem in der Sprachverarbeitung (NLP, natural language processing) sind diese Arbeitszusammenhänge weit verbreitet und ein wesentlicher Antrieb für die Fortschritte bei wichtigen Aufgaben, etwa des syntaktischen Parsings.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn2" n="2" /> Wir haben dieses kompetitive Verfahren für literaturwissenschaftliche Problemstellungen durch kooperative Aspekte modifiziert und möchten hier sowohl den angepassten Workflow als auch zentrale Einsichten vorstellen, die wir durch den o.g. Workshop generieren konnten.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn3" n="3" /> Wir gehen davon aus, dass durch solch adaptierte STs sehr viele andere Problemstellungen der Geisteswissenschaften adressiert werden können, wodurch sich STs als Verfahren für die Digital Humanities natürlicherweise anbieten. Dies ist insbesondere der Fall, wenn computationelle Verfahren auf geisteswissenschaftliche Konzepte treffen und diese in einem intersubjektiven Aushandlungsprozess operationalisiert werden sollen.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1.3	p	Wir haben uns für ein zweiphasiges Verfahren entschieden. Die erste Phase – „SANTA“ genannt: Systematic Analysis of Narrative Texts through Annotation – widmet sich der Erstellung von Annotationsrichtlinien für das Phänomen narrativer Ebenen.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn4" n="4" /> Die von den acht teilnehmenden Teams eingereichten und auf dem Workshop diskutierten Richtlinien bilden die Grundlage für den Task der geplanten zweiten Phase: die automatisierte Identifikation von Erzählebenen auf Basis von Daten, die nach den Richtlinien annotiert wurden (wird vsl. 2019 ausgeschrieben).<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn5" n="5" />
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1.4	p	Die acht Teams divergieren hinsichtlich ihrer:
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.1.5	p	Der Workshop selbst war konzeptionell offen angelegt und sollte den Teilnehmer/innen wie auch uns Organisator/innen ermöglichen, den geplanten Ablauf in Reaktion auf die Arbeitsergebnisse zu verändern. Dies war realisierbar, da bis auf wenige Kurzvorträge (z.B. stellte jedes Team zu Beginn in 5 Minuten die zentralen Aspekte seiner Richtlinien vor) hauptsächlich in kooperativen Formaten wie Gruppenarbeiten, Feedback-Runden und Plenumsdiskussionen gearbeitet wurde.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.2	div1	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.2.1	p	Am <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ersten Workshop-Tag</hi> sollten die Teilnehmer/innen einen differenzierten Einblick in alle acht Annotationsrichtlinien und deren Spezifika bekommen. Dabei wurden <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Unterschiede</hi> auf mehreren Abstraktionsebenen identifiziert: Die erste und grundlegendste Einsicht bestand in der Beobachtung, dass die Definitionen narrativer Level mitunter stark differieren und diese Unterschiede durch die divergierenden Forschungsfragen (siehe oben) erklärt werden können: etwa, ob die Level-Annotation im Dienste narratologischer Konzeptentwicklung eingesetzt wird oder zur Erkennung linguistischer Diskursebenen in Texten. Das spezifische Level-Verständnis hat gleichsam Auswirkungen auf den Modus des Definierens. So werden narrative Level teilweise inhaltlich bestimmt über die Elemente der „Story“ oder aber – etwas abstrakter – über die Elemente der Erzählung der Story. Zu unterscheiden sind davon Ansätze, die narrative Level über ihre Grenzen bestimmen, teilweise ohne auf die Erzählinhalte zurückzugreifen. Dies ist der Fall, wenn Erzähler- oder Weltwechsel als Definiens eingesetzt werden. Deutlich wurde zudem, dass gerade literaturwissenschaftliche Ansätze nicht immer eindeutig zwischen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">identifizierenden</hi> und (bloß) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">charakterisierenden</hi> Texteigenschaften narrativer Ebenen – wie etwa Fokalisierung – unterscheiden, wobei die Frage aufkommt, ob letztere einen berechtigten Ort in den Guidelines haben. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Gemeinsamkeiten</hi> der Guidelines wurden ebenfalls diskutiert. Dabei zeigte sich, dass die eingereichten Guidelines zwei recht homogene Gruppen bilden hinsichtlich <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Forschungsziel</hi> (Narratologie vs. Automatisierung) und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Konzeptverständnis</hi> (komplex vs. vereinfachend).
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3	div1	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.1	p	Der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">zweite Workshop-Tag</hi> widmete sich der Evaluation der Guidelines: Das Ziel der Organisator/innen war es, mit den Teilnehmer/innen gemeinsam die ‚besten‘ Richtlinien zu finden, wobei zunächst unklar blieb, ob es <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">einen</hi> oder <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">mehrere</hi> Gewinner geben sollte (etwa jeweils einen aus den beiden o.g. recht homogenen Gruppen). Die von den Organisator/innen im Vorfeld ausgearbeiteten Evaluationskriterien zur Beurteilung der Stärken und Schwächen der Einreichungen folgen der Idee, den interdisziplinären Aushandlungsprozess anhand von drei Dimensionen zu strukturieren und so neben in der Computerlinguistik etablierten Kriterien weitere relevante geisteswissenschaftliche Aspekte in die Bewertung zu integrieren.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.2	p	Diese Kriterien wurden zuerst während des Workshops im Plenum reflektiert und anschließend per online-Fragebogen live in die Evaluation überführt. Jede Dimension sollte auf nachvollziehbare Weise potentielle Guideline-Stärken vergleichbar machen und so für eine ausgewogene Beurteilung durch die Workshopteilnehmer/innen sorgen. Die drei Dimensionen sind – um in der Tagungssprache zu bleiben – <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Conceptual Coverage</hi>, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Applicability</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Usefulness</hi>.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.3	p	Die erste Dimension beurteilt anhand von vier Fragen die Qualität der Guidelines hinsichtlich ihrer <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Abdeckung der zugrundeliegenden (meist narratologischen) Theorie</hi>:
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.4	p	Die zweite Dimension evaluiert die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Anwendbarkeit der Guidelines auf den Text</hi> anhand von zwei Fragen und eines von uns im Vorhinein gemessenen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Inter-annotator agreements</hi>:<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn6" n="6" />
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.5	p	Die dritte Dimension bewertet anhand von vier Fragen, wie der auf Basis einer Richtlinie annotierte Text das T <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">extverstehen und die weitergehende Textarbeit</hi> befördert:
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.6	p	Jede der Fragen wurde von den Teams in einer Feedback-Runde erläutert und anhand einer vierstufigen Likert-Skala online beurteilt.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.3.7	p	Die dergestalt relativ differenziert abgefragten drei Evaluationsdimensionen lassen sich – stark abstrahiert – auch verstehen als prozedurale Vergewisserungskriterien für gute Guidelines zur Annotation literaturwissenschaftlicher (oder allgemein: geisteswissenschaftlicher) Konzepte auf Texten unterschiedlicher Genres. Sie können prozessorientiert abgebildet werden:
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.4	div1	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.4.1	p	Am <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold" xml:space="preserve">dritten Workshop-Tag </hi>wurden die Ergebnisse der Evaluation vorgestellt und diskutiert. Als methodisch ausgesprochen interessantes Resultat zeigte sich, dass die qualitative Plenumsdiskussion der Guidelines zu Einschätzungen führte, die durch die Resultate der quantitativen Evaluation in den Fragebögen abgebildet wurden: Die als theoretisch hochdifferenziert gelobten Guidelines waren just diejenigen, die in der ersten Dimension die meisten Punkte erzielten usw. Eine vierstufige Skala scheint also den gesamten Evaluationsbereich mit den drei komplexen Theorie-, Anwendungs- und Brauchbarkeitsfragen ausreichend differenziert abbilden zu können. Problematisch erschien den Teilnehmer/innen allerdings, dass die Fragen zunehmend schwerer zu beantworten waren. Dies resultierte aus der Schwierigkeit, für einige Fragen potentielle Anwendungsfälle zu antizipieren, in denen bereits annotierte Texte sinnvolle Forschungsfragen ermöglichen. Allerdings wurden im Gegensatz zur subjektiven Wahrnehmung der Teilnehmer/innen diese Fragen der letzten Dimension mit einer zunehmend geringeren Standardabweichung beantwortet. Trotz <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">gefühlt</hi> größerer Schwierigkeiten mit den Fragen zur Usefulness wurden die Guidelines dort einvernehmlicher evaluiert.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:1.4.2	p	Die drei Dimensionen erwiesen sich damit als praktikables Instrument einer differenzierten Bewertung der Guidelines. Das Experiment "Shared Task für die DH" ist also geglückt. Die drei Bewertungsdimensionen stehen allerdings auch weiterhin für eine der großen methodischen Herausforderungen im <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Digital Humanities</hi>-Bereich: die Evaluation von Operationalisierung, Analyse und Interpretation in interdisziplinären Kontexten.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2	back	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" n="1" rend="footnote text"> Siehe Gius et al. (2018), aber auch Reiter et al. (2017), bzw. zur Projekt-Dokumentation Gius et al. (2016ff.). </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" n="2" rend="footnote text"> Bspw. Daniel Zeman et al. 2017 dokumentieren, wie ein typischer NLP Task funktioniert. </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn3" n="3" rend="footnote text"> Wir danken der VolkswagenStiftung für die Finanzierung dieses Workshops, der vom 17.-19. Sept. 2018 an der Universität Hamburg stattgefunden hat. CRETA (Stuttgart) danken wir für die Finanzierung der notwendigen Annotationsarbeiten durch unsere HiWis Linda Kessler, Tanja Preuß, Nina Stark, Hanna Winter. Katharina Krüger hat uns bei der Organisation in Hamburg unterstützt und Carla Sökefeld den Workshop protokolliert. </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn4" n="4" rend="footnote text"> Ausführlichere Informationen und Literaturhinweise zu einführender (etwa Jahn 2017), grundlegender (etwa Ryan 1991 und Genette 1980: 227-237) und vertiefender (etwa Mani 2013) narratologischer Literatur finden sich auf der Projekthomepage <ref target="https://sharedtasksinthedh.github.io/levels">https://sharedtasksinthedh.github.io/levels</ref> </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn5" n="5" rend="footnote text"> Die ausführliche Dokumentation der Abläufe des STs, die Publikation der Guidelines inkl. Reviews wird in zwei Sonderheften der <hi rend="italic">Cultural Analytics</hi> publiziert (vsl. Q4/2018 und Q3/2019). </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn6" n="6" rend="footnote text"> Alle Guidelines wurden 1) durch die jeweiligen Autor/innen selbst, 2) durch ein zufällig ausgewähltes anderes teilnehmendes Team und 3) durch von uns eingesetzte Hilfskräfte annotiert. Grundlage der Annotation waren acht literarische Prosatexte unterschiedlichen Umfangs, die zwischen 1797 und 1931 publiziert wurden. Als Metrik für das Agreement wurde Gamma verwendet (Mathet et al., 2015). </note>
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2	bibliogr	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1	listBibl	
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Genette, Gérard (1972)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Narrative Discourse. An Essay in Method</hi>. Ithaca 1980. (Franz. Figures III. Paris 1972).
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Gius, Evelyn, / Nils Reiter / Marcus Willand (2016ff.)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Shared Tasks in the Digital Humanities. Systematic Analysis of Narrative Texts through Annotation</hi>, Projektwebsite und -dokumentation <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://sharedtasksinthedh.github.io/">https://sharedtasksinthedh.github.io/</ref> [letzter Zugriff 28 September 2018].
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Gius, Evelyn, / Reiter, Nils / Strötgen, Jannik / Willand, Marcus (2018)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">SANTA: Systematische Analyse Narrativer Texte durch Annotation</hi>. DHd2018, Köln.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Mani, Inderjeet (2013)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Computational Narratology</hi>. Peter Hühn, John Pier, Wolf Schmid und Jörg Schönert (Hrsg.). The living handbook of narratology. Hamburg University Press <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://www.lhn.uni-hamburg.de/article/computational-narratology">http://www.lhn.uni-hamburg.de/article/computational-narratology</ref> [letzter Zugriff 28 September 2018].
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Pier, John (2014)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Narrative Levels</hi> (revised version; uploaded 23 April 2014). Peter Hühn, John Pier, Wolf Schmid und Jörg Schönert (Hrsg.). The living handbook of narratology. Hamburg University Press <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://www.lhn.uni-hamburg.de/article/narrative-levels-revised-version-uploaded-23-april-2014">ttp://www.lhn.uni-hamburg.de/article/narrative-levels-revised-version-uploaded-23-april-2014</ref> [letzter Zugriff 28 September 2018].
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Reiter, Nils / Gius, Evelyn, / Strötgen, Jannik / Willand, Marcus (2017)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">A Shared Task for a Shared Goal - Systematic Annotation of Literary Texts</hi>. DH2017, Montreal.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Ryan, Marie-Laure (1991)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Possible Worlds, Artificial Intelligence, and Narrative Theory.</hi> Bloomington: Indiana University Press.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Mathet, Yann / Widlöcher, Antoine / Métivier, Jean-Philippe (2015)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">The unified and holistic method gamma (γ) for inter-annotator agreement measure and alignment</hi>. Computational Linguistics, 41(3):437–479.
urn:cts:dhd:2019.willand_marcus_ein_neues_format_fuer_die_digital_humanities_:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Zeman, Daniel et al. (2017)</hi>: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies</hi>. CoNLL <ref xmlns="http://www.tei-c.org/ns/1.0" target="http://www.aclweb.org/anthology/K17-3001">http://www.aclweb.org/anthology/K17-3001</ref> [letzter Zugriff 28 September 2018].