urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:	edition	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1	body	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.1	div1	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.1.1	p	die in den sozialwissenschaften und der computerlinguistik schon lange etablierte praxis der computergestützten und häufig kollaborativen manuellen annotation ist mittlerweile auch im zentrum der digitalen geisteswissenschaften angekommen. deshalb möchten wir unsere beobachtungen zu einem zentralen punkt teilen: dem inter annotator agreement bzw. inter coder agreement. wir betrachten dieses aus der sicht der computational literary studies (cls) anhand unseres projekts „evaluating events in narrative theory (event)“<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn0" n="1" />. in diesem annotieren wir ereignisse als kleinste handlungseinheiten in prosatexten und nutzen die annotationen, um die erkennung der ereignisse zu automatisieren.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn1" n="2" /> diese automatisierte ereignisanalysen können anschließend für korpusbasierte untersuchungen zur ereignishaftigkeit oder generell zur ereignisstruktur literarischer texte genutzt werden. wie wir zeigen möchten, spielt das inter annotator agreement eine vielfältige rolle in der arbeit an und mit manuellen annotationen und sollte möglichst im einklang mit der praxis des erkenntnisgewinns in der literaturwissenschaft genutzt und weiterentwickelt werden.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.2	div1	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.2.1	p	es gibt eine vielzahl von inter annotator agreement-metriken, die als maß eingesetzt werden, um die verlässlichkeit manuell erstellter annotationen zu beurteilen, die zum Überprüfen einer these oder zur entwicklung und zum testen computationeller modelle genutzt werden (artstein & poesio 2008:556). da bei der betrachtung des inter annotator agreements von menschen annotierte daten – und damit deren analysen bestimmter texte (oder anderer artefakte) – miteinander verglichen werden, ist dies auch literaturwissenschaftlich interessant. der literaturwissenschaftliche erkenntnisgewinn basiert nämlich, in ermangelung objektiver fakten, ganz wesentlich auf intersubjektiver Übereinstimmung bzw. deren abgleich.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.2.2	p	grundsätzlich lassen sich fünf einsatzgebiete von inter annotator agreement-messungen unterscheiden:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.2.3	p	für das event-projekt sind diese einsatzbereiche unterschiedlich stark von interesse. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="">wir nutzen inter annotator agreement für (1) die reliabilität von annotator:innen und die (2) entwicklung von guidelines. die </hi>(3) bewertung der qualität der guideline spielt im event-projekt nur eine nachgeordnete rolle. im gegensatz zur computerlinguistik gibt es nämlich für die cls bislang mangels erfahrung keine inter annotator agreement-werte, an denen man sich orientieren kann. dasselbe gilt für (4) datenvalidität und (5) operationalisierbarkeit.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3	div1	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.1	p	literaturwissenschaftliche befunde basieren meistens weder auf streng formalisierten schlussfolgerungssystemen<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn2" n="3" /> noch ist mit ihnen der anspruch verbunden, eine empirische wahrheit abzubilden. die wissenschaftlichkeit der befunde wird vielmehr durch ihre “prinzipielle intersubjektive vermittelbarkeit – einen ‘ <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">sensus communis’</hi>” garantiert.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn3" n="4" /> literaturwissenschaftliche analyse bedeutet in einem ersten schritt, ohne wertung “die feststellung von allgemein beobachtbaren und intersubjektiv anerkennbaren eigenheiten bestimmter texte zu fixieren”<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn4" n="5" />. dieser anspruch der intersubjektiven vermittelbarkeit von beobachtbaren texteigenschaften legt nahe, dass inter annotator agreement-maße geeignete kandidatinnen für das ‘messen‘ von intersubjektivität sind.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.2	p	mit blick auf intersubjektivität kann man in den fünf genannten bereichen, in denen inter annotator agreement-messungen zum einsatz kommen, feststellen: im kontext der reliabilität von annotator*innen (fall 1) geht es um den abgleich einer an sich aber <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">intrasubjektiven</hi> qualität, nämlich die frage, wie gut annotator:innen annotieren bzw. welche besonders gut sind. intersubjektivität spielt hier eine untergeordnete rolle.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.3	p	bei der entwicklung bzw. qualität von guidelines (fall 2 bzw. 3) geht es hingegen um die frage, inwiefern eine <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">guideline</hi> ein geteiltes verständnis von phänomenen unterstützt. damit geht es um die intersubjektive Übereinstimmung bei der interpretation der guidelines, die sich in den annotationen niederschlägt.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.4	p	im kontext der qualität bzw. validität der daten und der operationalisierbarkeit von phänomenen (fall 4 und 5) steht schließlich die intersubjektive Übereinstimmung bei der beurteilung der phänomene im text im fokus.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.5	p	aus literaturwissenschaftlicher sicht ist die intersubjektivität insbesondere in den letzten beiden fällen abgebildet. bei der frage nach qualität bzw. validität der daten und der operationalisierbarkeit von phänomenen wird nämlich der grad der Übereinstimmung zwischen annotationen auf die oben erwähnten „eigenheiten bestimmter texte“ bezogen. die beiden aspekte sind auch aus computationeller sicht wichtig, denn sie betreffen die analysierten phänomene und damit das zentrale forschungsinteresse vieler literaturwissenschaftlicher ansätze in den digital humanities. wie bereits angesprochen, fehlen allerdings gerade zu diesen beiden fällen erfahrungswerte, auf die zurückgegriffen werden kann. da die inter annotator agreement-werte in literaturwissenschaftlichen annotationsprojekten zudem meist deutlich unter den in anderen disziplinen gängigen grenzwerten liegen, können diese nicht sinnvoll genutzt werden. stattdessen müssen strategien entwickelt werden, die eine beurteilung der annotationsqualität in philologischen forschungskontexten ermöglichen.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.3.6	p	wir stellen deshalb im folgenden eine anpassung des verfahrens der annotation und der inter annotator agreement-messung vor, mit der man diesem manko in bestimmten forschungszusammenhängen begegnen kann.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4	div1	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.1	p	inter annotator agreement-metriken basieren auf differenzierten formeln, die typischerweise erwartete (nicht-)Übereinstimmungswerte berücksichtigen und z.t. auch die gewichtung bestimmter aspekte der annotationen zulassen (z.b. durch das festlegen von Ähnlichkeiten zwischen kategorien oder die gewichtung der segmentierungsentscheidungen). die wahl der eingesetzten metrik sollte in abhängigkeit von den eigenschaften der annotationen getroffen werden. zu diesen eigenschaften gehören die anzahl und verteilung der genutzten annotationskategorien, die häufigkeit, mit der annotationskategorien auftreten, die frage, ob die bestimmung der zu annotierenden textsegmente teil der annotationsaufgabe ist und viele mehr (vgl. dazu artstein & poesio 2008 sowie mathet et al. 2015). das problem, vor dem wir zumindest bislang stehen, ist nicht nur, dass es eine ziemliche herausforderung ist, diese eigenschaften zu identifizieren, sondern noch mehr, dass uns etablierte strategien fehlen, um diese zu beurteilen.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.2	p	ein wesentlicher grund dafür ist, dass literaturwissenschaftliche textanalysen oft phänomene in den blick nehmen, die bei näherer betrachtung keine merkmale der textoberfläche sind. da diese phänomene nicht direkt an bestimmten texteigenschaften festgemacht werden können, muss man bei der operationalisierung auf mit dem phänomen mutmaßlich zusammenhängende merkmale zurückgreifen, die sich textlich realisieren.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn5" n="6" /> so modellieren wir im event-projekt die ereignishaftigkeit von texten mit der vergleichsweise granularen annotation von verbalphrasen, da wir diese in unseren untersuchungen als kleinste textspannen identifiziert haben, die auf ein ereignis referieren können.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn6" n="7" /> wir annotieren also mikrophänomene auf der textoberfläche, um ein erzähltheoretisches makrophänomen zu beschreiben, das sich nicht unmittelbar an der textoberfläche manifestiert.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.3	p	eine folge dieser indirekten annäherung an die untersuchten phänomene ist, dass eine agreement-messung mit den üblichen metriken für bestimmte literaturwissenschaftliche einsatzgebiete nicht sinnvoll ist, da diese für die annotation von textphänomenen wie etwa wortarten oder semantische klassen entwickelt wurden.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.4	p	nun könnte man versuchen neue, für literaturwissenschaftliche fragestellungen passende annotationsmetriken zu entwickeln. Ähnlich hilfreich und leichter umsetzbar ist allerdings eine anpassung des operationalisierungsverfahrens an das, was mit bestehenden metriken gemessen wird.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.5	p	konkret sollte man versuchen, die genutzten annotationskategorien so zu gestalten, dass sie:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.6	p	beim ersten punkt ist es erstrebenswert, dass die genutzten kategorien eine möglichst eindeutig festlegbare texteinheit umfassen und im ganzen text vorkommen.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn7" n="8" /> der zweite punkt bedeutet, dass die genutzten kategorien möglichst in numerische werte überführt werden. (dies ist übrigens in allen fällen ein hilfreicher schritt, in welchem es darum geht, quantifizierend mit annotationen umzugehen.) dies bedeutet nicht nur, dass man annotationskategorien in numerische werte überführt, sondern auch, dass die werte in bezug auf ihren intervall bedeutungshaft sind und es zudem idealerweise auch einen absoluten nullpunkt gibt, zu dem sie im verhältnis stehen. der grad der umsetzbarkeit dieser vorschläge hängt natürlich von der forschungsfrage und dem untersuchten phänomen ab.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.4.7	p	eine mögliche umsetzung dieser punkte lässt sich an unserem beispiel verdeutlichen.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5	div1	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.1	p	ausgehend von den erzähltheoretischen ereigniskonzepten haben wir im event-projekt vier annotationskategorien definiert:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.2	p	wir haben also eine syntaktisch weitgehend eindeutige einheit – die verbalphrase – identifiziert, die sich als annotationseinheit eignet und deren inhalt zur bestimmung der kategorisierung geeignet ist. durch die ausweitung der non_event-kategorie auf nicht vollständige verbalphrasen kann ein text außerdem durchgängig mit unseren kategorien annotiert werden kann.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.3	p	auch die Überführung der kategorialen skalierung in eine numerische skalierung basiert auf dem literaturwissenschaftlichen verständnis der kategorien. entsprechend dem literaturwissenschaftlichen ereignisverständnis nehmen wir an, dass diese vier kategorien in unterschiedlichem maß die ereignishaftigkeit eines textes konstituieren: zustandsveränderungen, aber auch bewegungs- und kommunikationsvorgänge tun dies in stärkerem maß als landschafts-, raum- oder figurenbeschreibungen, die in vielen erzählenden texten eher expositionsfunktionen erfüllen.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn8" n="9" /> aus diesem grund haben wir die narrativität der annotationskategorien mit folgenden werten festgelegt:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.4	p	doch dies war noch nicht ausreichend, um ein agreement zu erzielen, welches aus computerlinguistischer sicht gut ist. hinzu kommt, dass die agreement-werte unsere intuition über die qualität der annotationen nicht widerspiegelten (vgl. tabelle 1).
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.5	p	deshalb haben wir unser vorgehen entsprechend weiterentwickelt. der schlüssel zu einer aussagekräftigeren inter annotator agreement-perspektive lag in der erkenntnis, dass uns die entwicklung von ereignishaftigkeit im textverlauf und entsprechend narrativitätsverläufe interessieren.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.6	p	wir haben deshalb nicht nur die ergebnisse der annotationen als verlauf visualisiert, sondern auch entschieden, die einschätzung des inter annotator agreement – ebenso wie übrigens die qualität der automatisierten erkennung von ereignissen – anhand von verläufen vorzunehmen.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.7	p	für die darstellung des narrativitätsverlaufs wurden die werte der annotationen innerhalb eines textabschnitts anhand der narrativitätswerte der umliegenden 50 verbalphrasen mit einer kosinusgewichtung geglättet. die kosinusgewichtung sorgt dabei dafür, dass näher liegende textsegmente einen stärkeren einfluss auf den narrativitätswert des untersuchten textsegments haben.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.8	p	auf grundlage dieser zuweisungen konnten wir die narrativitätsverläufe in einzeltexten wie in abbildung 1 untersuchen:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.9	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/ef501e191ee1f1362c7da8c15458c795.png" /> <head>abb. 1: narrativitätsverläufe zu drei prosatexten aus dem event-projekt.</head> </figure>
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.10	p	um die stabilität des verfahrens zu prüfen, haben wir mit der zuweisung der zahlen zu den kategorien experimentiert, dabei aber ihre anordnung gemäß ihrer narrativität nicht verändert. eine umfassende evaluation steht noch aus, aber die bisherigen versuche deuten darauf hin, dass die narrativitätsverläufe dabei strukturell nicht stark variieren (vgl. abbildung 2).
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.11	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/b8cf798aa393297add653595767bc9c6.png" /> <head>abb. 2: narrativitätsverläufe von kleists <hi rend="italic">das erdbeben in chili</hi> bei variierenden skalierungen der ereignistypen. die zahlenlisten in der legende geben die verwendeten werte für non_events, stative_events, process_events und change_of_states in dieser reihenfolge an.</head> </figure>
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.12	p	wir konnten also auf der grundlage unserer wertzuweisung für die ereignistypen die annotationen der unterschiedlichen annotator:innen miteinander vergleichen (vgl. abbildung 3).
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.13	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/923764e6350130e3d66b06c1b6572e34.png" /> <head>abb. 3: narrativitätsverläufe in kleists <hi rend="italic">das erdbeben in chili</hi> und <hi rend="italic">effi briest</hi> zum vergleich der beiden annotator:innen (a1 und a2).</head> </figure>
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.14	p	<anchor xmlns="http://www.tei-c.org/ns/1.0" xml:id="id__q02ckbpf9b5p" />die narrativitätsgraphen ähneln sich deutlich stärker als es angesichts des eher niedrigen inter annotator agreement zu vermuten gewesen wäre. <anchor xmlns="http://www.tei-c.org/ns/1.0" xml:id="id__lazffiw2y13d" /> <anchor xmlns="http://www.tei-c.org/ns/1.0" xml:id="id__6wxqhkmxek63" /> <anchor xmlns="http://www.tei-c.org/ns/1.0" xml:id="id__1zzd38o71yxi" />das drückt sich auch in der mittleren bis starken korrelation der graphen aus (vgl. tabelle 2).<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn9" n="10" />
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.15	p	unsere annäherung an ein inter annotator agreement, das auf die modellierung eines literarischen phänomens ausgerichtet ist, scheint also unsere literaturwissenschaftlich fundierte intuition besser abzubilden als gängige inter annotator agreement-metriken.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.16	p	dafür sind zwei aspekte entscheidend:
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:1.5.17	p	durch dieses vorgehen gelingt es uns, den fokus auf das eigentlich untersuchte phänomen – in unserem fall die ereignishaftigkeit von erzählenden texten – zu richten. damit lässt sich die intersubjektivität der analysen besser messen als anhand der annotationen, die das phänomen anhand von oberflächenphänomenen (verbalphrasen) operationalisieren und die im kontext von gängigen inter annotator-metriken entsprechend nur bedingt aussagekräftig sind. hinzu kommt, dass es zwei wichtige fehlerquellen bei literaturwissenschaftlichen annotationen – nämlich einfache fehler sowie divergierende voranalysen (vgl. gius & jacke 2017) – ausgleicht.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2	back	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn0" place="foot" n="1"> das projekt wird im dfg-schwerpunktprogramm computational literary studies (spp 2207) gefördert und wird seit 09/2020 an der technischen universität darmstadt und der universität hamburg durchgeführt. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" place="foot" n="2"> vgl. zu den ersten automatisierungsergebnissen hans ole hatzel, michael vauth, chris biemann und evelyn gius (2021).</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" place="foot" n="3"><hi rend="">vgl. </hi>danneberg und albrecht (2016), insbesondere s. 6-8. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn3" place="foot" n="4"><hi rend="">vgl. stöckmann 2013, s. 475.</hi></note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn4" place="foot" n="5"><hi rend="">vgl. fricke et al. 2000, s. 447.</hi></note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn5" place="foot" n="6"><hi rend=""> vgl. dazu die sogenannten</hi>‘instrumental variables’ v <hi rend="">on graham sack, die eingesetzt werden, wenn keine die eigentlichen phänomene nicht messbar sind (moretti 2013:104).</hi></note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn6" place="foot" n="7"><hi rend="">vgl. dazu unsere guideline </hi>(vauth & gius 2021) unter <ptr target="http://doi.org/10.5281/zenodo.5078175" />. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn7" place="foot" n="8"> dadurch werden potentielle probleme mit den aspekten <hi rend="italic">unitizing</hi> und <hi rend="italic">sporadicity</hi> (mathet et al. 2015) verringert. die weiteren für inter annotator agreement relevanten aspekte <hi rend="italic">categorization</hi>, </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn8" place="foot" n="9"> es gibt einige zusätzliche ereigniseigenschaften gibt, die die ereignishaftigkeit eines textes determinieren und in unserem annotationsschema berücksichtigung erfahren haben. auf ihnen liegt in diesem beitrag allerdings nicht unser fokus.</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn9" place="foot" n="10"> für den vergleich filtern wir die annotationen der beiden annotator:innen so, dass sie einen etwa gleichen startpunkt haben (+/- 3 zeichen). wie bei üblichen verfahren der inter annotator agreement-messung wird so verhindert, dass zwei annotationen miteinander verglichen werden, die sich nicht auf die gleiche textspanne beziehen.</note>
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2	bibliogr	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1	listBibl	
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">artstein, ron, und massimo poesio</hi>. 2008. „inter-coder agreement for computational linguistics“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">computational linguistics</hi> 34 (4): 555–96. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1162/coli.07-034-r2"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1162/coli.07-034-r2" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">danneberg, lutz, und andrea albrecht</hi>. 2016. „beobachtungen zu den voraussetzungen des hypothetisch-deduktiven und des hypothetisch-induktiven argumentierens im rahmen einer hermeneutischen konzeption der textinterpretation“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">journal of literary theory</hi> 10 (1): 1–37. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1515/jlt-2016-0001"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1515/jlt-2016-0001" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">fricke, harald, klaus grubmüller, jan-dirk müller, und klaus weimar</hi>, hrsg. 2000. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">reallexikon der deutschen literaturwissenschaft: neubearbeitung des reallexikons der deutschen literaturgeschichte</hi>. 3., neubearb. aufl. berlin: de gruyter.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">gius, evelyn, und janina jacke</hi>. 2017. „the hermeneutic profit of annotation. on preventing and fostering disagreement in literary text analysis“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">international journal of humanities and arts computing</hi> 11 (2): 233–54. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.3366/ijhac.2017.0194"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.3366/ijhac.2017.0194" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">krippendorff, klaus</hi>. 2004. „reliability in content analysis: some common misconceptions and recommendations“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">human communication research</hi> 30 (3): 411–33. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1093/hcr/30.3.411"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1093/hcr/30.3.411" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">mathet, yann, antoine widlöcher, und jean-philippe métivier</hi>. 2015. „the unified and holistic method gamma (γ) for inter-annotator agreement measure and alignment“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">computational linguistics</hi> 41 (3): 437–79. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1162/coli_a_00227"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1162/coli_a_00227" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">moretti, franco</hi>. 2013. „‘operationalizing’. or, the function of measurement in literary theory“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">new left review</hi>, nr. 84 (dezember): 103–19.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">stöckmann, ingo</hi>. 2013. „Ästhetik“. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">handbuch literaturwissenschaft</hi>, herausgegeben von thomas anz, 1:465–91. stuttgart: j.b. metzler. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1007/978-3-476-01271-5"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1007/978-3-476-01271-5" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">vauth, michael, und gius, evelyn</hi>. 2021. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">richtlinien für die annotation narratologischer ereigniskonzepte</hi>, juli. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.5281/zenodo.5078175"> </ref> <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.5281/zenodo.5078175" />.
urn:cts:dhd:2022.vauth_michael_inter_annotator_agreement_und_intersubjektivit:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">vauth, michael, hatzel, hans ole, biemann, chris, und evelyn gius</hi>. 2021. “automated event annotation in literary texts” workshop on computational humanities research 2021. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">chr 2021: computational humanities research conference</hi>, 333–45. amsterdam, the netherlands. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="http://ceur-ws.org/vol-2989/short_paper18.pdf" />