urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:	edition	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1	body	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.1	div1	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.1.1	p	dieser theoretisch-methodologische beitrag skizziert das konzept und die erstellung von platinstandard-annotationsdaten im zusammenhang mit komplexen literaturwissenschaftlichen phänomenen. den Überlegungen liegt die idee zugrunde, dass bei der erstellung von annotationsdaten in der digitalen literaturwissenschaft je nach dem primären verwendungszweck unterschiedliche standards angesetzt werden sollten. im folgenden werde ich zunächst kurz das traditionelle konzept der goldstandard-daten vorstellen und potenzielle probleme aufzeigen (abschnitt 2). im anschluss wird das konzept des platinstandards eingeführt, das andere und striktere qualitätskontrollen für annotationsdaten vorsieht und dadurch hermeneutische literaturwissenschaftliche belange stärker berücksichtigt (abschnitt 3). abschließend wird ein best-practice-beispiel für diesen ansatz aus dem projekt caution präsentiert, das sich mit der annotation des interpretationsabhängigen phänomens des unzuverlässigen erzählens beschäftigt (abschnitt 4).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.2	div1	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.2.1	p	das konzept der gold-standard-annotationen ist so tief in der methodik der computerlinguistik verwurzelt, dass es sogar in standardlehrbüchern vorausgesetzt wird (vgl. jurafsky/martin 2022). die idee ist, dass menschen zielphänomene in korpora manuell annotieren, die dann als ground truth für das training oder die evaluierung von computermodellen dienen, die diese phänomene automatisch erkennen (vgl. wissler et al, 2014).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.2.2	p	im kontext der digitalen literaturwissenschaft wirft dies gegensätzliche probleme auf.<ref xmlns="http://www.tei-c.org/ns/1.0" n="1" target="ftn1" /> zum einen ist die erstellung von ausreichend großen gold-standard-korpora extrem arbeits- und zeitintensiv. zum anderen kann es je nach annotationsverfahren und annotierten phänomenen zu qualitätsmängeln bei den annotationen kommen. eine möglichkeit, das erste problem zu adressieren, sind silberstandard-annotationen (vgl. rebholz-schumann et al., 2019), d. h. kombinierte, automatisch generierte annotationen, die „provide a level of annotation quality that is better than unchecked output of automated processing, even though it might not reach gold standard“ (schweitzer et al., 2018).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.2.3	p	das zweite problem wird durch verstärkte maßnahmen zur sicherung der qualität manueller annotationen angegangen, z. b. durch die annotation eines textes durch mehrere annotator:innen, um idiosynkratische entscheidungen zu verhindern, oder durch iterationsschleifen mit verfeinerten annotationskategorien/-richtlinien (vgl. gius und jacke, 2017; reiter, 2020). in der regel werden in solch einem setting nur einstimmige annotationen verwendet. diese annotationen sind als goldstandard für die evaluation oder das training besser geeignet, da sie die tatsächlichen zielphänomene adäquater widerspiegeln.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3	div1	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3.1	p	die annotation komplexer literarischer phänomene (vgl. gius, 2019) erfordert jedoch manchmal eine noch strengere qualitätskontrolle. allein durch multi-annotatoren-settings und iterationsschleifen kann nicht sichergestellt werden, dass einstimmige annotationen fundierten daten entsprechen und widersprüchliche entscheidungen tatsächlich unentscheidbare fälle darstellen. im gegensatz zu vielen traditionellen nlp-aufgaben reicht die intuition kompetenter muttersprachler:innen (auch bei kenntnis der relevanten literaturwissenschaftlichen terminologie) nicht aus, um intuitiv adäquate entscheidungen zu treffen, da die erkennung einiger literarischer phänomene in einem text stark auf verschiedenen impliziten annahmen und schlussfolgerungen beruht (vgl. kuhn, 2023).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3.2	p	gerade in fällen, in denen das primäre ziel der annotation nicht die möglichst zeitnahe automatisierung der annotationsaufgabe darstellt, um auf großen korpora beispielsweise einen historischen Überblick über die (ungefähre) entwicklung literarischer phänomene zu erlangen, sondern hermeneutische fragen im fokus stehen, kann die digitale literaturwissenschaft von platinstandard-annotationen profitieren. darunter sind annotationen zu verstehen, die nicht durchschnittliche bzw. mehrheitliche menschliche entscheidungen widerspiegeln, sondern <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">gut begründete</hi>: annotator:innen sollen in solch einem kontext annahmen und schlussfolgerungen, die zu annotationen führen, dokumentieren, systematisieren, diskutieren und reflektieren.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3.3	p	in einigen forschungsprojekten im feld der digitalen literaturwissenschaft sind bereits diskursive prozesse zur optimierung von annotationen implementiert (vgl. z.b. gius und jacke, 2017, andresen et al., 2022, gödeke et al., 2022). obwohl die so produzierten annotationen innerhalb dieser projekte teilweise als „goldstandard“ bezeichnet werden (gödeke et al. 2022), weisen sie durch die diskussion (u. u. mit anschließender revision) elemente des hier vorgeschlagenen konzepts des platinstandards auf. ich möchte indes als bedingungen für platinstandard-annotationen vorschlagen, dass der diskursive aushandlungs- bzw. begründungsprozess von annotationen stärker regelgeleitet vorgenommen und systematisch dokumentiert werden sollte. in diesem rahmen können dann auch die kriterien entwickelt und expliziert werden, nach denen entschieden wird, unter welchen umständen annotationen bearbeitet werden sollten und in welchen fällen etwa auch uneinigkeit zwischen annotator:innen bestehen bleiben darf.<ref xmlns="http://www.tei-c.org/ns/1.0" n="2" target="ftn2" /> durch derartige kriterien ergibt sich die möglichkeit einer (fachlich begründeten und vorerst nicht automatisierbaren) evaluation der annotationen – denn inter-annotator agreement ist, wie auch andresen et al. anmerken, bei komplexen und interpretationsabhängigen annotationsaufgaben nicht immer ein angemessenes evaluationsmittel (vgl. andresen et al., 2022).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3.4	p	im folgenden soll ein mögliches vorgehen zu erstellung von platinstandard-annotationen anhand eines konkreten beispiels aus dem projekt caution illustriert werden. die hier vorgestellte methode der nutzung von argumentbäumen hat vor dem hintergrund der obigen ausführungen folgende vorteile: (1) sie bietet die möglichkeit einer systematischen dokumentation von argumentations- und aushandlungsprozessen. (2) einige der evaluationskriterien liegen bereits zu beginn offen und können durch die gewählte dokumentationsform leichter überprüft werden, andere können im prozess entwickelt bzw. identifiziert werden. (3) die vorgestellte methode hat den vorteil, dass nicht grundsätzlich nur solche annotationen auf den prüfstand gestellt werden, bezüglich derer uneinigkeit unter den annotator:innen herrscht.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.3.5	p	die im folgenden exemplarisch erläuterte methode der nutzung von argumentbäumen ist zwar nicht die einzige möglichkeit, begründungs- und aushandlungsprozesse bei der entwicklung von platinstandard-annotationen zu systematisieren und zu dokumentieren – sie lässt sich aber (ggf. mit modifikationen) generell auf annotationsvorhaben anwenden, bei denen die annotationen auf hermeneutischen prozessen basieren.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4	div1	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.1	p	im projekt caution (computer-aided analysis of unreliability and truth in fiction – interconnecting and operationalizing narratology) wird das interpretationsabhängige phänomen des unzuverlässigen erzählens – genauer: ein teilkonzept mimetischer unzuverlässigkeit (vgl. kindt, 2008) – im rahmen eines mehrgleisigen zugangs untersucht, bei dem jeweils mit unterschiedlichem primären erkenntnisinteresse silber-, gold- und platinstandard-annotationen erstellt werden (vgl. jacke, 2023). die hier untersuchte form von unzuverlässigkeit liegt vor, wenn die erzählfigur in einem fiktionalen text inkorrekte behauptungen über die fiktive welt äußert.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.2	p	im folgenden soll der fokus auf der vorstellung des im projekt umgesetzten prozederes für die erstellung der platinstandard-annotationen liegen. da diese allerdings auf (einer literaturwissenschaftlichen entsprechung von) goldstandard-annotationen aufbauen, wird deren genese ebenfalls kurz erläutert.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.3	p	für die erstellung der goldstandard-annotationen wurden zunächst neun deutschsprachige erzählungen aus der zeit zwischen dem 19. und dem 21. jahrhundert<ref xmlns="http://www.tei-c.org/ns/1.0" n="3" target="ftn3" /> mithilfe des programms catma auf der basis gemeinsamer annotationsrichtlinien annotiert. dabei haben mindestens drei annotatorinnen denselben text bearbeitet, wobei teilsätze, die eine inkorrekte behauptung über die fiktive welt enthalten, als „incorrect statement“ und unentscheidbare teilsätze als „undecided“ ausgezeichnet werden sollten. rechtfertigung oder diskussion von annotationsentscheidungen waren dabei nicht teil des prozederes. um trotz der interpretationsabhängigkeit des phänomens (die zum einen in der kategorie „undecided“, zum anderem im erwartungsgemäß niedrigen inter-annotator agreement zum ausdruck kommt, vgl. blessing et al., 2024) einen gemeinsamen datensatz zu kreieren, der als literaturwissenschaftliche entsprechung von goldstandard-daten verstanden werden kann, wurden die daten auf eine bestimmte weise zusammengeführt: alle annotierten passagen erhalten einen dezimalwert, der widerspiegelt, wie oft „incorrect statement“ (1,0) und „undecided“ (0,5) gewählt wurde (addition der werte aller annotator:innen für die passage geteilt durch zahl der annotator:innen). das ergebnis stellt einen durchschnittlichen wert der sicherheit dar, mit der menschliche annotator:innen einer passage vergleichsweise intuitiv unzuverlässiges erzählen zuschreiben.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.4	p	für ein hermeneutisch besonders interessantes teilkorpus<ref xmlns="http://www.tei-c.org/ns/1.0" n="4" target="ftn4" /> wird zur erstellung von platinstandard-annotationen eine iterationsschleife mit einem experimentellen setting hinzugefügt. einschätzungen zur mimetischen unzuverlässigkeit von erzählinstanzen, insbesondere die feststellung inkorrekter Äußerungen, basieren auf einer gesamtinterpretation des textes im hinblick auf die fiktive welt (vgl. kindt, 2008, 53). diese art der interpretation lässt sich als inhaltsspezifizierende ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">content-specifying</hi>) interpretation bezeichnen (vgl. folde, 2015). im rahmen der ersten intuitiven annotationsrunde liegen den annotationsentscheidungen solche interpretationen in der regel implizit und unvollständig zugrunde. in der iterationsschleife zur erstellung der platinstandard-annotationen sollen diese interpretationen der annotator:innen nicht nur explizit gemacht, sondern auch in einem kollaborativen prozess optimiert werden. diesem anspruch liegt die annahme zugrunde, dass (auch inhaltsspezifizierende) interpretationen literarischer texte zwar legitimerweise variieren können (z.b. aufgrund von textueller mehrdeutigkeit, unterschiedlicher fokussetzung oder verschiedener interpretationstheoretischer ansätze), dass interpretationen aber zugleich argumentativ gut untermauert sein sollten (vgl. descher und petraschka, 2018).
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.5	p	um interpretationen und argumentationen gut strukturiert und möglichst vergleichbar zu visualisieren, werden die annotatorinnen gebeten, im argument-visualisierungs-modus des programms mindmup<ref xmlns="http://www.tei-c.org/ns/1.0" n="5" target="ftn5" /> individuell einen argumentbaum zu erstellen, bei dem eine these über die zuverlässigkeit bzw. unzuverlässigkeit der erzählfigur des jeweiligen textes die hauptthese bildet,<ref xmlns="http://www.tei-c.org/ns/1.0" n="6" target="ftn6" /> die dann durch unterschiedliche argumente bzw. prämissen gestützt wird.<ref xmlns="http://www.tei-c.org/ns/1.0" n="7" target="ftn7" /> ein beispiel für einen solchen argumentbaum (hier für den text „meine falschen eltern“ von katharina bendixen, vgl. bendixen, 2012) findet sich in abb. 1. der argumentbaum ist folgendermaßen zu lesen: jeder knoten (konklusion) wird durch die mit ihm verbundenen darunterliegenden knoten (prämissen) gestützt. prämissen können wiederum selbst argumentativer stützung bedürfen. sie werden dann ebenfalls zu konklusionen, die durch darunterliegende prämissen gestützt werden. sind mehrere prämissen gemeinsam teil eines arguments, wird dies durch eine horizontale klammer über den relevanten prämissen visualisiert. die prämissen sind in erster instanz hauptsächlich thesen über die fiktive welt des textes, in späterer instanz sind sie dann aber oft anderen typen zugehörig – einen besonders wichtigen typ bilden konkrete textstellen aus dem relevanten literarischen text.<ref xmlns="http://www.tei-c.org/ns/1.0" n="8" target="ftn8" />
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.6	p	nachdem jede annotatorin einen argumentbaum erstellt hat, werden die einzelnen bäume in der annotatorinnengruppe untersucht und diskutiert. dabei sollen stellen identifiziert werden, an denen die argumentationsstruktur nicht korrekt ist (bilden vertikale kanten wirklich prämissen-konklusion-zusammenhänge ab?), an denen thesen nicht ausreichend begründet erscheinen<ref xmlns="http://www.tei-c.org/ns/1.0" n="9" target="ftn9" /> und an denen mögliche gegenargumente unberücksichtigt bleiben. zudem soll geprüft werden, ob die argumentbäume relevante textmerkmale erklären bzw. relevante fragen (hier: über die fiktive welt) erklären kann. relevante kriterien sind hier also u.a. plausible schlussregeln (wobei regeln für literaturwissenschaftliche argumentation teilweise im detail erst noch ausgehandelt werden müssen), plausibilität von prämissen (wobei sich die einschätzung je nach interpretationstheoretischem ansatz unterscheiden kann), entkräftigung von gegenargumenten sowie kohärenz/reichweite. die annotatorinnen haben in den diskussionen die möglichkeit, auf die einwände zu reagieren, und können im anschluss ihre argumentbäume überarbeiten, um den einwänden zu begegnen.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.4.7	p	das ziel dieses vorgehens besteht nicht darin, dass die annotatorinnen sich am ende auf eine inhaltsspezifizierende interpretation, eine argumentation oder gar auf einen argumentbaum einigen. es geht lediglich darum, die impliziten und intuitiven interpretationen, die den unzuverlässigkeitsannotationen zugrunde liegen, explizit zu machen, in einem diskursiven verfahren auf den prüfstand zu stellen und möglichst gut argumentativ zu stützen. nach abgeschlossener arbeit an den argumentbäumen überarbeiten die annotatorinnen auf dieser argumentativen basis ihre vormals intuitiven unzuverlässigkeitsannotationen.<ref xmlns="http://www.tei-c.org/ns/1.0" n="10" target="ftn10" />
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.5	div1	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.5.1	p	auf die dargestellte weise lassen sich für ein relevantes teilkorpus platinstandard-annotationen erstellen, also gut begründete annotationen für interpretationsabhängige literarische phänomene. diese daten sind literaturwissenschaftlich belastbare hermeneutische annotationen, die sowohl reflektierte informationen über die literarischen texte enthalten (etwa im vergleich der annotationsversionen) als auch theoretische und methodologische einblicke erlauben (etwa in die interpretationsabhängigkeit der annotationen). zudem werden mit den argumentbäumen und den vorarbeiten<ref xmlns="http://www.tei-c.org/ns/1.0" n="11" target="ftn11" /> weitere auswertbare datensätze generiert, die die möglichkeit bieten, eine brücke zwischen den arbeitsfeldern digitale literaturwissenschaft und computational argumentation (vgl. z.b. habernal und gurevych, 2016) zu schlagen, um die spezifika literaturwissenschaftlichen argumentierens in den blick zu rücken.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:1.5.2	p	aufgrund des umfangreichen prozederes sind die generierten datensätze in der regel zu klein, um unmittelbar ml-modelle zu trainieren. wenn allerdings durch gemeinsame anstrengungen und über mehrere jahre hinweg ein ausreichend großes platinstandard-korpus für ein komplexes phänomen generiert werden kann, um modelle zu trainieren, könnte sogar die aussicht bestehen, parametrisierte automatische annotationen zu erhalten, die annotationen relational zu bestimmten grundannahmen und -argumenten generieren. bis dahin kann (auch innerhalb eines projekts) parallel mit verschiedenen standards gearbeitet werden, so dass beispielsweise einerseits mittels silber- oder goldstandard-annotationen ein computermodell als annäherung an ein literaturwissenschaftliches phänomen, andererseits mittels platinstandard-annotationen ein literaturwissenschaftlich belastbarer datensatz für besonders interessante einzeltexte generiert wird.
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2	back	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn1" n="1"> probleme mit goldstandard-annotation im bereich des nlp werden in kovář et al., 2016 diskutiert. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn2" n="2"> bei andresen et al. werden als kriterien „plausibility, consistency and formal correctness of the annotations“ genannt (andresen et al. 2022), wobei allerdings offenbleibt, wie etwa die konsistenz auf den prüfstand gestellt oder wie plausibilität definiert wird. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn3" n="3"> zu den kriterien für die korpuserstellung siehe blessing et al., 2024. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn4" n="4"> das können beispielsweise texte sein, in denen besonders viele unzuverlässigkeitsannotationen vorkommen oder in denen sich die annotator:innen besonders uneinig sind, das iaa also besonders niedrig ist. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn5" n="5"> im kontext von caution ist die wahl auf die intuitiv und kollaborativ nutzbare software mindmup gefallen ( <ref target="https://www.mindmup.com/mindmup-gold/">https://www.mindmup.com/mindmup-gold/</ref>, 22.07.2024). es ließe sich aber mit anderer software experimentieren, die durch mehr codierungsoptionen weitere analysen der argumentationsdaten zulässt, etwa mit argdown ( <ref target="https://argdown.org/">https://argdown.org/</ref>, 22.07.2024). </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn6" n="6"> das verhältnis zwischen ‚pauschalen‘ aussagen über die zuverlässigkeit von erzählinstanzen einerseits und der textstellenbasierten feststellung inkorrekter aussagen andererseits ist nicht trivial. eine plausible these wäre, dass erzählinstanzen dann als (mimetisch) unzuverlässig bezeichnet werden, wenn ihre inkorrekten aussagen einen grenzwert erreichen, der sich aus häufigkeit, intensität und interpretatorischer relevanz zusammensetzt (vgl. jacke, 2020, 180–182). dieser zusammenhang wird in caution ebenfalls untersucht, steht aber nicht im fokus. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn7" n="7"> vorbild für die arbeit mit argumentbäumen im literaturwissenschaftlichen bereich ist das projekt argulit (vgl. descher et al., 2023), in dem argumentbäume allerdings zur rekonstruktion von argumentationen in literaturwissenschaftlichen interpretationstexten genutzt wurden und nicht, wie hier, als heuristisches werkzeug zur explizierung und kollaborativen verbesserung eigener interpretationen und annotationen. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn8" n="8"> als methodische heranführung an die erstellung eines argumentbaums erstellen die annotatorinnen (zumindest für den ersten analysierten text) zunächst eine liste relevanter fragen über die fiktive welt sowie mögliche antworten. im anschluss wird ein knapper text verfasst, der diese fragen beantwortet und argumentativ stützt. in einem letzten schritt wird dieser text in einen argumentbaum überführt. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn9" n="9"> <hi style="font-size:10pt">im zusammenhang mit literaturwissenschaftlicher argumentation sind argumente oft nicht formal (deduktiv) schlüssig. was als hinreichend argumentativ gestützt gilt, ist hier also ebenfalls teil des diskursiven aushandlungsprozesses.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn10" n="10"> zum verfassungszeitpunkt dieses abstracts läuft der prozess der Überarbeitung der annotationen noch – bis märz 2025 werden aber für mehrere texte alle daten vorliegen, so dass im vortrag auch die überarbeiteten mit den intuitiven annotationen verglichen werden können. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn11" n="11"> siehe fußnote 8. </note>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2	bibliogr	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1	listBibl	
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">andresen, melanie, benjamin krautter, janis pagel und nils reiter</hi>. 2022. „who knows what in german drama? a composite annotation scheme for knowledge transfer. annotation, evaluation, and analysis”.</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">journal of computational literary studies</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> 1 (1). </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.48694/jcls.107"> <hi style="font-size:11pt">https://doi.org/10.48694/jcls.107</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">bendixen, katharina</hi>. 2012. „meine falschen eltern“. in dies.: </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">gern, wenn du willst</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. poetenladen: leipzig.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">blessing, andré, janina jacke und jonas kuhn</hi>. 2024. „agreement und kookkurrenz bei unzuverlässigem erzählen. ziele, herausforderungen und erste ergebnisse aus dem projekt caution“. in </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">dh quo vadis? dhd 2024 passau. konferenzabstracts</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. doi: 10.5281/zenodo.10686564.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">descher, stefan, merten kröncke und simone winko</hi>. 2023. „wie plausibilisieren literaturwissenschaftler*innen ihre interpretationen? das dfg-projekt ‚das herstellen von plausibilität in interpretationstexten. untersuchungen zur argumentationspraxis in der literaturwissenschaft‘ (argulit)“. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">sonderausgabe 7 von textpraxis</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (2.2023). </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.textpraxis.net/descher-kroencke-winko-wie-plausibilisieren-literaturwissenschafter-ihre-interpretationen"> <hi style="font-size:11pt">https://www.textpraxis.net/descher-kroencke-winko-wie-plausibilisieren-literaturwissenschafter-ihre-interpretationen</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">descher, stefan und thomas petraschka</hi>. 2019.</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">argumentieren in der literaturwissenschaft. eine einführung</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. ditzingen: reclam.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">folde, christian</hi>. 2015. „grounding interpretation“. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">british journal of aesthetics</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> 55 (3), 361–374.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">gius, evelyn</hi>. 2019. „computationelle textanalysen als fünfdimensionales problem. ein modell zur beschreibung von komplexität“. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">litlab pamphlet</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> 8, hrsg. v. thomas weitin. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.digitalhumanitiescooperation.de/wp-content/uploads/2019/12/pamphlet_gius_2.0.pdf"> <hi rend="color(1155cc)" style="font-size:11pt">https://www.digitalhumanitiescooperation.de/wp-content/uploads/2019/12/pamphlet_gius_2.0.pdf</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">gius, evelyn und janina jacke</hi>. 2017. „the hermeneutic profit of annotation. on preventing and fostering disagreement in literary analysis”. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">international journal of humanities and arts computing</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> 11 (2), 233–254.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">gödeke, luisa, florian barth, tillmann dönicke, hanna varachkina, anna mareike weimer, benjamin gittel, anke holler und caroline sporleder</hi>. 2022. „generalisierungen als literarisches phänomen. charakterisierung, annotation und automatische erkennung“. in </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">zeitschrift für digitale geisteswissenschaften</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> 7. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://zfdg.de/2022_010"> <hi style="font-size:11pt">https://zfdg.de/2022_010</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 3. dezember 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">habernal, ivan und iryna gurevych</hi>. 2016. „which argument is more convincing? analyzing and predicting convincingness of web arguments using bidirectional lstm“. in </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">proceedings of the 54th annual meeting of the association for computational linguistics</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve">, 1589–1599. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://aclanthology.org/p16-1150.pdf"> <hi style="font-size:11pt">https://aclanthology.org/p16-1150.pdf</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">jacke, janina</hi>. 2020. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">systematik unzuverlässigen erzählens. analytische aufarbeitung und explikation einer problematischen kategorie</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. berlin und boston: de gruyter.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">jacke, janina</hi>. 2023. „die (computationelle?) operationalisierung unzuverlässigen erzählens. ein beitrag zur theorie und methodik literaturwissenschaftlichen interpretierens“. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">sonderausgabe 7 von textpraxis</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (2.2023). </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.textpraxis.net/janina-jacke-operationalisierung-unzuverlaessigen-erzaehlens"> <hi rend="color(1155cc)" style="font-size:11pt">https://www.textpraxis.net/janina-jacke-operationalisierung-unzuverlaessigen-erzaehlens</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">jurafsky, daniel und james h. martin</hi>. 2022.</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">speech and language processing. an introduction to natural language processing, computational linguistics, and speech recognition</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve">. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://web.stanford.edu/~jurafsky/slp3/ed3book_jan122022.pdf"> <hi rend="color(1155cc)" style="font-size:11pt">https://web.stanford.edu/~jurafsky/slp3/ed3book_jan122022.pdf</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.14	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">kindt, tom</hi>. 2008.</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">unzuverlässiges erzählen und literarische moderne. eine untersuchung der romane von ernst weiß</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. tübingen: niemeyer.</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.15	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">kovář, vojtěch, miloš jakubíček und aleš horák</hi>. 2016. „on evaluation of natural language processing tasks – is gold standard evaluation methodology a good solution?“ in </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">proceedings of the 8th international conference on agents and artificial intelligence</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (icaart 2016), bd. 2, 540–545. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.scitepress.org/papers/2016/58248/58248.pdf"> <hi rend="color(1155cc)" style="font-size:11pt">https://www.scitepress.org/papers/2016/58248/58248.pdf</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.16	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">kuhn, jonas</hi>. 2023. „empirie – beschreibung – interpretation. Über den platz von computermodellen in den hermeneutisch-historisch orientierten literaturwissenschaften“. in</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">digitale literaturwissenschaft. dfg symposium 2017</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve">, hg. von fotis jannidis. springer. 57–95. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://link.springer.com/chapter/10.1007/978-3-476-05886-7_4"> <hi style="font-size:11pt">https://link.springer.com/chapter/10.1007/978-3-476-05886-7_4</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (22.07.2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.17	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">rebholz-schuhmann, dietrich, antonio josé jimeno yepes, erik m. van mulligen, ning kang, jan kors, david milward, peter corbett, ekaterina buyko, katrin tomanek, elena beisswanger und udo hahn</hi>. 2010. „the calbc silver standard corpus for biomedical named entities — a study in harmonizing the contributions from four independent named entity taggers“. in</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">proceedings of the seventh international conference on language resources and evaluation (lrec'10)</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">, 568–573.</hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://aclanthology.org/l10-1609/"> <hi rend="color(1155cc)" style="font-size:11pt">https://aclanthology.org/l10-1609/</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.18	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"><hi rend="bold">reiter, nils</hi>. 2020. anleitung zur erstellung von annotationsrichtlinien. </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">reflektierte algorithmische textanalyse</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve">, ed. by nils reiter, axel pichler und jonas kuhn. de gruyter, 193–198, </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.degruyter.com/document/doi/10.1515/9783110693973-009/html"> <hi rend="color(1155cc)" style="font-size:11pt">https://www.degruyter.com/document/doi/10.1515/9783110693973-009/html</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.19	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">schweitzer, katrin, kerstin eckart, markus gärtner, agnieszka falenska, arndt riester, ina rösiger, antje schweitzer, sabrina stehwien und jonas kuhn</hi>. 2018. german radio interviews: the grain release of the sfb732 silver standard collection. in</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt">proceedings of the eleventh international conference on language resources and evaluation (lrec 2018)</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve">. </hi> <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://aclanthology.org/l18-1457/"> <hi rend="color(1155cc)" style="font-size:11pt">https://aclanthology.org/l18-1457/</hi> </ref> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt" xml:space="preserve"> (zugegriffen: 22. juli 2024).</hi>
urn:cts:dhd:2025.jacke_janina_platinstandard_annotation_in_der_digitalen_lite:2.2.1.20	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt"><hi rend="bold">wissler, lars, mohammed almashraee, dagmar monett und adrian paschke</hi>. 2014. „the gold standard in corpus annotation“. in</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" style="font-size:11pt" xml:space="preserve"> proceedings of 5th ieee germany student conference</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" style="font-size:11pt">. doi: 10.13140/2.1.4316.3523.</hi>