urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:	edition	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1	body	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.1	div1	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.1.1	p	Analysen der Computational Literary Studies (CLS) vorverarbeiten ihre Untersuchungsgegenstände typischerweise mit Tools des Natural Language Processing (NLP). Dabei weichen literarische Texte aufgrund ihrer historischen und/oder ästhetischen Eigenart teils eklatant von den Daten ab, auf deren Grundlage die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Models</hi> der NLP-Tools erstellt wurden. Entsprechend sinkt die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Accuracy</hi> der Tools etwa bei der Tokenisierung, der Lemmatisierung oder dem POS-Tagging von literarischen Texten (Scheible et al. 2011; für POS-Tagger: Rayson et al. 2007; Herrmann 2018; Bamman 2020), wobei die besondere ‘Schwierigkeit’ literarischer Texte alle gängigen Tools zu betreffen scheint (für Lemmatisierung vgl. Ortmann, Roussel, Dipper 2019: 219).
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.1.2	p	Der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Performance Drop</hi> der NLP-Tools bei Literatur ist ein computerlinguistisches Problem der Domänenadaption. Für die CLS könnte die ‘Fehlerhaftigkeit’ der Tools im Sinne devianzpoetischer Positionen (Fricke 1981) zudem die Möglichkeit bieten, ein computationelles Verständnis vom spezifischen Abweichungscharakter literarischer Texte auszubilden: Wenn die Tools für standardsprachliche Texte entwickelt wurden, dann könnten die Fehler, die diese Tools auf nicht-standardsprachlichen Texten wie der Literatur produzieren, etwas über deren Charakteristika aus computationeller Sicht verraten.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.1.3	p	Das folgende Experiment geht von dieser basalen Überlegung aus. Gegenstand des Experiments ist die Lyrik, der regelmäßig eine “Tendenz zu erhöhter Devianz” (Müller-Zettelmann 2000: 100) attestiert wird, die sich in Form gattungsspezifischer “Störungen” (Zymner 2019: 29f.) ausdrückt. Wir entwickeln eine Pipeline, die gezielt ‘Fehler’ von NLP-Tools provoziert und diese ‘Fehler’ regelbasiert typologisiert. Damit möchten wir für die CLS auch exemplarisch den Ansatz des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Tool Misuse</hi> profilieren, bei dem die Erzeugung von ‘fehlerhaftem’ Output computationeller Tools Grundlage für Erkenntnisse über Literatur wird.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.2	div1	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.2.1	p	Fehler von Tools wären idealerweise über Daten mit Gold-Standard-Annotationen zu ermitteln. Solche Daten liegen für unser Szenario nicht vor. Deshalb implementieren wir als Workaround eine Pipeline, die folgende Idee umsetzt: Die Verarbeitung einer Zeichenkette durch ein NLP-Tool (Tokenisierung, Lemmatisierung, POS-Tagging) sollte eine Zeichenkette ergeben, die in einem Wörterbuch zu finden ist: Die Ausgabe, die aus der Eingabe “gehst” resultiert, sollte sich als Lemma “gehen” der Wortart “Verb” in einem Wörterbuch finden. Da wir nicht die spezifischen Sprachverarbeitungsprobleme eines individuellen NLP-Tools in den Blick nehmen wollen, lassen wir unser Lyrikkorpus von mehreren Tools prozessieren und betrachten jene Types als potenzielle Fehler, deren von den Tools ausgegebene Lemmata (inkl. POS-Tag) wir nicht in einem Wörterbuch finden.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.2.2	p	Prozessiert wird ein deutsches kanonbasiertes Korpus mit ‘prototypischer’ Lyrik, das Texte von 12 Autor:innen umfasst, die in der statistisch begründeten Anthologie von Braam (2019) am häufigsten mit Gedichten vertreten sind. Ins Korpus aufgenommen wurden sämtliche im TextGridRepository<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn1" n="1" /> verfügbaren Gedichte der 12 Autor:innen (Goethe, Schiller, Hölderlin, Eichendorff, Heine, Droste-Hülshoff, Claudius, Mörike, Storm, Rilke, Trakl, Tucholsky).<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn2" n="2" /> Zur eklatanten Unterrepräsentation von Autorinnen im Lyrikkanon siehe (Bers 2020). Vergleichend verwenden wir ein Prosakorpus mit 100 deutschsprachigen Romanen aus dem 19. Jahrhundert, zusammengestellt aus dem TextGridRepository und Projekt Gutenberg<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn3" n="3" />; Grundlage für die Romanauswahl ist die Erwähnung in Beutin et al. (2019).
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.2.3	p	Unsere ‘Fehler-Pipeline’ präferiert <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Recall</hi> vor <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Precision</hi>. Sie produziert also zunächst Indizien für potenzielle Fehler. Eine größere Menge an <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">False Positives</hi> ist zu erwarten, etwa weil wir <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Out-of-Vocabulary</hi>-Wörter der verwendeten Wörterbücher prozessieren.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.3	div1	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.3.1	p	Die in die Pipeline eingespeisten Textdateien (txt-Format) werden tokenisiert, POS-tagged und lemmatisiert (Abb. 1). Um potenzielle Fehler als taggerspezifische Fehler einzuordnen, verwenden wir vier NLP-Tools. Diese sind frei verfügbar, stellen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Models</hi> für das Deutsche bereit und führen alle NLP-Schritte durch. Den RNNTagger (Schmid 2019) (im Folgenden “RNN”) und stanza (Qi et al. 2020) haben wir aufgrund der guten Performance nach Ortmann et al. (2019) ausgewählt. Die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Models</hi> beider Tools sind neuronal. Zusätzlich verwenden wir spacy (Honnibal et al. 2020), das für das Deutsche ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Transformer Model</hi> (de_dep_news_trf) zur Verfügung stellt. Um auch einen nicht-neuronalen Tagger aufzunehmen, verwenden wir den TreeTagger (Schmid 1994; Schmid 1995) (im Folgenden “Tree”), der auf Grundlage von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Decision Trees</hi> annotiert.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.3.2	p	Bei der Verb-Rekonstruktion werden abgetrennte Verbpartikel regelbasiert (mithilfe von POS-Tag und Abstandsmaßen) an das dazugehörige Lemma des Verbs angefügt. Die darauffolgende Fehlerbetrachtung ist auf dem Vergleich der Lemmata mit Wörterbüchern gestützt. Da wir erwarten, dass Fehler, die ihren Ursprung in der Domänenspezifität haben, sich hauptsächlich auf Inhaltswörter, d.i. Nomen (NOUN), Verben (VERB) und Adjektive (ADJ), beschränken, werden der Wörterbuchvergleich und die darauffolgenden Schritte nur für diese Wortarten durchgeführt.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.3.3	p	Die Lemmata werden unter Berücksichtigung der Wortart in der lexikalisch-semantischen Ressource GermaNet<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn4" n="4" /> (Hamp & Feldweg 1997; Henrich & Hinrichs 2010), die 146.787 Lemmata (ADJ, NOUN, VERB) umfasst, sowie im Digitalen Wörterbuch der deutschen Sprache (DWDS)<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn5" n="5" /> (Klein & Geyken 2010) nachgeschlagen, das über 230.000 Wörter umfasst.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.3.4	p	Für jeden Type erzeugen wir Listen von Lemmata pro Tool. Für die 5.144 Gedichttexte ergibt das eine Typezahl von 70.422 (Tab. 1, Spalte “all”), die je nach Tagger aufgrund verschiedener Tokenisierung und POS-Tagging zu unterschiedlichen Tokenzahlen führt. Um zu verhindern, dass Fehler toolspezifisch sind, werten wir einen Type nur dann als potenziellen Fehler, wenn mindestens zwei Tools den Type lemmatisiert haben und kein Lemma aus den Listen im Wörterbuch gefunden wurde (Tab. 01, Spalte “pFail”). Diese potenziellen Fehler werden regelbasiert in Fehlertypen eingeteilt.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4	div1	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4.1	div2	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4.1.1	p	Auf dem pFail-Set führen wir eine regelbasierte Typologisierung durch. Die Typen postulieren wir ausgehend von manuellen Inspektionen des pFail-Set. Für jeden Typen wird eine Regel formuliert. Die Regeln werden daraufhin in einer spezifischen Reihenfolge auf das pFail-Set angewendet. Mehrfachtypisierungen sind nicht möglich; die Reihenfolge der Regelanwendung hat mithin Konsequenzen für die Menge an jeweils identifizierten Vorkommnissen. Die Reihenfolge lautet: CONTRACT, ELISION_APO, PUNC, SHORT, COMP_DASH, COMP, PART_ADJ, ELISION_SIMPLE, ORTH_UPPER, ORTH_SZ, PREFIXED, EPITHESIS, ELISION_END. Die Typendefinitionen führt Tab. 2 auf.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4.2	div2	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4.2.1	p	53,33 % der Types im pFail-Set für Lyrik und 59,88 % der Types im pFail-Set für Prosa werden identifiziert (vgl. Tab. 3). Die identifizierten Typen können zu Gruppen zusammengefasst werden: PUNC und SHORT sind überwiegend unterhalb der Wortebene anzusiedelnde Zeichen, meist Rauschen, das bei Lyrik und Prosa in vergleichbarem Umfang auftaucht. ORTH_SZ dokumentiert den ebenfalls bei Lyrik und Prosa vergleichbar ausgeprägten Effekt der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Historischen Orthographie</hi>, die in unseren Korpora durch Modernisierungen bereits weitgehend abgefangen ist. Ein weiterer Normalisierungsschritt etwa mit dem DTA::CAB-Webservices<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn7" n="7" /> könnte hier Abhilfe schaffen.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.4.2.2	p	Die 10 weiteren Typen lassen sich zu drei Gruppen zusammenführen. COMP_DASH, COMP, PART_ADJ, PREFIXED versammeln <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kreative Lexik</hi>, d.i. Wortbildungsmechanismen (Komposition, Derivation); hier handelt es sich häufig um <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Out-of-Vocabulary</hi>-Wörter, also um Pipelinefehler, nicht um Toolfehler. Bei der Lyrik lassen sich 45,25 % des “pFail”-Sets dieser Gruppe zuweisen, bei der Prosa 57,09 %. Eine erwartungsgemäß höhere Fehlerrate für Lyrik (0,62 %) als für Prosa (0,02 %) produziert die Pipeline bei ORTH_UPPER, mit dem – in Form der versinitialen Großschreibung – eine Eigenart <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Lyrischer Typographie</hi> identifiziert wird. Ebenfalls höher ist die Gruppe <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Prosodische Deformation</hi>, bestehend aus ELISION_APO, ELISION_SIMPLE, ELISION_END, EPITHESIS, CONTRACT, die bei der Lyrik 6,62 % des pFail-Sets, bei der Prosa 1,93 % des pFail-Sets beschreibt. Da im Prosakorpus umfangreich auch direkte Rede enthalten ist, liegt die Annahme nahe, dass die Deformationen hier tatsächlich auf die metrisch-bedingte Hinzufügung bzw. Tilgung von Vokalen zurückzuführen ist.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.5	div1	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.5.1	p	Zu resümieren, dass die spezifisch lyrische ‘Störung’ für die NLP-Tools insbesondere aus der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Prosodischen Deformation</hi> des Wortmaterials und den Eigenarten der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Lyrischen Typographie</hi> resultiert, wohingegen die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Kreative Lexik</hi> (für die zudem präzisere Regeln notwendig wären) auch bei der Prozessierung literarischer Prosa erhebliche Schwierigkeiten bereitet, erweist sich nicht nur angesichts fehlender Signifikanztests als zu einfach. Denn darüber hinaus ist erstens unsere Pipeline noch zu grob gebaut: zu viele potenzielle Fehler sind, wie etwa bei der kreativen Lexik, faktisch keine Tool-Fehler, sondern Pipelinefehler. Zweitens vermag unsere regelbasierte Typologisierung mit 53,33 % nur etwa die Hälfte des pFail-Sets zu beschreiben.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.5.2	p	Darin zeigen sich zwei Felder für Anschlussforschungen: Erstens wäre zu erproben, ob sich bessere Pipelines für die automatisierte NLP-Tool-Fehleridentifikation ohne Annotationsdaten konzipieren lassen, dafür wäre es hilfreich, die Pipeline auf einem kleinen Set an Gold-Standard-Annotationen zu evaluieren; zweitens könnte auf der Grundlage unserer Pipeline gegen die Baseline von 53,33 % das regelbasierte Typologisierungsverfahren optimiert werden. Die manuelle Annotation einer kleinen Sammlung von Gedichten mit Informationen zum Abweichungscharakter jedes einzelnen Wortes würde es ermöglichen, unsere Annahme, dass unser Verständnis der Devianz durch die Nutzbarmachung des Problems der Domänenadaption von NLP-Tools operationalisiert werden kann, zu prüfen. So könnte sichergestellt werden, dass wir durch die Fehlertypisierung der NLP-Tools tatsächlich etwas über die Spezifik des Literarischen erfahren.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:1.5.3	p	In jedem Fall haben wir mit dem vorliegenden <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Tool Misuse</hi>-Experiment noch nicht gut genug gelernt, die NLP-Tools ‘falsch’ zu verwenden.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2	back	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn1" n="1"> <ref target="https://textgridrep.org/">https://textgridrep.org/</ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn2" n="2"> Die Korpora sowie der Pipeline-Code sind hier zu finden: <ref target="https://gitup.uni-potsdam.de/sluytergaeth/poetry_as_error">https://gitup.uni-potsdam.de/sluytergaeth/poetry_as_error</ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn3" n="3"> <ref target="https://www.projekt-gutenberg.org/">https://www.projekt-gutenberg.org/</ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn4" n="4"> https://uni-tuebingen.de/en/faculties/faculty-of-humanities/departments/modern-languages/department-of-linguistics/chairs/general-and-computational-linguistics/ressources/lexica/germanet/ </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn5" n="5"> <ref target="https://www.dwds.de/">https://www.dwds.de/</ref> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn6" n="6"> <hi style="font-size:10pt">Im Prosakorpus ist die Quote der Types, die von “all” nach “pFail” übergeben werden, auffällig größer als im Lyrikkorpus, was u.a. an als NOUN getaggten Eigennamen liegt. Eine abschließende Erklärung muss einer genaueren Analyse des Prosakorpus vorbehalten bleiben.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" place="foot" xml:id="ftn7" n="7"> <ref target="https://www.deutschestextarchiv.de/public/cab/">https://www.deutschestextarchiv.de/public/cab/</ref> </note>
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2	bibliogr	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1	listBibl	
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Bamman, David</hi> (2020): “LitBank: Born-Literary Natural Language Processing” [Preprint]. https://people.ischool.berkeley.edu/~dbamman/pubs/pdf/Bamman_DH_Debates_CompHum.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Bers, Anna</hi> (2020): “Nachwort” in: Anna Bers (eds.): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Frauen | Lyrik</hi>. Gedichte in deutscher Sprache. Stuttgart: Reclam 793-851.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Beutin, Wolfgang et al.</hi> (2019): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Deutsche Literaturgeschichte</hi>. Von den Anfängen bis zur Gegenwart. Berlin: 9. Aufl., Metzler.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Braam, Hans</hi> (2019): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Die berühmtesten deutschen Gedichte</hi>. Auf der Grundlage von 300 Gedichtsammlungen. Stuttgart: 2. Aufl., Kröner.”
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Fricke, Harald</hi> (1981): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Norm und Abweichung</hi>. Eine Philosophie der Literatur. München: Beck.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Hamp, Birgit / Feldweg, Helmut</hi> (1997): “GermaNet - a Lexical-Semantic Net for German”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the ACL workshop Automatic Information Extraction and Building of Lexical Semantic Resources for NLP Applications</hi>. Madrid: 9–15. https://aclanthology.org/W97-0802.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Henrich, Verena / Hinrichs, Erhard</hi> (2010): “GernEdiT - The GermaNet Editing Tool”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the Seventh Conference on International Language Resources and Evaluation (LREC 2010)</hi>, Valletta, Malta: 2228-2235. http://www.lrec-conf.org/proceedings/lrec2010/pdf/264_Paper.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Herrmann, J. Berenike</hi> (2018). “Praktische Tagger-Kritik. Zur Evaluation des PoS-Tagging des Deutschen Textarchivs”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">DHd2018: Kritik der digitalen Vernunft</hi>. Book of Abstracts. Köln: 287-290. https://zenodo.org/record/3684897#.YO_x1W5CTOQ [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Honnibal, Matthew / Montani, Ines / Van Landeghem, Sofie / Boyd Adriane</hi> (2020): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">spaCy: Industrial-strength Natural Language Processing in Python</hi>. Zenodo. https://doi.org/10.5281/zenodo.1212303 [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Klein, Wolfgang / Geyken, Alexander</hi> (2010): “Das ‘Digitale Wörterbuch der Deutschen Sprache DWDS’”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Lexicographica</hi> 26: 79–96.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Müller-Zettelmann, Eva</hi> (2000): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Lyrik und Metalyrik</hi>. Theorie einer Gattung und ihrer Selbstbespiegelung anhand von Beispielen aus der englisch- und deutschsprachigen Dichtkunst. Heidelberg: Winter.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Ortmann, Katrin / Roussel, Adam / Dipper, Stefanie</hi> (2019): “Evaluating Off-the-Shelf NLP Tools for German”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the 15th Conference on Natural Language Processing (KONVENS)</hi>: 212-222. https://konvens.org/proceedings/2019/papers/KONVENS2019_paper_55.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Qi, Peng / Dozat, Timothy / Zhang, Yuhao / Manning, Christopher D.</hi> (2018): “Universal dependency parsing from scratch”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies</hi>, Brüssel: 160-170.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.14	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Rayson, Paul / Archer, Dawn / Baron, Alistair / Culpeper, Jonathan / Smith, Nicholas</hi> (2007): “Tagging the bard: Evaluating the accuracy of a modern POS tagger on Early Modern English corpora”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of Corpus Linguistics (CL2007)</hi>. https://eprints.lancs.ac.uk/id/eprint/13011/1/192_Paper.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.15	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schmid, Helmut</hi> (1994): “Probabilistic part-of speech Tagging using decision trees”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of International Conference on New Methods in Language Processing</hi>, Manchester, UK: 154-162.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.16	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schmid, Helmut</hi> (1995): “Improvements in Part-of-Speech Tagging with an Application to German”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the ACL SIGDAT-Workshop</hi>, Dublin, Ireland: 13-25. https://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/data/tree-tagger2.pdf [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.17	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schmid, Helmut</hi> (2019): “Deep learning-based morphological taggers and lemmatizers for annotating historical texts”, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the 3rd international conference on digital access to textual cultural heritage</hi>, Brüssel: 133-137.
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.18	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Scheible, Silke / Whitt, Richard J. / Durrell, Martin / Bennett, Paul</hi> (2011): “A gold standard corpus of Early Modern German” in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Proceedings of the 5th Linguistic Annotation Workshop</hi>: 124–128. https://dl.acm.org/doi/abs/10.5555/2018966.2018981 [letzter Zugriff 14. Juli 2021].
urn:cts:dhd:2022.trilcke_peer_poesie_als_fehler_ein_tool_misuse_experiment:2.2.1.19	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Zymner, Rüdiger</hi> (2019): “Begriffe der Lyrikologie” in: Hildebrandt, Claudia et al. (eds.) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Lyrisches Ich, Textsubjekt, Sprecher?</hi> (= Grundfragen der Lyrikologie, Bd. 1). Berlin: De Gruyter 25-50.