urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:	edition	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1	body	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.1	div1	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.1.1	p	dh-forschende, die mit historischen dokumenten arbeiten wollen, haben ein problem: je älter die historischen texte sind, desto mehr weichen sie in ihrer schreibweise von der gegenwärtigen standardsprache ab. neben dieser diachronischen veränderung kommt noch eine synchronische variabilität hinzu; in historischen korpora finden sich häufig mehrere schreibvarianten. so beobachten wir in dokumenten des deutschen textarchivs (dta) zwischen 1830 und 1890 bspw. die varianten <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">heirathen, heiraten, heurathen</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">heyrathen</hi>.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.1.2	p	aus dieser orthographischen abweichung ergeben sich nun für eine nutzung digitalisierter historischer texte hindernisse: zum einen ist keine geeignete volltextsuche mehr möglich, denn man müsste nun alle schreibvarianten kennen und angeben. zum anderen wird dabei die weiterverarbeitung mithilfe von nlp-tools erschwert: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">off-the-shelf</hi>-nlp-werkzeuge für pos-tagging oder named entity recognition wurden auf gegenwartssprachlichen daten trainiert und liefern für die historischen varianten schlechtere ergebnisse (vgl. scheible et al., 2011; pettersson et al., 2013; kogkitsidou und gambette, 2020). das limitiert insbesondere <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">distant-reading</hi>-ansätze auf historischen korpora.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.1.3	p	eine möglichkeit, diesen beiden problemen zu begegnen, ist eine automatisierte historische <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">textnormalisierung</hi>. vereinfacht gesprochen wird dabei das historische dokument automatisch in die moderne standardschreibung „übersetzt“, wodurch z. b. sämtliche o. g. varianten von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">heiraten</hi> mit dem standardsprachlichen Äquivalent ersetzt werden. das wird in vielen modernen editionen älterer werke manuell praktiziert. eine automatische textnormalisierung für die deutsche sprache ab ca. 1600 bietet das tool <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">cascaded analysis broker</hi><ref xmlns="http://www.tei-c.org/ns/1.0" n="1" target="ftn1" /> (cab, jurish, 2012) an, das u. a. für die textnormalisierung der dta-korpora eingesetzt wird und als das <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">de-facto</hi> standard-tool fürs deutsche gelten kann. cab wendet zur normalisierung mittels endlicher automaten bestimmte ersetzungsregeln von buchstaben an, die mit linguistischem expertenwissen händisch entwickelt wurden. damit baut cab auf einer deutlich älteren technologie auf als die gegenwärtig übliche nlp-methodik des machine learning (ml) via transformern. während es also naheliegt, automatische textnormalisierung aus einem ml-ansatz heraus zu operationalisieren, ergibt sich hierbei eine neue schwierigkeit: textnormalisierung ist in vielen fällen eine unscharfe praxis und selten in konventionen festgelegt.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.1.4	p	mit diesem beitrag möchten wir folgendes leisten: erstens wollen wir auf die komplexität der definition von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">normalisiertem text</hi>, sowie auf den unterschiedlich engen zusammenhang dieser definition und der methode für die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">textnormalisierung</hi> hinweisen. zweitens vergleichen wir in einer fallstudie quantitativ die güte von cab mit gegenwärtigen transformer-architekturen zur textnormalisierung. es lassen sich zwar verbesserungen erzielen, aber die ergebnisse sind weiterhin ausbaufähig. drittens ordnen wir abschließend die ergebnisse der fallstudie in das vorhaben von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">text+</hi> ein, der dh-community ein nachfolgesystem für cab zur verfügung zu stellen.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2	div1	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2.1	p	wie ein normalisierter text genau aussehen soll, ist keine triviale frage, denn die sprachlichen unterschiede zwischen historischen und modernen texten betreffen verschiedene ebenen. so illustriert das folgende beispiel von 1749 abweichungen auf der ebene der schreibung ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">wil</hi> statt <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">will</hi>), der wortbildung ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">fürstellen</hi> statt <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">vorstellen</hi>) und der syntax (pronomen im nachfeld).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2.2	p	eine reihe von konventionen für die manuelle normalisierung in verschiedenen sprachhistorischen korpusprojekten (durrell et al., 2012; krasselt et al., 2015; odebrecht et al., 2020) illustrieren die komplexität der aufgabe, die hier nur kurz angedeutet werden soll:<ref xmlns="http://www.tei-c.org/ns/1.0" n="3" target="ftn3" /> wie sollen ausgestorbene lemmata normalisiert werden? sollen morphosyntaktische abweichungen normalisiert werden, und welche? soll auch die wortstellung der normalisierung unterliegen (vgl. die stellung von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">dich</hi> im angegebenen beispiel)? andere fragen betreffen die struktur der korpusannotation: soll jedem token im originaltext genau ein modernes token zugeordnet werden oder sollen 1:n-, n:1-, n:m-beziehungen zwischen beiden ebenen möglich sein, um etwa veränderungen in getrennt- und zusammenschreibung abzubilden ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">statt zu finden</hi> vs. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">stattzufinden</hi>)?<ref xmlns="http://www.tei-c.org/ns/1.0" n="4" target="ftn4" /> die antworten auf diese fragen richten sich auch nach der vorgesehenen nutzung der normalisierten version.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2.3	p	bei der technischen umsetzung eines normalisierers kann zwischen zwei ansätzen unterschieden werden: einerseits verfahren, die auf manuell erstellten regeln basieren, und andererseits jene, die auf dem lernen aus annotierten daten basieren. diese zwei unterschiedlichen verfahren unterscheiden sich auch darin, wie eng die definition von normalisiertem text und die methode zur automatischen erzeugung von normalisiertem text (die eigentliche <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">textnormalisierung</hi>) zusammenhängen.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2.4	p	das system cab verfolgt den ersten ansatz. zu cab gehört keine natürlichsprachliche beschreibung von normalisiertem text, wie in den oben genannten konventionen, aber es basiert auf einer reihe formaler regeln. die definition von normalisiertem text und das vorgehen zur automatischen normalisierung fallen also zusammen, wobei die regeln mit einer bestimmten vorstellung vom ziel der normalisierung (d. h. von korrekt normalisiertem text) entworfen wurden.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.2.5	p	beim zweiten ansatz, dem lernen aus trainingsdaten wie im fall der hier evaluierten ml-modelle, sind die definition von normalisiertem text und der prozess der normalisierung vollständig getrennt zu sehen. das trainingskorpus zu erstellen, setzt eine definition von normalisiertem text voraus, etwa in form der o. g. konventionen, oder – im fall von textausgaben – linguistischer intuition. im training selbst allerdings spielt diese definition keine rolle. die modelle lernen nur die statistischen zusammenhänge zwischen historischem und normalisiertem text.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3	div1	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.1	p	um die aktuellen möglichkeiten und grenzen von automatisierter textnormalisierung an einem konkreten fall zu erörtern, fokussiert unsere fallstudie sich auf die normalisierung von historischer literatursprache des 19. jahrhunderts. wir vergleichen hierbei quantitativ die methodischen ansätze: auf der einen seite das regelbasierte normalisierungssystem cab,<ref xmlns="http://www.tei-c.org/ns/1.0" n="5" target="ftn5" /> auf der anderen seite ml-systeme, welche auf einem parallelkorpus mit historischer und moderner schreibweise trainiert sind. für letzteres trainieren wir zwei transformer-modelle, einmal auf satz- und einmal auf type-ebene.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.2	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/f4a92d2a8029d9522c6b6659202a779a.jpg" /> <head>abbildung 1: (fiktives) beispiel einer textnormalisierungs-instanz der fallstudie. „dta“: originalschreibweise einer erstausgabe; „textgrid“: normalisierte form aus gegenwärtiger edition; „input“: tokenisierte und vorverarbeitete eingabe für das normalisierungssystem; „output“: gewünschte gold-ausgabe. nb: „input“ und „output“ sind auf der token-ebene aligniert.</head> </figure>
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.3	p	für das modell auf satz-ebene führen wir ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">fine-tuning</hi> auf dem encoder-decoder-modell byt5-small (300m parameter; xue et al., 2021) durch, um satz für satz in gegenwärtige orthographie zu „übersetzen“.<ref xmlns="http://www.tei-c.org/ns/1.0" n="6" target="ftn6" /> encoder-decoder-modelle sind für solche „Übersetzungs-tasks“ üblicherweise am besten geeignet. das spezielle modell byt5 wurde auf dem multilingualen (nicht-parallelen) c4-korpus zur rekonstruktion von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">span corruptions</hi> unüberwacht vortrainiert. eine besonderheit ist, dass es keinen tokenisierer gibt, sondern der text byte für byte verarbeitet wird. xue et al. (2021) zeigen, dass die gängige subword-tokenisierung von vortrainierten modellen bei <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">noisy text</hi> (z. b. text mit <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">zufälliger großschreibung</hi>) zu problemen führen kann und dass das tokenisierer-freie byt5 in diesem setting besser abschneidet. auch historischer text weicht von der standardschreibung ab und kann damit als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">noisy</hi> gelten. in ähnlichen kontexten wurde byt5 schon mit vielversprechenden ergebnissen für die normalisierung von social-media-text und von dialektalen daten eingesetzt (samuel und straka, 2021; kuparinen et al., 2023).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.4	p	das zweite modell ist ein hybrid und besteht aus einem encoder-decoder-modell und einem gpt-modell. die encoder-decoder-komponente normalisiert kontext-unabhängig type für type. dieses modell ist ähnlich zu byt5 aufgebaut, aber wesentlich kleiner, und wurde ohne vortraining von beginn an für den task der type-normalisierung trainiert. die generierten normalisierungshypothesen pro type werden anschließend noch von einem zweiten vortrainierten deutschsprachigem gpt2-modell (ohne weiteres fine-tuning) entsprechend des kontextes gewichtet (8m + 124m parameter).<ref xmlns="http://www.tei-c.org/ns/1.0" n="7" target="ftn7" /> vereinfacht gesprochen wird dabei beispielsweise für einen eingabesatz „die gemälde an den wänden des pallaſtes beeindruckten alle“ zuerst vom ersten encoder-decoder-modell für das fragwürdige type <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">pallaſtes</hi> die normalisierungshypothesen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">pallastes</hi>, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">palistes</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">palastes</hi> generiert. dann wird vom zweiten gpt-modell evaluiert, welcher der drei sätze „die gemälde an den wänden des pallastes/palistes/palastes beeindruckten alle“ am wahrscheinlichsten ist und als ausgabe ausgewählt.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.5	p	als weitere baseline trainieren wir noch den auf <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">statistical machine translation</hi> basierenden type-normalisierer csmtiser<ref xmlns="http://www.tei-c.org/ns/1.0" n="8" target="ftn8" /> (ljubešić et al., 2016).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.6	p	als datensatz zum training bzw. für die evaluation verwenden wir das parallelkorpus <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">dta evalcorpus</hi><ref xmlns="http://www.tei-c.org/ns/1.0" n="9" target="ftn9" /> (jurish et al., 2013). das parallelkorpus aligniert auf token-ebene erstausgaben des dta mit gegenwärtigen editionen (ab 1950) der digitalen bibliothek textgrid. diese alignierung wurde in einem ersten schritt automatisch berechnet, und anschließend auf type- und token-ebene manuell verifiziert und ggf. korrigiert. während dieses parallelkorpus zwar manuell verifiziert wurde, muss die heterogenität des quellkorpus textgrid problematisiert werden: so folgen die editionen nicht „einem“ festen normalisierungsstandard, sondern die normalisierung geht je nach edition und vorstellungen der editor:innen unterschiedlich weit. diese wurden – anders als bei historischen korpusprojekten – nicht in form von guidelines explizit gemacht. hinzu kommt noch, dass die editionen wahlweise der neuen oder der alten rechtschreibung von vor 1996 folgen.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.7	p	wir beschränken uns auf den nicht-lyrischen belletristischen teil (85 dokumente, 1784–1901) und erhalten nach vorverarbeitung<ref xmlns="http://www.tei-c.org/ns/1.0" n="10" target="ftn10" /> insgesamt 4 millionen tokens auf 180.000 sätzen. insbesondere bringen wir für die type-basierten modelle das parallelkorpus in eine 1-zu-1-alignierung, wie in abb. 1. durch die hierbei eingeführten pseudo-zeichen _ und # (siehe abb. 1; vgl. bawden et al., 2022) können wir in der evaluation token für token mit der gold-variante vergleichen. wir führen unseren versuch auf einem 60-20-20 train-dev-test-split durch. nähere details zum hybrid-modell, zum versuchsaufbau und weitere auswertungen sind ferner von ehrmanntraut (2024) in einem separaten bericht beschrieben.<ref xmlns="http://www.tei-c.org/ns/1.0" n="11" target="ftn11" />
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.8	p	tabelle 1 zeigt die ergebnisse auf dem test-split in wortgenauigkeit („wordacc“) auf token-ebene, exklusive interpunktion. für eine verfeinerte analyse geben wir neben der gesamtgenauigkeit auch die genauigkeit für tokens an, welche die modelle bereits im training gesehen haben (invocab) bzw. welche die modelle zum ersten mal sehen (oov). nur letzteres maß bildet die generalisierungsleistung der modelle ab (vgl. robertson und goldwater, 2018).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.9	p	zunächst zu cab: hier sehen wir, dass selbst ohne trainingsressourcen das system eine starke baseline darstellt. allein durch die integrierten regeln können gegenüber dem beibehalten des originals schon fast die hälfte der fehler eliminiert werden. der vergleich mit ml-ansätzen zeigt, dass diese genauer arbeiten als cab; so machen die transformer-modelle über alle tokens des test-sets nur halb so viele fehler wie cab (0,844% fehler bei byt5 unter „wordacc“ vs. 1,928% fehler bei cab), wobei dieser vorteil durch ein trainingskorpus und ressourcenintensives training/inferenz erkauft wird. dennoch zeigt sich aus dieser analyse, dass textnormalisierung noch nicht als „gelöst“ gelten kann: selbst die transformer-modelle generieren immer noch ein fehlerhaftes token pro 100 tokens – unter den oov-tokens sogar ein fehler pro 10 tokens.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.10	p	eine mögliche erklärung für den performance-unterschied zwischen cab und den transformern könnte lauten, dass cabs regeln auf eine andere vorstellung von normalisiertem text ausgerichtet sind, die nicht vollständig mit der vorstellung übereinstimmt, die in den modernen editionen realisiert ist. das ist zum teil der fall: so tilgt cab im gegensatz zum parallelkorpus und den transformer-modellen keine apostrophe vor genitiv-s ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">hoppensack’s</hi> nicht zu <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">hoppensacks</hi>). an diesem beispiel sehen wir, wie wichtig es ist, die unterschiedlichen definitionen von normalisiertem text mitzudenken. dennoch machen sämtliche apostroph-schreibungen nur 0,344% der tokens im testset aus, und erklären daher nicht vollständig die differenz zu den transformer-modellen. in einer stichprobe zeigte sich, dass zahlreiche der verbleibenden abweichenden normalisierungen von cab tatsächlich nicht als eine alternative geeignete normalisierungsform gewertet werden können.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.3.11	p	abschließend wollen wir noch die zwei verschiedenen transformer-architekturen diskutieren: auf basis der fallstudie lässt sich zwischen den modellen kein unterschied in der genauigkeit feststellen. ein fine-tuning von vortrainierten generativen llms wie byt5 hat aber den entscheidenden vorteil, dass es einfach umsetzbar und sehr flexibel ist, z. b. im bezug auf wortstellung, tokenisierung, usw. dagegen zeigt sich, dass auch kleinere modelle wie das hybrid-modell genauso gut arbeiten können, dies ist aber im design komplexer und abhängig von fester wortstellung. es würde sich daher anbieten, in zukünftiger arbeit weitere korpora bzw. datensätze heranzuziehen, und insbesondere die abhängigkeit vom volumen des trainingsmaterials auf die güte der modelle zu untersuchen. die evaluation sollte auch auf andere textsorten und ältere zeitstufen ausgeweitet werden, da diese schwieriger zu normalisieren sein dürften. dafür bleibt auch die gewinnung geeigneter trainingsdaten eine herausforderung.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.4	div1	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.4.1	p	wie kann die nutzung von tools für die automatisierte historische normalisierung in der praxis der digital humanities aussehen? aktuell besteht in erster linie die möglichkeit auf den cab-webservice zurückzugreifen.<ref xmlns="http://www.tei-c.org/ns/1.0" n="12" target="ftn12" /> ein lokaler betrieb für nutzende ist nicht möglich, da die cab-instanz des dta an zentraler stelle urheberrechtlich geschützte ressourcen einbindet.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.4.2	p	die hier vorgestellten modelle bzw. deren weiterentwicklungen stellen wir frei zur verfügung. für das hybrid-modell stehen der code und die modelle auf github/huggingface zur nutzung bereit.<ref xmlns="http://www.tei-c.org/ns/1.0" n="13" target="ftn13" /> das byt5-basierte modell wurde als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">transnormer</hi> innerhalb des konsortiums <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">text+</hi> der nationalen forschungsdateninfrastruktur (nfdi) entwickelt mit dem ziel, einen frei und flexibel nachnutzbaren nachfolger für cab bereitzustellen. eine weiterentwicklung des hier vorgestellten modells ist auf huggingface veröffentlicht.<ref xmlns="http://www.tei-c.org/ns/1.0" n="14" target="ftn14" /> weitere veröffentlichungen für die normalisierung historischer texte ab dem 17. jahrhundert werden folgen.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:1.4.3	p	lokal mit den modellen zu arbeiten, bietet nutzenden eine größere flexibilität: die modelle können in eigene workflows eingebunden und auch nachtrainiert werden. voraussetzung für letzteres sind weitere trainingsdaten in form von parallelkorpora aus historischem und gold-normalisiertem text. mit ausreichend vielen trainingsdaten wäre ebenso ein vollständiges training neuer modelle nach den hier vorgestellten architekturen möglich. in jedem fall geht jedoch die nutzung von transformer-modellen mit erhöhten anforderungen an hardware, höherem ressourcenverbrauch und praktischen hürden einher. es bleibt zu diskutieren, wie die voraussetzungen geschaffen werden können, dass gerade auch kleinere projekte diese herausforderungen bewältigen können, bzw. welche infrastrukturen (z. b. webservices) benötigt werden.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2	back	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" rend="footnote text" n="1"> https://deutschestextarchiv.de/public/cab/ </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" rend="footnote text" n="2">starck, johann friedrich: tägliches hand-buch in guten und bösen tagen. frankfurt/leipzig, 1749, s. 630. in: deutsches textarchiv , abgerufen am 28.11.2024. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn3" rend="footnote text" n="3">für einen Überblick zu verschiedenen konventionen und eine ausführliche diskussion zur definition von normalisierung, siehe bollmann (2018), kapitel 2.</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn4" rend="footnote text" n="4">in den genannten konventionen bleibt die wortreihenfolge unangetastet, womit auch die ebenen aligniert werden können. 1:n/n:1-beziehungen sind aber teils vorgesehen, etwa im ridges-korpus (odebrecht et al. 2020).</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn5" rend="footnote text" n="5">um die güte von cab sinnvoll zu messen, haben wir das ausnahmelexikon deaktiviert, denn dieses wurde teils aus dem dta evalcorpus erstellt. nb: cab kann keine wortverbindungen generieren.</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn6" rend="footnote text" n="6">code: ; das fine-tuning dauerte auf einer rtx2080ti etwa 24h. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn7" rend="footnote text" n="7">code: ; type-modell: ; gpt-modell: . das training des type-modells dauerte auf einer rtx2080ti etwa 4h; das gpt-modell wurde ohne fine-tuning übernommen. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn8" rend="footnote text" n="8"> https://github.com/clarinsi/csmtiser </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn9" rend="footnote text" n="9"> https://kaskade.dwds.de/~moocow/software/dtaec/ </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn10" rend="footnote text" n="10">wir exkludieren insbesondere sätze, welche im parallelkorpus von annotator:innen manuell als fremdsprachiges material, als druck-/ocr-fehler, oder als „ungeeignet für die aufnahme in das trainingsmaterial (z. b. tokenizer-fehler, ausgestorbene lemmata, zusammengesetzte komposita)“ eingestuft wurde. anschließend wenden wir eine regelbasierte transliteration von lang-s ( <hi rend="italic">ſ</hi>) auf kurz-s ( <hi rend="italic">s</hi>) an, und bringen umlaute in ihre gegenwärtige form ( <hi rend="italic">aͤ</hi> zu <hi rend="italic">ä</hi> usw.). nb: für das byt5-basierte modell ist eine solche transliteration nicht nötig, da es per definition keine unbekannten zeichen für das modell gibt. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn11" rend="footnote text" n="11">code zur reproduktion des datensatzes und der evaluation: </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn12" rend="footnote text" n="12">die tatsächliche performance von der aufrufbaren cab-instanz des dta ist dabei i. d. r. besser als im hier vorgestellten experiment, da das ausnahmenlexikon einige fehler des regelbasierten ansatzes auffängt.</note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn13" rend="footnote text" n="13">code: ; type-modell: ; gpt-modell: . das training des type-modells dauerte auf einer rtx2080ti etwa 4h; das gpt-modell wurde ohne fine-tuning übernommen. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn14" rend="footnote text" n="14"> . das veröffentlichte modell hat die gleiche architektur wie das hier beschriebene byt5 modell, wurde jedoch mit überarbeiteten und teils anderen dokumenten aus dem dta evalcorpus trainiert. der datensatz ist auf huggingface verfügbar: https://huggingface.co/datasets/ybracke/dta-revievalcorpus-v1. </note>
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2	bibliogr	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1	listBibl	
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bawden, rachel, jonathan poinhos, eleni kogkitsidou, philippe gambette, benoît sagot, und simon gabay</hi>. 2022. „automatic normalisation of early modern french“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the thirteenth language resources and evaluation conference</hi>, hg. von nicoletta calzolari, frédéric béchet, philippe blache, khalid choukri, christopher cieri, thierry declerck, sara goggi, u. a., 3354–66. marseille, frankreich: european language resources association. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://aclanthology.org/2022.lrec-1.358" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bollmann, marcel</hi>. 2018. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">normalization of historical texts with neural network models</hi>. dissertation, ruhr-universität bochum. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.13154/294-6213" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">durrell, martin, paul bennett, silke scheible, und richard j. whitt</hi>. 2012. <emph xmlns="http://www.tei-c.org/ns/1.0">the germanc corpus</emph>. university of manchester. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="http://hdl.handle.net/20.500.14106/2544" />, <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://www.ids-mannheim.de/fileadmin/lexik/uwv/dateien/germanc_documentation.pdf" /> (zugegriffen: 22.07.2024).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ehrmanntraut, anton</hi>. 2024. „historical german text normalization using type- and token-based language modeling“. arxiv pre-print. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.48550/arxiv.2409.02841" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">jurish, bryan</hi>. 2012. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">finite-state canonicalization techniques for historical german</hi>. dissertation, universität potsdam. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://nbn-resolving.org/urn:nbn:de:kobv:517-opus-55789" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">jurish, bryan, marko drotschmann, und henriette ast</hi>. 2013. „constructing a canonicalized corpus of historical german by text alignment“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">new methods in historical corpora</hi>, 221–34. tübingen: narr.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">kogkitsidou, eleni, und philippe gambette</hi>. 2020. „normalisation of 16th and 17th century texts in french and geographical named entity recognition“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 4th acm sigspatial workshop on geospatial humanities</hi>, 28–34. new york, usa: association for computing machinery. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1145/3423337.3429437" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">krasselt, julia, marcel bollmann, stefanie dipper, und florian petran</hi>. 2015. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">guidelines für die normalisierung historischer deutscher texte / guidelines for normalizing historical german texts.</hi> bochumer linguistische arbeitsberichte 15. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://www.linguistics.rub.de/forschung/arbeitsberichte/15.pdf" /> (zugegriffen: 22.07.2024).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">kuparinen, olli, aleksandra miletić, und yves scherrer</hi>. 2023. „dialect-to-standard normalization: a large-scale multilingual evaluation“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">findings of the association for computational linguistics: emnlp 2023</hi>, herausgegeben von houda bouamor, juan pino, und kalika bali, 13814–28. singapore: association for computational linguistics. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.18653/v1/2023.findings-emnlp.923" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ljubešić, nikola, katja zupan, darja fišer, und tomaž erjavec</hi>. 2016. „normalising slovene data: historical texts vs. user-generated content“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 13th conference on natural language processing, konvens 2016</hi>, hg. von stefanie dipper, friedrich neubarth, und heike zinsmeister. bochumer linguistische arbeitsberichte 16. bochum. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://www.linguistics.rub.de/konvens16/pub/19_konvensproc.pdf" /> (zugegriffen: 22.07.2024).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">odebrecht, carolin, laura perlitz, gohar schnelle, und catharina fischer</hi>. 2020. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">annotationsrichtlinien zu ridges herbology version 9.0</hi>. humboldt-universität zu berlin. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://www.linguistik.hu-berlin.de/de/institut/professuren/korpuslinguistik/forschung/ridges-projekt/download-files/pubs/ridgesv9_2020-03.pdf" /> (zugegriffen: 22.07.2024).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">pettersson, eva, beáta megyesi, und jörg tiedemann</hi>. 2013. „an smt approach to automatic annotation of historical text“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the workshop on computational historical linguistics at nodalida 2013</hi>, hg. von Þórhallur eyþórsson, lars borin, dag haug, und eiríkur rögnvaldsson, 54–69. oslo, norwegen: northern european association for language technology. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://ep.liu.se/en/conference-article.aspx?series=ecp&issue=87&article_no=5" /> (zugegriffen: 22.07.2024).
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">robertson, alexander, und sharon goldwater</hi>. 2018. „evaluating historical text normalization systems: how well do they generalize?“ in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 2018 conference of the north american chapter of the association for computational linguistics: human language technologies, volume 2 (short papers)</hi>, hg. von marilyn walker, heng ji, und amanda stent, 720–25. new orleans, louisiana, usa: association for computational linguistics. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.18653/v1/n18-2113" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.14	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">samuel, david, und milan straka</hi>. 2021. „Úfal at multilexnorm 2021: improving multilingual lexical normalization by fine-tuning byt5“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the seventh workshop on noisy user-generated text (w-nut 2021)</hi>, herausgegeben von wei xu, alan ritter, tim baldwin, und afshin rahimi, 483–92. online: association for computational linguistics. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.18653/v1/2021.wnut-1.54" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.15	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">scheible, silke, richard j. whitt, martin durrell, und paul bennett</hi>. 2011. „a gold standard corpus of early modern german“. in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 5th linguistic annotation workshop</hi>, hg. von nancy ide, adam meyers, sameer pradhan, und katrin tomanek, 124–28. portland, oregon, usa: association for computational linguistics. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://aclanthology.org/w11-0415" />.
urn:cts:dhd:2025.ehrmanntraut_anton_historische_textnormalisierung_herausfor:2.2.1.16	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">xue, linting, aditya barua, noah constant, rami al-rfou, sharan narang, mihir kale, adam roberts, und colin raffel</hi>. 2021. „byt5: towards a token-free future with pre-trained byte-to-byte models“. arxiv pre-print. <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.48550/arxiv.2105.13626" />.