Für das Modell auf Satz-Ebene führen wir ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Fine-tuning</hi> auf dem Encoder-Decoder-Modell ByT5-small (300M Parameter; Xue et al., 2021) durch, um Satz für Satz in gegenwärtige Orthographie zu „übersetzen“.<ref xmlns="http://www.tei-c.org/ns/1.0" n="6" target="ftn6" /> Encoder-Decoder-Modelle sind für solche „Übersetzungs-Tasks“ üblicherweise am besten geeignet. Das spezielle Modell ByT5 wurde auf dem multilingualen (nicht-parallelen) C4-Korpus zur Rekonstruktion von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">span corruptions</hi> unüberwacht vortrainiert. Eine Besonderheit ist, dass es keinen Tokenisierer gibt, sondern der Text Byte für Byte verarbeitet wird. Xue et al. (2021) zeigen, dass die gängige Subword-Tokenisierung von vortrainierten Modellen bei <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">noisy text</hi> (z. B. Text mit <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">zUFälLigEr GRoßScHReiBunG</hi>) zu Problemen führen kann und dass das Tokenisierer-freie ByT5 in diesem Setting besser abschneidet. Auch historischer Text weicht von der Standardschreibung ab und kann damit als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">noisy</hi> gelten. In ähnlichen Kontexten wurde ByT5 schon mit vielversprechenden Ergebnissen für die Normalisierung von Social-Media-Text und von dialektalen Daten eingesetzt (Samuel und Straka, 2021; Kuparinen et al., 2023).