Für unser Projekt nutzen wir als Grundlage <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">TrOCR</hi> (Li et al. 2021), welchem ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Encoder-Decoder</hi>-Struktur zugrunde liegt. Bildseitig beruht der Encoder auf der BEiT-Architektur (Bao, Dong, and Wei 2021), welche für die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Feature</hi>-Extraktion aus den Bildern verantwortlich ist, während der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Decoder</hi> die Bildinformation mit Hilfe eines RoBERTa-Sprachmodells (Liu et al. 2019) in eine <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Subword</hi>-Folge “übersetzt”. Li et al. benutzten in zwei <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Pre-Training</hi>-Phasen über 700 Millionen an synthetisch erzeugten und echten Textzeilenbilder mit dem dazugehörigen Text in englischer Sprache, die danach mit dem IAM-Datenset (Marti and Bunke 2002) einem <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">finetuning</hi> unterzogen wurden. Die CER von 2.89% liegt nur 0.14 Prozentpunkte hinter einem klassischen Ansatz (Diaz et al. 2021).