urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:	edition	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1	body	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.1	p	automatisierte handschriftenerkennung fokussierte in der vergangenheit vorwiegend auf training und erkennung einzelner handschriften, die individuell trainiert wurden. typischerweise finden sich in den geisteswissenschaften jedoch datensätze, die von mehreren händen und häufig auch über längere zeiträume verschriftlicht wurden. aussagen zu erkennalgorithmen müssen entsprechende voraussetzungen ernst nehmen und nicht nur die fähigkeit nachweisen, einzelne hände mit hoher qualität zu erkennen, sondern auch mit ähnlichen jedoch nicht identischen handschriften umzugehen.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.2	p	ein umfangreicher frühneuzeitlicher briefwechsel aus dem 16. jahrhundert, der hauptsächlich in zwei sprachen (latein und frühneuhochdeutsch) vorliegt und mehrere hundert hände umfasst, ist diesbezüglich ein interessanter vergleichsfall, um bestehende plattformen mit neuen möglichkeiten der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">data augmentation</hi> und dem einbezug von transformer-basierten neuronalen netzen zu vergleichen. wir nutzen dafür die im rahmen des projekts <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">bullinger digital</hi><ref xmlns="http://www.tei-c.org/ns/1.0" n="1" target="ftn1" /> erarbeiteten daten, um aussagen über erkennqualität sowie potenziale in der automatischen erkennung zu machen. für die evaluation verwenden wir zwei spezifisch erstellte testsets. diese widerspiegeln die tatsache, dass von einigen (wenigen) personen eine vielzahl von briefen und von diversen personen nur wenige schreiben im datensatz vorhanden sind (abbildung 1). die beiden testsets sind zwar ähnlich groß ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">viel-</hi> (1’235 zeilen) als auch <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">wenigschreiber</hi> (1’013 zeilen)), leisten aber aussagen zu sehr unterschiedlichen größenordnungen, da von den vielschreibern eine weit umfangreichere masse erkannt werden wird, aber auch mehr material zum training von modellen zur verfügung steht. bei der evaluation können wir aufgrund der aufteilung aber präzisere voraussagen machen, welche datenmassen mit welcher qualität erkannt werden. weiter lässt sich abschätzen, welche erkennungsform sich für welche (trainings-)datenmenge eignet.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.3	p	im folgenden testen wir drei ansätze, die aufschlüsse zum stand und möglichen entwicklungen im bereich der handschriftenerkennung versprechen, am korpus:
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.4	p	seit 1974 erscheinen in regelmäßigen abständen bände der heinrich-bullinger-briefwechsel-edition, erarbeitet am institut für schweizerische reformationsgeschichte (irg) der universität zürich. der letzte band stammt von 2022 und weitere sind aktuell in arbeit (bullinger 2022). die edition bedient diverse nutzer*innengruppen, insbesondere theolog*innen und die geschichtswissenschaften, was sich etwa an den editionsgrundsätzen (bullinger 1973) zeigt, z. b. stillschweigende auflösung von abkürzungen, identifikation von personen und orten etc.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.5	p	um die vielzahl der nicht transkribierten briefe schneller maschinell zu verarbeiten, arbeiten wir im rahmen des projekts <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">bullinger digital</hi> an der automatisierten aufbereitung der dokumente. die texte der bereits edierten briefe sowie der am irg provisorisch transkribierten briefe haben wir mittels des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">text-to-image-verfahrens</hi> (leifert, labahn, and sánchez 2020) mit den bildvorlagen automatisiert aligniert. damit steht nun ein korpus von 1’297’908 token für training und validierung zur verfügung.<ref xmlns="http://www.tei-c.org/ns/1.0" n="2" target="ftn2" />
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.6	p	bei der zuordnung der zeilen wurde mit einem <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">threshold</hi> agiert, der dafür sorgte, dass nur transkribierte textteile zugeordnet wurden, bei denen eine relativ hohe wahrscheinlichkeit der Übereinstimmung errechnet wurde. dadurch wurden zwar ca. 25-30% aller zeilen nicht zugeordnet, fehler in der layouterkennung und nicht identifizierte streichungen und Ähnliches führten aber nicht zu falschen zuordnungen, die wiederum negativen einfluss auf das training von texterkennungsmodellen hätte.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.7	div1	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.7.1	p	2015 wurde die plattform <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">transkribus</hi> gelauncht und danach von 2016 bis 2019 <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">deep-learning-</hi>basierte erweiterungen, insbesondere layout- und texterkennungsengines (muehlberger et al. 2019) implementiert. die plattform wird von einer kooperative betrieben und für diverse zwecke in der forschung und durch erinnerungsinstitutionen eingesetzt. training von handschriftenmodellen und erkennung neuer seiten erfolgen über ein gui.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.7.2	p	basierend auf den oben erwähnten trainings- und testdaten erzeugten wir mehrere handschriftenmodelle, dabei testeten wir jeweils beide verfügbaren engines (htr+ und pylaia), um unterschiede in der qualität aufzuzeigen. wir übernahmen die layouterkennung unverändert.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.7.3	p	die in transkribus trainierten modelle (tabelle 1) zeigen gute ergebnisse. gerade für vielschreiber wird trotz vieler unterschiedlicher hände insbesondere mit htr+ eine erkennung unter 8% <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">character error rate</hi> erreicht.<ref xmlns="http://www.tei-c.org/ns/1.0" n="3" target="ftn3" /> die erkennung der wenigschreiber ist dagegen etwas fehlerbehafteter. alle modelle wurden “austrainiert”, ohne dass ein problematisches <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">overfitting</hi> beobachtet wurde (hodel 2020).
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.7.4	p	eine signifikante verbesserung erreichten wir durch die nutzung von grossen modellen als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">basemodels</hi>. mit einem vortrainierten modell basierend auf 5’820’990 wörtern (im sinne von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">tokens</hi>) in lateinischer schrift (keine kurrentschrift), kann die erkennqualität weiter verbessert werden.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.8	div1	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.8.1	p	um für einen gegebenen schreibstil ein zuverlässiges erkennungssystem zu trainieren, braucht es eine große anzahl annotierter textzeilen. es ist deshalb schwierig, seltene hände automatisch zu transkribieren, da der entsprechende schreibstil nicht oder nur ungenügend in den trainingsdaten repräsentiert ist. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">data augmentation</hi> kann verwendet werden, um die trainingsdaten automatisch mit weiteren beispielen anzureichern und so den lernprozess zu unterstützen. in unserer arbeit verfolgen wir dazu einen vielversprechenden ansatz: wir lernen die schreibstile von seltenen händen mittels <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">generative adversarial networks (gans)</hi>, um anschließend beliebige texte zu synthetisieren und den trainingsdaten als zusätzliche lernbeispiele hinzuzufügen.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.8.2	p	für die synthetisierung wird <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">linegen</hi> (davis et al. 2020) eingesetzt, ein kürzlich vorgeschlagenes gan-netzwerk, welches auf ganzen textzeilen arbeitet und drei zielfunktionen integriert: den <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">adversarial loss</hi> (unterscheidung zwischen echten und synthetischen bildern), den <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" xml:space="preserve">perceptual loss </hi>(visuelle qualität der generierten bilder) und den <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ctc loss</hi> (qualität der automatischen transkription). das trainierte linegen-system erlaubt es, einen beliebigen text mit dem gelernten stil zu synthetisieren, d. h. aus dem text ein textzeilenbild zu generieren. abbildung 2 zeigt beispiele von generierten textzeilenbildern, wenn linegen auf rund 17’000 textzeilenbildern unterschiedlich lange und unter verwendung der standard-hyperparameter mit verschiedenen schreibstilen trainiert wird und im anschluss ein englischer text synthetisiert wird. das gan konvergiert auf einen schreibstil, der ähnlich leserlich ist wie echte beispiele aus den trainingsdaten.<ref xmlns="http://www.tei-c.org/ns/1.0" n="4" target="ftn4" />
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.8.3	p	der einfluss der synthetischen lernbeispiele auf die erkennungsrate wurde in zwei szenarien untersucht, welche eine kleine trainingsmenge vorsehen, wie es für wenigschreiber typisch ist: in szenario a gehen wir von 1’000 trainingszeilen aus und in szenario b von 200 trainingszeilen. als erkennungssystem wird htr-flor (de sousa neto et al. 2020) eingesetzt, eines der besten systeme nach aktuellem stand der technik, und für die auswertung werden rund 1’000 zufällig ausgewählte textzeilen als testdaten verwendet. abbildung 3 zeigt den trainingsverlauf für szenario a unter verwendung der standard-hyperparameter für htr-flor. die cer auf den testdaten erreicht 26.8% für das training mit 1’000 echten textzeilen. wenn mit 1’000 synthetischen textzeilen trainiert wird, scheitert das lernen. eine mögliche interpretation ist, dass die synthetische schrift nicht genügend natürliche variation beinhaltet, welche fürs trainieren nötig ist. wenn aber die 1’000 echten mit den 1’000 synthetischen textzeilen kombiniert werden, kann die cer signifikant auf 24.1% verbessert werden. abbildung 4 zeigt den trainingsverlauf für szenario b. hier scheitert das lernen sowohl mit 200 echten als auch mit 200 synthetischen textzeilen. hingegen führt die kombination von echten und synthetischen trainingszeilen erneut zu einer signifikant verbesserten cer von 47.7%.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.8.4	p	diese initialen experimentellen resultate sind vielversprechend und legen die vermutung nahe, dass gan-basierte synthetische lernbeispiele dabei helfen können, die erkennung für wenigschreiber zu verbessern. in einem nächsten schritt planen wir umfangreichere experimente, welche darauf abzielen, den stil von wenigschreibern zu lernen oder den stil von gruppen ähnlicher schriftbilder. eine wichtige fragestellung dabei wird sein, wie viele lernbeispiele nötig sind, um einen stil zuverlässig lernen zu können. anschließend planen wir, ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">transfer learning</hi> durchzuführen, ausgehend von einem gut trainierten grundsystem für vielschreiber, welches mit hilfe der synthetischen lernbeispiele an die wenigschreiber angepasst wird.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9	div1	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.1	p	transformer-basierte architekturen (vaswani et al. 2017) haben das feld der natürlichen sprachverarbeitung in sachen sprachmodellierung revolutioniert und zu einem paradigmenwechsel beim trainieren von systemen für unterschiedlichste anwendungen geführt. transformer-modelle wie bert (devlin et al. 2018) und deren weiterenwicklungen, welche auf großen mengen an sprachdaten trainiert wurden, sind als starke transfer-lerner (ruder et al. 2019) bekannt und erlauben einen vielfältigen einsatz beim fine-tuning für spezifische aufgaben ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">natural language understanding</hi>, fragenbeantwortung, wortarten-klassifikation). transformer können auch für bildverarbeitung genutzt werden (dosovitskiy et al. 2021; touvron et al. 2021), was die entwicklung von bert-ähnlichen und auf großen bildmengen vortrainierten modellen zur folge hatte (bao, dong, and wei 2021).
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.2	p	für unser projekt nutzen wir als grundlage <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">trocr</hi> (li et al. 2021), welchem ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">encoder-decoder</hi>-struktur zugrunde liegt. bildseitig beruht der encoder auf der beit-architektur (bao, dong, and wei 2021), welche für die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">feature</hi>-extraktion aus den bildern verantwortlich ist, während der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">decoder</hi> die bildinformation mit hilfe eines roberta-sprachmodells (liu et al. 2019) in eine <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">subword</hi>-folge “übersetzt”. li et al. benutzten in zwei <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">pre-training</hi>-phasen über 700 millionen an synthetisch erzeugten und echten textzeilenbilder mit dem dazugehörigen text in englischer sprache, die danach mit dem iam-datenset (marti and bunke 2002) einem <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">finetuning</hi> unterzogen wurden. die cer von 2.89% liegt nur 0.14 prozentpunkte hinter einem klassischen ansatz (diaz et al. 2021).
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.3	p	im gegensatz zu den beiden anderen projektteilen wurde für die trocr-anwendung die zeilen nach sprachen unterschieden. dies sprachverteilung und einige weitere kennzahlen können tabelle 2 entnommen werden.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.4	p	wir untersuchen die eignung von trocr für die texterkennung auf historischen daten, indem wir die anzahl epochen, die für das fine-tuning aufgewendet werden, variieren und multi- wie auch monolinguale modelle trainieren. alle modelle führen während eines drittels der epochenzahl ein <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">warm-up</hi> durch.<ref xmlns="http://www.tei-c.org/ns/1.0" n="5" target="ftn5" /> für die evaluation haben wir auch die testsets nach sprachen aufgeteilt. tabelle 3 fasst die ergebnisse zusammen.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.5	p	aufgrund der resultate entschieden wir uns, die monolingualen modelle auf 5 epochen zu trainieren. auf die frühneuhochdeutschen zeilen der vielschreiber angewandt liefert das monolinguale modell mit einer cer von 6.06% entgegen der erwartungen nicht das beste resultat. dieses erreichte ein multilinguales modell (trainiert über 6 epochen) mit einer cer von 5.09%, also knapp einem prozentpunkt unterschied. die größere menge an bilddaten beeinflusst während des fine-tunings merklich die performanz.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.9.6	p	unsere experimente zeigen, dass transformer-basierte htr für historische daten cers in akzeptablen bereichen liefert, ohne dass trocr bis zu unserem fine- latein oder fnhd gesehen hätte. trotz der im vergleich zum pre-training kleinen lateinischen und frühneuhochdeutschen textmenge lernt trocr die dekodierung von neuen sprachen zuverlässig. in zeilen, in welchen die sprache hingegen ändert (code-switching), was im bullinger-briefwechsel relativ häufig passiert (volk et al. 2022), reagiert trocr zu spät für den sprachwechsel (abbildung 5). solche phänomene werden wir mit flexibleren modellen abzufangen versuchen.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.10	div1	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:1.10.1	p	die arbeit mit dem bullinger-korpus ist aufschlussreich in unterschiedlicher hinsicht. zentral für diese arbeit sind drei <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">schlussfolgerungen</hi>:
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2	back	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn1" n="1"> <hi style="font-size:10pt"> </hi> <ref target="https://www.bullinger-digital.ch/"> <hi rend="color(1155cc)" style="font-size:10pt">https://www.bullinger-digital.ch/</hi> </ref> <hi style="font-size:10pt">.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn2" n="2"> <hi style="font-size:10pt">stand 1.6.2022.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn3" n="3"> <hi style="font-size:10pt">character error rate wird mit cer abgekürzt und steht für zeichenfehlerrate.</hi> </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn4" n="4"> für den aufbau des experiments: spoto et al. 2022. </note><note xmlns="http://www.tei-c.org/ns/1.0" rend="footnote text" xml:id="ftn5" n="5"> <hi style="font-size:10pt">warm-up bedeutet, dass zu beginn des trainings mit kleinen lernraten gerechnet wird, um das modell langsam an die neuen daten zu gewöhnen.</hi> </note>
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2	bibliogr	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1	listBibl	
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bullinger, heinrich. </hi>1973. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">briefe der jahre 1524-1531</hi>. edited by ulrich gäbler and fritz büsser. vol. 1. heinrich bullinger werke. zweite abteilung: briefwechsel. zürich: theologischer verlag.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.2	bibl	———. 2022. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">briefe von april bis dezember 1547: anhang: neue briefe aus den jahren 1523 bis 1546</hi>. edited by reinhard bodenmann, yvonne häfner, and judith steiniger. 1st ed. vol. 20. heinrich bullinger werke. zweite abteilung: briefwechsel. zürich: theologischer verlag zürich.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">davis, brian, bryan morse, brian price, chris tensmeyer, curtis wigington, and rajiv jain.</hi> 2020. “text and style conditioned gan for the generation of offline-handwriting lines.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">the 31st british machine vision (virtual) conference 2020</hi>. bath. https://www.bmvc2020-conference.com/conference/papers/paper_0815.html.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">diaz, daniel hernandez, siyang qin, reeve ingle, yasuhisa fujii, and alessandro bissacco.</hi> 2021. “rethinking text line recognition models.” arxiv. http://arxiv.org/abs/2104.07787.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">dosovitskiy, alexey, lucas beyer, alexander kolesnikov, dirk weissenborn, xiaohua zhai, thomas unterthiner, mostafa dehghani, et al.</hi> 2021. “an image is worth 16x16 words: transformers for image recognition at scale.” arxiv. http://arxiv.org/abs/2010.11929.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">hodel, tobias. </hi>2020. “best-practices zur erkennung alter drucke und handschriften – die nutzung von transkribus large- und small-scale.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">dhd 2020. spielräume digital humanities zwischen modellierung und interpretation</hi>, edited by christof schöch, 84–87. paderborn. https://doi.org/10.5281/zenodo.3666689.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">leifert, gundram, roger labahn, and joan andreu sánchez.</hi> 2020. “two semi-supervised training approaches for automated text recognition.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">2020 17th international conference on frontiers in handwriting recognition (icfhr)</hi>, 145–50. https://doi.org/10.1109/icfhr2020.2020.00036.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">li, minghao, tengchao lv, lei cui, yijuan lu, dinei florencio, cha zhang, zhoujun li, and furu wei.</hi> 2021. “trocr: transformer-based optical character recognition with pre-trained models.” arxiv. http://arxiv.org/abs/2109.10282.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">liu, yinhan, myle ott, naman goyal, jingfei du, mandar joshi, danqi chen, omer levy, mike lewis, luke zettlemoyer, and veselin stoyanov. </hi>2019. “roberta: a robustly optimized bert pretraining approach.” arxiv. https://doi.org/10.48550/arxiv.1907.11692.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">marti, u.-v., and h. bunke.</hi> 2002. “the iam-database: an english sentence database for offline handwriting recognition.” <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">international journal on document analysis and recognition</hi> 5 (1): 39–46. https://doi.org/10.1007/s100320200071.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">puigcerver, joan.</hi> 2017. “are multidimensional recurrent layers really necessary for handwritten text recognition?” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">2017 14th iapr international conference on document analysis and recognition (icdar)</hi>, 01:67–72. https://doi.org/10.1109/icdar.2017.20.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ruder, sebastian, matthew e. peters, swabha swayamdipta, and thomas wolf. </hi>2019. “transfer learning in natural language processing.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: tutorials</hi>, 15–18. minneapolis, minnesota: association for computational linguistics. https://doi.org/10.18653/v1/n19-5004.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">sousa neto, arthur flor de, byron leite dantas bezerra, alejandro héctor toselli, and estanislau baptista lima.</hi> 2020. “htr-flor: a deep learning system for offline handwritten text recognition.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">2020 33rd sibgrapi conference on graphics, patterns and images (sibgrapi)</hi>, 54–61. https://doi.org/10.1109/sibgrapi51738.2020.00016.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.14	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">spoto, martin, beat wolf, andreas fischer, and anna scius-bertrand.</hi> 2022. “improving handwriting recognition for historical documents using synthetic text lines.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings 20th conf. of the international graphonomics society (igs)</hi>. las palmas de gran canaria.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.15	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">strauss, tobias, max weidemann, johannes michael, gundram leifert, tobias grüning, and roger labahn.</hi> 2018. “system description of citlab’s recognition & retrieval engine for icdar2017 competition on information extraction in historical handwritten records.” <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">corr</hi> abs/1804.09943. http://arxiv.org/abs/1804.09943.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.16	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">touvron, hugo, matthieu cord, matthijs douze, francisco massa, alexandre sablayrolles, and herve jegou. </hi>2021. “training data-efficient image transformers & distillation through attention.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 38th international conference on machine learning</hi>, 10347–57. pmlr. https://proceedings.mlr.press/v139/touvron21a.html.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.17	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">vaswani, ashish, noam shazeer, niki parmar, jakob uszkoreit, llion jones, aidan n gomez, Łukasz kaiser, and illia polosukhin.</hi> 2017. “attention is all you need.” in <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">advances in neural information processing systems</hi>, 30:5998–6008. curran associates, inc. https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-abstract.html.
urn:cts:dhd:2023.hodel_tobias_bullingers_briefwechsel_zugaenglich_machen_stan:2.2.1.18	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">volk, martin, lukas fischer, patricia scheurer, raphael schwitter, phillip ströbel, benjamin suter.</hi> 2022. “nunc profana tractemus. detecting code-switching in a large corpus of 16th century letters.” <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">in proceddings of lrec 2022</hi>. marseille.