Als transformerbasierte Sprachmodelle werden dynamische <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">word embeddings</hi> wie BERT (Devlin et al. 2018) oder ELECTRA (Clark et al. 2020) bezeichnet, die in Erweiterung zu statischen Modellen den Kontext eines Wortes in seiner Umgebung. Wir evaluieren einige der wichtigsten und (über die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Hugging Face</hi>-Plattform<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn8" n="8" />) frei verfügbaren Modelle, die auf zeitgenössischer Sprache trainiert wurden (Abbildung 3). Die gewählten Modelle erreichen state-of-the-art-Ergebnisse in standardisierten Evaluationen auf deutscher Sprache (Chan et al. 2020).