In historischen Texten finden sich viele zum Teil heute nicht mehr gängige Abkürzungen (<ref xmlns="http://www.tei-c.org/ns/1.0" target="https://abbr.acdh.oeaw.ac.at/">https://abbr.acdh.oeaw.ac.at</ref>) bzw. Trenn- und Satzzeichen - was sich wiederum ungünstig auf die Tokenisierung auswirkt.