urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:	edition	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1	body	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.1	p	TEI-XML ist eine exzellente Technologie für digitale Editionen. Aber für die computationelle Analyse ist ein Korpus von XML-Dokumenten keine günstige Grundlage, weil Algorithmen erheblich komplexer werden, wenn statt linearem plain text ein XML-Baum durchlaufen werden muss. Zwar ist die Extraktion von plain text aus XML nicht aufwendig, aber für die Rückführung von Analyse-Ergebnissen in den XML-Baum gibt es bislang keine allgemeine Lösung. Dennoch ist eine solche in vielen Fällen wünschenswert, weil dann Analyse-Ergebnisse und die Struktur des Dokuments in einer allgemeinen Abfragesprache wie XQuery ausgewertet werden können. Es existieren Insellösungen zum Enrichment von TEI-XML, die auf bestimmte Tools ausgerichtet sind, etwa Spacy (Andorfer und Schlögl 2021, Meyer 2022), oder auf bestimmte Anwendungsfälle, etwa Alliterationen (Consalvi und Fumagalli 2022). Wünschenswert wäre jedoch, ganz allgemein Analyse-Tools für plain text entwickeln zu können und sie auch zum Enrichment von XML einsetzen zu können. Genau dies ermöglichen die hier vorgestellten <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">StandOff Tools</hi>.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.2	div1	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.2.1	p	Die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">StandOff Tools</hi> bestehen aus zwei Komponenten:<ref xmlns="http://www.tei-c.org/ns/1.0" n="1" target="ftn1" /> dem Extraktor <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> und dem Internalizer <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi>. In einer Annotationspipeline ist zwischen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> ein anwendungsspezifischer Plain-Text-Tagger <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">T</hi> geschaltet. (Abb. 1) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> extrahiert aus dem XML-Quelldokument plain text, der an <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">T</hi> geleitet wird. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> nimmt von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">T</hi> gelieferte Referenzierungen von Plain-Text-Fragmenten entgegen und bringt sie als Inline-Markup stets so in den XML-Baum ein, dass wohlgeformtes XML herauskommt.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.2.2	p	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> sind insofern generische Komponenten, als dass ein beliebiger Tagger in eine Pipeline zum Enrichment von XML eingesetzt werden kann, solange er folgende Anforderungen erfüllt: a) Er muss plain text verarbeiten, b) er muss darin Textpassagen (ranges) per <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">character offsets</hi> referenzieren, genauer: nach den in RFC 5147, Abschnitt 2.1.1 und 2.2.2 beschriebenen Regeln für <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">character ranges</hi>.<ref xmlns="http://www.tei-c.org/ns/1.0" n="2" target="ftn2" /> Die vom Tagger ausgegebenen Ranges dürfen einander umfassen oder überlappen, so dass auch komplexe Strukturen in der XML-Quelle ausgezeichnet werden können. Die Ranges werden von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> so zerschnitten, dass Überlappungen mit anderen Ranges und dem internen Markup der XML-Quelle aufgelöst werden (Splitting).
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.2.3	p	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.2.3.1	p	Abb. 1: Schema einer Annotationspipeline für TEI XML
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.3	div1	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.3.1	p	Die Komponenten <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> müssen so aufeinander abgestimmt sein, dass <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> hinreichend Informationen hat, um die Annotationen von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">T</hi> in das XML-Dokument einzubauen. Neben Ansätzen, die ein Sprachmodell, und sei es auch nur eine Tokenisierung, einführen und insofern nicht generisch sind (Schopper 2021, Andorfer und Schlögel 2021), lassen sich in der DH-Software-Entwicklung zwei Ansätze beobachten.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.3.2	p	Nach dem ersten extrahiert <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> die Textknoten und sammelt dabei Informationen darüber, wo Elemente anfangen und aufhören. Dies ist auf DOM-Ebene möglich. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> kann dann Blätter des DOM-Baums so ersetzen, dass an ihrer Stelle neue Teilbäume die (zerschnittenen) Annotationen darstellen. Diesen Ansatz verfolgen die Lösung von Meyer (2022) und der Prototyp von Lassner (2021). Sein Vorteil ist, dass gängige XML-Parser eingesetzt werden können. Sein Nachteil ist, dass manche Merkmale der serialisierten XML-Quelle nicht bewahrt werden können, weil sie nicht zur DOM-Spezifikation gehören: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">character</hi> und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">entity references</hi> sowie <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">whitespace</hi> in Tags.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.3.3	p	Die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">StandOff Tools</hi> verfolgen einen anderen Ansatz: Hier speichert <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">E</hi> Informationen über die Position, die jedes Zeichen des extrahierten Textes im XML-Quelldokument gehabt hat ( <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">offset mapping</hi>). DOM-Manipulationen erfolgen nicht. Ein Parser ermittelt Positionsdaten aus dem XML-Quelldokument. Die Extraktion erfolgt dann im Wesentlichen durch Kopieren von Zeichenketten aus dem serialisiert vorliegenden XML-Quelldokument. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> kann aufgrund des <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">offset mapping</hi> die Positionsdaten des Taggers auf die XML-Quelle beziehen. Wie im ersten Ansatz zerschneidet <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> die Annotationen. Das Splitting, das Herzstück des Algorithmus, basiert auf einer Auswertung der Positionsdaten (offsets), die der XML-Parser für das interne Markup und der Tagger <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">T</hi> für die Annotationen liefert. Anschließend werden aufgrund der Positionsdaten Portionen der XML-Quelle in die Ausgabe kopiert und neue Tags dazwischen gesetzt. Dieser Ansatz hat den Nachteil, dass kein üblicher XML-Parser eingesetzt werden kann. Aber er reproduziert diejenigen Merkmale der XML-Quelle, welche im ersten Ansatz verloren gehen.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.4	div1	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:1.4.1	p	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">I</hi> kann auch allein betrieben werden, um manuelle Annotationen, die Passagen eines XML-Dokuments per character offsets referenzieren, zu internalisieren und zu anschließend zu visualisieren oder auszuwerten. Solche Annotationen können z.B. als Web Annotations (OA-Ontology) realisiert werden. Wenn dabei allerdings wie in CATMA eine schlichte Extraktion von Textknoten aus HTML oder XML erfolgt, gehen dabei Informationen verloren, welche für eine Internalisierung der Annotationen erforderlich sind. Insofern bleibt die Internalisierung von CATMA-Annotationen in TEI noch Desiderat (Cayless 2019). Dennoch weisen die verschiedenen neuen Entwicklungsansätze einen Weg abseits vom nicht-funktionalen Standoff-Konzept der TEI (Banski 2010), auf welchem der Mehrwert sowohl von Standoff-Annotationen als auch von TEI realisierbar ist.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2	back	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" rend="footnote text" n="1"> Die Komponenten liegen derzeit als Kommandozeilen-Programme vor. Eine Implementierung als Webservices ist in Planung, wobei sich die Modellierung des Informationsflusses komplexer gestaltet, weil der Extraktor einen mehrfachen Output hat. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" rend="footnote text" n="2">Derzeit steht als Eingabe-Format für den Internalizer CSV zur Verfügung. Eine Implementierung der Syntax von RFC 5147 ist geplant.</note>
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2	bibliogr	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1	listBibl	
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Andorfer, Peter und Schlögl, Matthias. 2021.</hi> acdh-spacytei. In: KONDE Weißbuch. Hrsg. v. Helmut W. Klug unter Mitarbeit von Selina Galka und Elisabeth Steiner im HRSM Projekt “Kompetenznetzwerk Digitale Edition”. Aufgerufen am: 3.8.2022. Handle: hdl.handle.net/11471/562.50.2.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Banski, Piotr. 2010.</hi> “Why TEI stand-off annotation doesn’t quite work and why you might want to use it nevertheless.” Balisage: The Markup Conference 2010, 10.4242/BalisageVol5.Banski01
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Cayless, Hugh. 2019.</hi> “Implementing TEI Standoff Annotation in the browser.” Proceedings of Balisage: The Markup Conference 2019, no. 23, 10.4242/BalisageVol23.Cayless01
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Consalvi, A. und Fumagalli, S. 2022.</hi> “Alliteration: automatic identification and encoding.” 2022 TEI Conference. Conference abstract, Session 1A-2, (im Erscheinen)
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Lassner, David.</hi> “The Standoff Converter. A standoff-based approach to work on TEI documents in Python that connects the world of digital philology with NLP.” 2021 TEI Conference and Members’ Meeting.
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Meier, Wolfgang. 2022.</hi> “Names sell. Named Entity Recognition in TEI Publisher”, https://e-editiones.org/blog/ (zugegriffen: 3. August 2022)
urn:cts:dhd:2023.lueck_christian_standoff_tools_generische_dienste_fuer_die_a:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schopper, Daniel. 2021.</hi> xsl-tokenizer. In: KONDE Weißbuch. Hrsg. v. Helmut W. Klug unter Mitarbeit von Selina Galka und Elisabeth Steiner im HRSM Projekt “Kompetenznetzwerk Digitale Edition”. Aufgerufen am: 3.8.2022. Handle: hdl.handle.net/11471/562.50.216.