urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:	edition	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1	body	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1	div1	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.1	p	Die Verwendung von Referenzdaten für das Training und die Auswertung statistischer Annotations- und Analyseverfahren ist ein Kernmerkmal empirischer Forschung, zu der auch die Digital Humanities zählen möchten.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn1" n="1" /> Die wichtigste Grundlage für den erfolgreichen Einsatz statistischer Verfahren liegt in der Verwendung geeigneter, den Algorithmen zugrunde liegender Modelle. Für deren Erstellung ist neben einem passenden Lernverfahren das Vorhandensein von Trainingsdaten eine wesentliche Voraussetzung. Werden Forschungsdaten, die mit quantitativen Methoden entstanden sind, mit Referenzdaten verifiziert und interpretiert, ist ein kritischer Blick auf Auswahl, Erstellung und Umgang mit selbigen ein häufig vernachlässigter Bereich.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.2	p	Vor diesem Hintergrund richtet der vorliegende Beitrag einen kritischen Blick auf die Rolle von und den Umgang mit Ground-Truth-Daten im Bereich der Digital Humanities. Drei Beobachtungen sollen zur Diskussion gestellt werden:
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.3	p	Anhand der automatischen Texterfassung, die als Analogie für ein allgemeines Modell eines empirischen Forschungsprozesses<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn2" n="2" /> gesetzt wird, sollen im Folgenden die Probleme diskutiert und Möglichkeiten gezeigt werden, wie diesen Defiziten begegnet werden kann.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.4	p	Unter Ground Truth wird in diesem Kontext die Dokumentation ausgewählter Merkmale (Zeichen, Zeilen, Absätze, Spalten, Abbildungen, usw.) des Textes in Form einer digitalen Transkription verstanden. Dabei ist je nach Anwendung zwischen allgemeineren Referenz- und spezifischeren Trainingsdaten zu unterscheiden.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.5	p	Die Volltext-Digitalisierung von Archiv- und Bibliotheksbeständen, größeren Dokumentsammlungen oder Korpora wird heute von unterschiedlichen Seiten verfolgt: So werden beispielsweise seit 2005 massenhaft Bibliotheksbestände von Google im Rahmen von öffentlich-privaten Partnerschaften sowohl als Bild als auch als Text digitalisiert. Daneben unterstützen Stiftungen, Fördereinrichtungen wie die DFG sowie die Haushaltsmittel der Institutionen die Digitalisierungen im Rahmen spezifischer Projekte. Im Ergebnis dieser Digitalisierungsbemühungen stehen Volltextsammlungen höchst unterschiedlicher Qualität, Vollständigkeit, Interoperabilität und Nachnutzbarkeit.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.1.6	p	Mit der OCR-D-Initiative wird erstmals versucht, die technischen und organisatorischen Grundlagen dafür zu schaffen, einen breiten heterogenen Bestand von Drucken aus dem 16. – 18. Jahrhundert vollständig und einheitlich in elektronischen Volltext umzuwandeln und frei zur Verfügung zu stellen. Unter Einbeziehung einzelner Modulprojekte wird vom DFG-geförderten Koordinierungsprojekt<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn4" n="4" /> die Transformation der Drucke in strukturierten Volltext konzeptuell und prototypisch vorbereitet. Dazu werden im Rahmen von OCR-D Anwendungen, Adaptionen und Weiterentwicklungen von Verfahren der Optical Character Recognition (OCR) für historische Drucke geprüft bzw. implementiert und in einer finalen, prototypischen Produktionsumgebung kombiniert. Eine zentrale Aufgabe von OCR-D besteht dabei in der Bereitstellung eines umfassenden Ground-Truth-Korpus, das sowohl Referenz- als auch Trainingsdaten sowie Richtlinien zur Transkription von Texten für deren Verwendung als Ground Truth umfasst. Damit können sowohl Texte bezüglich ihrer Zeichengenauigkeit transparent geprüft als auch spezielle statistische Modelle für die Text- und Strukturerkennung trainiert werden.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2	div1	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.1	p	1. Gegenstand der Digital Humanities ist das digitale Objekt, beispielsweise digitaler Text.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn5" n="5" /> Vergleicht man den Bereich der automatischen Texterfassung mit einem in der empirischen Sozialforschung etablierten Modell des Forschungsprozesses, wird deutlich, dass die Referenzdaten in beiden Prozessen, im Besonderen in der Phase der Evaluation nach Abschluss der Datenanalyse, eine bedeutende Rolle spielen. In dieser Phase wird auf entsprechende Referenzdaten oder -systematiken zurückgegriffen, die in der Phase der Theoriebildung identifiziert und angesammelt wurden. Anzumerken ist, dass der Forschungsprozess nicht isoliert zu betrachten ist, da er schon zu Beginn bei Formulierung und Auswahl des Forschungsproblems auf vorhandene Forschungsdaten zurückgreift. Der traditionelle Forschungsprozess hat durch ein System von Referenzendaten (u. a. Wörterbücher, Editionen, Nachschlage- und Quellenwerke) ein System der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">referenzbasierten</hi> Evaluation geschaffen. Dieses System wird gestützt durch Konventionen der Zitierung, Dokumentation, Verzeichnung und Aufbewahrung in Institutionen sowie spezifischen Publikationsformen. Der Forschungsprozess in den Digital Humanities kann auf diesen Hintergrund nur teilweise bzw. gar nicht zurückgreifen, da bisher zu wenige digitale Daten vorliegen.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.2	p	Auf der anderen Seite haben die Digital Humanities bezüglich der Verfügbarmachung von Quellcode und Forschungsdaten einen großen Vorsprung gegenüber anderen datenbasiert arbeitenden Disziplinen (etwa der kognitiven Psychologie). <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Reproducible Science</hi> wird sowohl gefördert als auch propagiert. Problematisch sind aber die fehlende Vereinheitlichung und Transparenz bei der Datenerhebung sowie der Einsatz mangelhaft erfasster Daten bzw. deren ad-hoc Surrogaten bedingt durch die mangelnde Verfügbarkeit an (insbesondere annotierten) Forschungsdaten.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.3	p	Die Arbeitsweise mit Referenzdaten, wie sie in den Naturwissenschaften und Teilen der Geisteswissenschaft Anwendung findet, möchte neben der Evaluation, Verifikation gerade die Vergleichbarkeit der Forschungsergebnisse stützen. Das setzt voraus, dass diese Daten in ihrer Qualität diesen Ansprüchen genügen müssen und durch entsprechende Normungen Interpretationsspielräume definiert sind.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.4	p	Trotz des wissenschaftlichen Anspruches der Digital Humanities auf Objektivität und dem Bemühen Referenzdaten zu schaffen, werden unterschiedliche Interpretationen, die auf Grundlage von mangelhaften Referenz- und Trainingsdaten entstehen, möglich. Solch ein „hinzunehmendes Übel“ wird erkannt und mit „Pragmatismus“, mit der „Flexibilität“ oder „Austauschbarkeit von Konzepten im Konkreten der Texte“ gerechtfertigt<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn6" n="6" />, eine Vergleichbarkeit der so entstandenen Texte bzw. Forschungsergebnisse damit aber wesentlich behindert. Um eine Vergleichbarkeit im Sinne von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Reproducible Science</hi> zu erreichen, ist somit der Gegenstand der Digital Humanities um die Fragen der Objekterstellung zu erweitern.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.5	p	2. Mit dem Begriff OCR wird üblicherweise der Gesamtprozess der automatischen Texterfassung bestehend aus den Teilaufgaben Bildvorverarbeitung, Struktur- und Texterkennung sowie gegebenenfalls (automatisierter) Nachkorrektur bezeichnet. Damit eine OCR vorgenommen werden kann, sind entsprechende Erkennungsmodelle notwendig. Diese werden durch sogenanntes Training unter Nutzung von Ground Truth induziert. Generische Modelle werden vom Anbieter der OCR-Software zur Verfügung gestellt, domänenspezifische Modelle müssen trainiert werden. Das Training dient immer der Verbesserung der Endergebnisse des Erkennungsprozesses. Somit sollten bei einem universellen Anspruch Ground-Truth-Daten sowohl spezifische als auch allgemeine Normungen enthalten, damit sowohl generische als auch spezifische Modelle trainiert werden können. Ziel ist es, die unterschiedlichen Bedürfnisse und Schwerpunkte in den Digital Humanities zu bedienen.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.6	p	3. Um diesem sehr breiten Anspruch gerecht zu werden, reicht eine Akklamation, dass diese oder jene Sammlung von Daten als Ground Truth bezeichnet und genutzt werden kann, nicht aus. Es bedarf hingegen eines Ground-Truth-Konzepts. Dieses Konzept dokumentiert sowohl dessen inneren Aufbau als auch dessen Erstellung. Damit können im Bereich der Texterfassung beispielsweise folgende Punkte im Umgang mit Ground Truth erreicht werden:
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.7	p	Illustriert werden kann ein solches Konzept am Beispiel der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">OCR-D Ground-Truth-Guidelines</hi>. Um die Freiheitsgrade von Interpretationen (Punkt A) zu normieren werden drei Level von Erfassungsgraden angeboten. Die einzelnen Level sollen nachvollziehbare Interpretationsentscheidungen sowohl festlegen als auch dokumentieren und damit die Möglichkeit der maschinellen Überprüfbarkeit eröffnen.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.8	p	Tabelle : Beispiel der Anwendung der Level bei der Ligatur ct.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.9	p	Damit werden Anweisung und Richtlinien weitgehend operationalisiert und eine computergestützte Validierung umsetzbar (Punkt B). Das entsprechende Ground-Truth-Korpus liegt im XML-basierten PAGE-Format<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn7" n="7" /> vor. Das PAGE-Format hat sich im Rahmen des EU-Projekts IMPACT<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn8" n="8" /> sowie durch seine Verbreitung im Rahmen von Wettbewerben bei wissenschaftlichen Konferenzen (z.B. ICDAR, ICFHR, DAS) als de-facto Standard für XML-basierter Ground Truth etabliert. Mit Hilfe von Schematron<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn9" n="9" />-Regeln kann nun, wie das Beispiel zeigt, geprüft werden, nach welchem Level die „ct“-Ligatur kodiert ist:
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.2.10	p	Die Wahl des PAGE-Formates ermöglicht im Unterschied zum TEI-basierten Basisformat des DTA (DTABf)<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn10" n="10" /> eine unkomplizierte Lösung für die Repräsentation von koordinatenbasierten Phänomenen (Punkt C).
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.3	div1	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.3.1	p	Ground Truth stellt im Texterkennungsprozess und im dazu betrachteten Forschungsprozess in den Digital Humanities eine entscheidende Rolle dar. Ergebnis dieser beiden Prozesse sind immer Publikationen, die als Forschungsdaten in neuen Forschungszusammenhängen nachgenutzt werden. Gelingt es den Digital Humanities nicht, ein Referenzsystem mit Konventionen zur Prüfung, Dokumentation, Verzeichnung und Aufbewahrung ihrer Daten in Institutionen sowie spezifischen Publikationsformen aufzubauen, ist die Vergleichbarkeit der Forschungsergebnisse nicht immer gegeben. Dabei bietet der Aufbau so genannter Forschungsdatenrepositorien erste positive Entwicklungen in Richtung dokumentierter Forschungsprozesse.<ref xmlns="http://www.tei-c.org/ns/1.0" target="ftn11" n="11" />
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.3.2	p	Der Gegenstand der Digital Humanities ist nicht nur auf das digitale Objekt zu beschränken, sondern auch auf dessen Erstellung zu erweitern. Die Erstellung ist ein Prozess, der von den Digital Humanities zu dokumentieren ist, da nur so eine Referenzierbarkeit und Reproduzierbarkeit der Forschungsergebnisse möglich wird. Der kritische Umgang mit diesen Daten stellt eine Aufgabe der Wissenschaft dar.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:1.3.3	p	Daher täten die Digital Humanities gut daran, in einen aktiven Dialog mit digitalisierenden Einrichtungen und Förderern einzutreten um gemeinsame Standards und Richtlinien zur Dokumentation zu etablieren, die transparent Auskunft über die Provenienz eines digitalen Objekts geben sowie klar über Möglichkeiten sowie Einschränkungen zu dessen Nachnutzbarkeit informieren. Entscheidungen, Kriterien, Daten und Ergebnisse sollten, im Unterschied zur bisherigen, in diesem Beitrag kritisierten Praxis, zukünftig möglichst transparent, operationalisierbar sowie validierbar digital zur Verfügung gestellt werden.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2	back	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" n="1" rend="footnote text"> Vgl. dazu These 1.1: „Die Digital Humanities bereichern die traditionellen Geisteswissenschaften konzeptionell und methodisch - ihre Werkzeuge und Verfahren ergänzen das „Wie“ unserer Praxis um <hi rend="italic">eine empirisch ausgerichtete Epistemologie.</hi>“ [Thesenpapier des Fachverbands „Digital Humanities im deutschsprachigen Raum“ 2014] </note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" n="2" rend="footnote text"> siehe [Schnell, Hill, Esser 2011: 4]</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn3" n="3" rend="footnote text"> siehe Fußnote 2</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn4" n="4" rend="footnote text"> OCR-D: Koordinierungsprojekt zur Weiterentwicklung von Verfahren der Optical Character Recognition (OCR), http://www.ocr-d.de/.</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn5" n="5" rend="footnote text"> „Es werden weitere korpusbasierte Analysen angestrebt. Diese erfordern aber eine Voraussetzung: Im Zuge der ‚digitale[n] Wende‘ [Schöch 2014: 130] ist es weiterhin wünschenswert und erforderlich, dass immer mehr literarische Texte digital zur Verfügung stehen oder diese durch leichte und praktikable Verfahren der Texterkennung (OCR, optical character recognition) digitalisierbar gemacht werden können.“ [Mihm 2016: 200]</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn6" n="6" rend="footnote text"> „Dass die von uns einbezogenen Online-Repositorien hinsichtlich der editionsphilologischen Textqualität variieren ist ein hinzunehmendes Übel, dem wir zum einen pragmatisch (Wahl der bestmöglichen verfügbaren Ausgabe; Ziel, die Fehlermarge unter 2% zu halten), zum anderen unter Hinweis auf die flexible Struktur des Korpus (Austausch durch eine qualitativ hochwertigere Version ist möglich) begegnen. Durch die nahtlose Dokumentation des Korpus wird zudem die nötige Transparenz gewährleistet um auch Nachnutzern flexible Kontrolle der Daten zu ermöglichen.“ [Herrmann-Wolf, Lauer 2016: 159]</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn7" n="7" rend="footnote text"> Page Analysis and Ground Truth Elements, siehe http://www.primaresearch.org/publications/ICPR2010_Pletschacher_PAGE und https://github.com/PRImA-Research-Lab/PAGE-XML.</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn8" n="8" rend="footnote text"> Vgl. https://www.digitisation.eu/tools-resources/image-and-ground-truth-resources/.</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn9" n="9" rend="footnote text"> ISO/IEC-Standard 19757-3:2006</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn10" n="10" rend="footnote text"> Deutsches Textarchiv, DTA-Basisformat, http://www.deutschestextarchiv.de/doku/basisformat/.</note> <note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn11" n="11" rend="footnote text"> Vgl. z.B. https://rdmorganiser.github.io/</note>
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2	bibliogr	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1	listBibl	
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Herrmann-Wolf, J. Berenike / Lauer, Gerhard</hi> (2016): „Aufbau und Annotation des Kafka/Referenzkorpus“ in: Burr Elisabeth (ed): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">DHd 2016 : Modellierung, Vernetzung, Visualisierung : die Digital Humanities als fächerübergreifendes Forschungsparadigma</hi> : Konferenzabstracts : Universität Leipzig 7. bis 12. März 2016. [Duisburg]: nisaba 158-160.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Mihm, Melanie</hi> (2016): „Weibliches Erzählen im Expressionismus? Eine Stilometrie von Mela Hartwigs Prosa“ in: Burr Elisabeth (ed): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">DHd 2016 : Modellierung, Vernetzung, Visualisierung : die Digital Humanities als fächerübergreifendes Forschungsparadigma</hi> : Konferenzabstracts : Universität Leipzig 7. bis 12. März 2016. [Duisburg]: nisaba 198-200.
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schöch, Christof</hi> (2014): „Corneille, Molière et les autres. Stilometrische Analysen zu Autorschaft und Gattungszugehörigkeit im französischen Theater der Klassik“, in: Schöch, Christof / Schneider, Lars (eds.): <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Literaturwissenschaft im digitalen Medienwandel</hi> (=Philologie im Netz Beiheft 7) 130-157 http://web.fu-berlin.de/phin/beiheft7/b7t08.pdf [letzter Zugriff 25.September 2017].
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Schnell, Rainer / Hill, Paul B. / Esser, Elke</hi> (2011): Methoden der empirischen Sozialforschung. 9., aktualisierte Aufl. München: Oldenbourg
urn:cts:dhd:2018.boenig_matthias_ground_truth_grundwahrheit_oder_ad_hoc_l_su:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Thesenpapier des Fachverbands „Digital Humanities im deutschsprachigen Raum“ (DHd)</hi> (2014): „Digital Humanities 2020“, vorgestellt im März 2014 auf der ersten Jahrestagung des Verbandes in Passau. http://dig-hum.de/digital-humanities-2020.