<head xmlns="http://www.tei-c.org/ns/1.0">Experimente</head> <p xmlns="http://www.tei-c.org/ns/1.0">Um die Rolle von Ausreißern und damit die Plausibilität von H1 näher zu untersuchen, ergänzen wir Delta<hi rend="subscript">Bur</hi> und Delta<hi rend="subscript">Q</hi> um weitere Delta-Varianten, die auf dem allgemeinen Minkowski-Abstand basieren: </p> <p xmlns="http://www.tei-c.org/ns/1.0"> <formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <msub xmlns="http://www.w3.org/1998/Math/MathML"> <mrow> <mi mathvariant="normal">Δ</mi> </mrow> <mrow> <mi>p</mi> </mrow> </msub> <mo xmlns="http://www.w3.org/1998/Math/MathML">=</mo> <msup xmlns="http://www.w3.org/1998/Math/MathML"> <mrow> <mfenced separators="|"> <mrow> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>m</mi> </mrow> </munderover> <mrow> <msup> <mrow> <mfenced open="|" close="|" separators="|"> <mrow> <msub> <mrow> <mi>z</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> <mfenced separators="|"> <mrow> <msub> <mrow> <mi>D</mi> </mrow> <mrow> <mn>1</mn> </mrow> </msub> </mrow> </mfenced> <mo>-</mo> <msub> <mrow> <mi>z</mi> </mrow> <mrow> <mi>i</mi> </mrow> </msub> <mo>(</mo> <msub> <mrow> <mi>D</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> </mfenced> </mrow> <mrow> <mi>p</mi> </mrow> </msup> </mrow> </mrow> </mfenced> </mrow> <mrow> <mn>1</mn> <mo>/</mo> <mi>p</mi> </mrow> </msup> <mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi> </mml:math> </formula> für <hi rend="italic">p </hi>≥ 1. </p> <p xmlns="http://www.tei-c.org/ns/1.0">Wir bezeichnen diese Abstandsmaße allgemein als L<hi rend="italic subscript">p</hi>-Delta. Der Spezialfall <hi rend="italic">p </hi>= 1 entspricht dem Manhattan-Abstand (also L<hi rend="subscript">1</hi>-Delta = Delta<hi rend="subscript">Bur</hi>), der Spezialfall <hi rend="italic">p</hi> = 2 dem Euklidischen Abstand (also L<hi rend="subscript">2</hi>-Delta = Delta<hi rend="subscript">Q</hi>). Je größer <hi rend="italic">p</hi> gewählt wird, desto stärker wird L<hi rend="italic subscript">p</hi>-Delta von einzelnen Ausreißerwerten beeinflusst. </p> <p xmlns="http://www.tei-c.org/ns/1.0">Abbildung 2 vergleicht vier unterschiedliche L<hi rend="italic subscript">p</hi>-Abstandsmaße (für <formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mi xmlns="http://www.w3.org/1998/Math/MathML">p</mi><mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi><mo xmlns="http://www.w3.org/1998/Math/MathML">=</mo><mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi><mn xmlns="http://www.w3.org/1998/Math/MathML">1</mn><mo xmlns="http://www.w3.org/1998/Math/MathML">,</mo><mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi><mroot xmlns="http://www.w3.org/1998/Math/MathML"> <mrow> <mn>2</mn> </mrow> <mrow /> </mroot><mo xmlns="http://www.w3.org/1998/Math/MathML">,</mo><mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi><mn xmlns="http://www.w3.org/1998/Math/MathML">2</mn><mo xmlns="http://www.w3.org/1998/Math/MathML">,</mo><mi xmlns="http://www.w3.org/1998/Math/MathML"> </mi><mn xmlns="http://www.w3.org/1998/Math/MathML">4</mn></mml:math> </formula>) mit Delta<hi rend="subscript">Cos</hi>. Wir übernehmen dabei den methodologischen Ansatz von Evert et al. (2015): die 75 Texte werden auf Basis der jeweiligen Delta-Abstände automatisch in 25 Cluster gruppiert; anschließend wird die Güte der Autorenschaftszuschreibung mit Hilfe des <hi rend="italic">adjusted Rand index</hi> (ARI) bestimmt. Ein ARI-Wert von 100% entspricht dabei einer perfekten Erkennung der Autoren, ein Wert von 0% einem rein zufälligen Clustering. Offensichtlich nimmt die Leistung von L<hi rend="italic subscript">p</hi>-Delta mit zunehmendem <hi rend="italic">p </hi>ab; zudem lässt die Robustheit der Maße gegenüber der Anzahl von MFW erheblich nach. </p> <figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic n="1002" width="16cm" height="7.655277777777778cm" url="0010-2.png" rend="inline" /> <p rend="figure"><hi rend="bold">Abb. 2</hi>: Clustering-Qualität verschiedener Delta-Maße in Abhängigkeit von der Anzahl von MFW, die als Merkmale verwendet werden. Wie bereits von Janndis et al. (2015) und Evert et al. (2015) festgestellt wurde, liefert Delta<hi rend="subscript">Bur</hi> (L<hi rend="subscript">1</hi>) durchgänig bessere Ergebnisse als Argamons Delta<hi rend="subscript">Q</hi> (L<hi rend="subscript">2</hi>). Delta<hi rend="subscript">Q</hi> erweist sich als besonders anfällig gegenüber einer zu großen Anzahl von MFW. Delta<hi rend="subscript">Cos</hi> ist in dieser Hinsicht robuster als alle anderen Delta-Varianten und erreicht über einen weiten Wertebereich eine nahezu perfekte Autorenschaftszuschreibung (ARI &gt; 90%). </p> </figure> <p xmlns="http://www.tei-c.org/ns/1.0">Eine Vektor-Normalisierung verbessert die Qualität aller Delta-Maße erheblich (vgl. Abb. 3). Argamons Delta<hi rend="subscript">Q</hi> ist in diesem Fall identisch zu Delta<hi rend="subscript">Cos</hi>: die rote Kurve wird von der grünen vollständig überdeckt. Aber auch andere Delta-Maße (Delta<hi rend="subscript">Bur</hi>, L<hi rend="subscript">1.4</hi>-Delta) erzielen praktisch dieselbe Qualität wie Delta<hi rend="subscript">Cos</hi>. Einzig das für Ausreißer besonders anfällige L<hi rend="subscript">4</hi>-Delta fällt noch deutlich gegenüber den anderen Maßen ab. Diese Ergebnisse scheinen zunächst H1 zu bestätigen. </p> <figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic n="1003" width="16cm" height="7.62cm" url="0010-3.png" rend="inline" /> <p rend="figure"><hi rend="bold">Abb. 3</hi>: Clustering-Qualität verschiedener Delta-Maße mit Längen-Normalisierung der Vektoren. In diesem Experiment wurde die euklidische Länge der Vektoren vor Anwendung der Abstandsmaße auf den Standardwert 1 vereinheitlicht.</p> </figure> <p xmlns="http://www.tei-c.org/ns/1.0">Ein anderer Ansatz zur Abmilderung von Ausreißern besteht darin, besonders extreme <hi rend="italic">z</hi>-Werte „abzuschneiden“. Wir setzen dazu alle | <hi rend="italic">z</hi>| &gt; 2 (ein übliches Ausreißerkriterium) je nach Vorzeichen auf den Wert +1 oder –1. Abbildung 4 zeigt, wie sich unterschiedliche Maßnahmen auf die Verteilung der Merkmalswerte auswirken. Die Vektor-Normalisierung (links unten) führt nur zu minimalen Änderungen und reduziert die Anzahl von Ausreißern praktisch nicht. Abschneiden großer <hi rend="italic">z</hi>-Werte wirkt sich nur auf überdurchschnittlich häufige Wörter aus (rechts oben). Wie in Abbildung 5 zu sehen ist, wird durch diese Maßnahme ebenfalls die Qualität aller L<hi rend="italic subscript">p</hi>-Deltamaße deutlich verbessert. Der positive Effekt fällt aber merklich geringer aus als bei der Vektor-Normalisierung. </p> <figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic n="1004" width="14.962188888888889cm" height="9.782969444444445cm" url="0010-4.png" rend="inline" /> <p rend="figure"><hi rend="bold">Abb. 4</hi>: Verteilung von Merkmalswerten über alle 75 Texte bei Vektoren mit 5000 MFW. Gezeigt wird die Verteilung der ursprünglichen <hi rend="italic">z</hi>-Werte (links oben), die Verteilung nach einer Längen-Normalisierung (links unten), die Verteilung beim Abschneiden von Ausreißern mit | <hi rend="italic">z</hi>| &gt; 2 (rechts oben) sowie eine ternäre Quantisierung in Werte –1, 0 und +1 (rechts unten). Im linken unteren Bild gibt die rote Kurve die Verteilung der <hi rend="italic">z</hi>-Werte ohne Vektor-Normalisierung wieder; im direkten Vergleich ist deutlich zu erkennen, dass die Normalisierung nur einen minimalen Einfluß hat und Ausreißer kaum reduziert. Grenzwerte für die ternäre Quantisierung sind <hi rend="italic">z </hi>&lt; –0.43 (–1), –0.43 ≤ <hi rend="italic">z</hi> ≤ 0.43 (0) und <hi rend="italic">z </hi>&gt; 0.43 (+1). Diese Grenzwerte sind so gewählt, dass bei einer idealen Normalverteilung jeweils ein Drittel aller Merkmalswerte in die Klassen –1, 0 und +1 eingeteilt würde. </p> </figure> <figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic n="1005" width="16cm" height="7.024688888888889cm" url="0010-5.png" rend="inline" /> <p rend="figure"><hi rend="bold">Abb. 5</hi>: Clustering-Qualität nach „Abschneiden“ von Ausreißern, bei dem Merkmalswerte | <hi rend="italic">z</hi>| &gt; 2 je nach Vorzeichen durch die festen Werte –2 bzw. +2 ersetzt wurden. </p> </figure> <p xmlns="http://www.tei-c.org/ns/1.0">Insgesamt erweist sich Hypothese H1 somit als nicht haltbar. H2 wird durch das gute Ergebnis der Vektor-Normalisierung unterstützt, kann aber nicht unmittelbar erklären, warum auch das Abschneiden von Ausreißern zu einer deutlichen Verbesserung führt. Um diese Hypothese weiter zu untersuchen, wurden reine „Schlüsselprofil“-Vektoren erstellt, die nur noch zwischen überdurchschnittlicher (+1), unauffälliger (0) und unterdurchschnittlicher (–1) Häufigkeit der Wörter unterscheiden (vgl. Abb. 4, rechts unten). </p> <figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic n="1006" width="16cm" height="7.62cm" url="0010-6.png" rend="inline" /> <p rend="figure"><hi rend="bold">Abb. 6</hi>: Clustering-Qualität bei ternärer Quantisierung der Vektoren in überdurchschnittliche (+1, bei <hi rend="italic">z </hi>&gt; 0.43), unauffällige (0, bei –0.43 &lt; <hi rend="italic">z </hi>&lt; 0.43) und unterdurchschnittliche (–1, bei <hi rend="italic">z</hi> &lt; –0.43) Häufigkeit der Wörter. </p> </figure> <p xmlns="http://www.tei-c.org/ns/1.0">Abbildung 6 zeigt, dass solche Profil-Vektoren hervorragende Ergebnisse erzielen, die der Vektor-Normalisierung praktisch ebenbürtig sind. Selbst das besonders anfällige L<hi rend="subscript">4</hi>-Deltamaß erzielt eine weitgehend robuste Clustering-Qualität von über 90%. Wir interpretieren diese Beobachtung als eine deutliche Bestätigung der Hypothese H2. </p>