Um eine klare Vorstellung davon zu bekommen, welche Qualität die Daten der Fan-Gemeinschaften haben, wurden für drei unterschiedliche Datenquellen randomisierte Stichproben gezogen und auf Korrektheit überprüft. Die Größe der Stichproben wurde so gewählt, dass das Ergebnis mit einer Konfidenz von 95% (+/- 5%) auch für die Grundgesamtheit gilt. Als Datenelemente wurden die Titel von Anime-Filmen und Computerspielen von Genre “Visual Novel” in der Originalsprache Japanisch und der englischen Übersetzung ausgewählt. Die Titel sind prominent auf den Covern der Vertriebsmedien ersichtlich und können daher mit vertretbarem Aufwand auch ohne Inspektion des Mediums selbst geprüft werden. Konkret konnte dafür auf Abbildungen aus Online-Shops und Webseiten der Vertriebsfirmen zurückgegriffen werden. Abbildung 3 fasst die Ergebnisse der Untersuchung zusammen. Die beobachteten Fehler waren überwiegend typografischer Natur und betrafen primär nicht-sinntragende Elemente der Titel (5,57%-28,16%): Leerzeichen, Interpunktion, Anführungszeichen und Sonderzeichen wie Sterne, Herzen oder auch Sonderformen von Bindestrichen. Es gab deutlich weniger echte semantische Fehler (0%-2,48%), die meisten davon Hinzufügungen zum Titel, die offenbar der Disambiguierung von gleichnamigen Medien dienen soll.