Für die Erstellung der Goldstandard-Annotationen wurden zunächst neun deutschsprachige Erzählungen aus der Zeit zwischen dem 19. und dem 21. Jahrhundert<ref xmlns="http://www.tei-c.org/ns/1.0" n="3" target="ftn3" /> mithilfe des Programms CATMA auf der Basis gemeinsamer Annotationsrichtlinien annotiert. Dabei haben mindestens drei Annotatorinnen denselben Text bearbeitet, wobei Teilsätze, die eine inkorrekte Behauptung über die fiktive Welt enthalten, als „incorrect statement“ und unentscheidbare Teilsätze als „undecided“ ausgezeichnet werden sollten. Rechtfertigung oder Diskussion von Annotationsentscheidungen waren dabei nicht Teil des Prozederes. Um trotz der Interpretationsabhängigkeit des Phänomens (die zum einen in der Kategorie „undecided“, zum anderem im erwartungsgemäß niedrigen Inter-Annotator Agreement zum Ausdruck kommt, vgl. Blessing et al., 2024) einen gemeinsamen Datensatz zu kreieren, der als literaturwissenschaftliche Entsprechung von Goldstandard-Daten verstanden werden kann, wurden die Daten auf eine bestimmte Weise zusammengeführt: Alle annotierten Passagen erhalten einen Dezimalwert, der widerspiegelt, wie oft „incorrect statement“ (1,0) und „undecided“ (0,5) gewählt wurde (Addition der Werte aller Annotator:innen für die Passage geteilt durch Zahl der Annotator:innen). Das Ergebnis stellt einen durchschnittlichen Wert der Sicherheit dar, mit der menschliche Annotator:innen einer Passage vergleichsweise intuitiv unzuverlässiges Erzählen zuschreiben.