Das zweite Problem wird durch verstärkte Maßnahmen zur Sicherung der Qualität manueller Annotationen angegangen, z. B. durch die Annotation eines Textes durch mehrere Annotator:innen, um idiosynkratische Entscheidungen zu verhindern, oder durch Iterationsschleifen mit verfeinerten Annotationskategorien/-richtlinien (vgl. Gius und Jacke, 2017; Reiter, 2020). In der Regel werden in solch einem Setting nur einstimmige Annotationen verwendet. Diese Annotationen sind als Goldstandard für die Evaluation oder das Training besser geeignet, da sie die tatsächlichen Zielphänomene adäquater widerspiegeln.