Wie oben dargestellt, sind Annotationen von Named Entities nicht immer klar und eindeutig vorzunehmen. Bei der Annotation durch mehrere Annotierende ergeben sich daher schnell Unstimmigkeiten, und solche “Human Label Variations” (Peng et al., 2024; Plank, 2022) können ein praktikabler Indikator für Unsicherheit sein. Mithilfe des Inter Annotator Agreements und Metriken wie Cohen's Kappa lässt sich die Übereinstimmung zwischen mehreren Annotierenden quantifizieren und somit unsichere Annotationen identifizieren (Rapp, 2017). Während sich die Aussagekraft der Annotationen über zusätzliche Annotationen bzw. ein entsprechendes Re-Labeling steigern lässt (Rücker/Akbik, 2023; Hamdi et al., 2021), kann der damit verbundene Aufwand ein Hindernis bei der Optimierung solcher Datensätze darstellen.