<hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)">Des Weiteren können die im Annotationsprozess erstellten Daten auf die Übereinstimmung zwischen den Annotator*innen (sogenanntes </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Inter-Annotator-Agreement</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)">) mit verschiedenen Methoden ausgewertet werden (vgl. u.a. Artstein/Pesio 2008). Neben der Berechnung von gängigen Agreement-Metriken wie </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Scott's pi</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)">, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Cohen's kappa</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)"> </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)">und </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Krippendorf's alpha</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)"> </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(#000000)">(im bekannten NLTK implementiert und von GitMA wiederverwendet) ist es möglich, die mittels verschiedener Parameter als übereinstimmend bewerteten Annotationen in eine neue Kollektion von Gold-Annotationen zu übertragen. Außerdem ist es möglich, die Outputs einer der Annotator*innen als "silbernen Standard" festzulegen und die Annotationen der anderen an diesem zu messen. Die ermittelte Unstimmigkeit der Annotationen kann die Grundlage für ein Disagreement-Tagset bilden, das über das Backend auch wieder in die CATMA-GUI eingespeist werden kann. Gleiches gilt für die Passagen, die Unstimmigkeiten aufweisen, die wiederum durch Annotationen in der GUI dargestellt werden können.</hi>