<head xmlns="http://www.tei-c.org/ns/1.0">Manuelle Annotation</head> <p xmlns="http://www.tei-c.org/ns/1.0">Für die manuelle Annotation wurden drei Aufgaben gestellt<ref n="1" target="ftn1" />: </p> <p xmlns="http://www.tei-c.org/ns/1.0">(1) Drei Linguist:innen (M0, M1, M2) bekommen die Anfragen, die von Llama-3 Satz-segmentiert wurden. Es ist ersichtlich, welche Sätze zu einer Anfrage gehören. Ihre Aufgabe ist es, die Sätze mit einem Sentimentwert zu annotieren, dabei können sie Kontextinformationen einbeziehen. Die Annotationsbedingungen sind somit die gleichen wie die für Llama-3. </p> <p xmlns="http://www.tei-c.org/ns/1.0">(2) In einem 2. Schritt werden den drei Linguist:innen jeweils die Annotationen von Llama-3 präsentiert, die von ihren eigenen abweichen. Sie entscheiden, ob sie die Begründung von Llama-3 für den gewählten Sentimentwert überzeugend finden.</p> <p xmlns="http://www.tei-c.org/ns/1.0">(3) Drei weitere Linguist:innen (M3, M4, M5) bekommen den Datensatz, der wie in (1) beschrieben aufbereitet ist, die Annotationen und die Begründungen von Llama-3. Ihre Aufgabe ist es zu entscheiden, ob sie der Annotation von Llama-3 zustimmen. Wenn sie nicht zustimmen, vergeben sie einen anderen Sentimentwert.</p>