In der Computerlinguistik werden Kontextvektoren typischerweise miteinander verglichen, um die semantische Ähnlichkeit der Zielwörter zu modellieren und finden breite Anwendung (Pantel und Turney 2010). In unserer Studie betrachten wir stattdessen den <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Informationsgehalt</hi> der Kontextvektoren als Prädiktor für die Figurenkomplexität und messen ihn per <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Entropie</hi>. Entropie eruiert den Informationsgehalt <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">H(p)</hi> einer Wahrscheinlichkeitsverteilung <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">p</hi>, definiert als <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">H(p) = –</hi>Σ <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic subscript">x</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic"> p(x) </hi>log <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">p(x)</hi> (Shannon 1948). Entropie kann verstanden werden als die Anzahl an Bits, die an Information in der Verteilung enthalten sind. Damit enthalten diejenigen Kontextvektoren eine höhere Entropie, die in gleichmäßiger verteilten Kontexten vorkommen, als die, die häufig in ähnlichen Kontexten auftreten.