Wie Tabelle 1 zu entnehmen ist, gelang dennoch nicht für alle Kategorien mit einem der implementierten Modelle die Klassifikation mit zufriedenstellenden Ergebnissen. Probleme zeigten sich insbesondere bei multinominalen Klassifikationsproblemen, also Kategorien, die mehr als zwei Ausprägungen unterscheiden. In solchen Fällen, wie etwa dem Körperbau, der beim händischen Kodieren auf einer 9-stufigen Skala (Pulvers et al. 2014, 1643) eingeordnet worden war, wurden für die automatische Klassifikation mehrere Klassen zusammengelegt; dennoch wurden nur unzureichende Klassifikationsergebnisse erzielt. Auch die automatische Klassifikation von Kategorien mit starkem Klassenungleichgewicht führte zu Schwierigkeiten, etwa bei der Kategorie „Entsprechung klassischer Schönheitsideale“: Bilder von Personen, die klassischen Schönheitsidealen überhaupt nicht entsprechen, waren im händisch annotierten Datensatz selten und wurden von dem implementierten Klassifikator nur unzuverlässig erkannt, wohingegen Bilder der häufigeren Klasse „normale/extreme Entsprechung“ meistens korrekt klassifiziert wurden.