KI-Assistenten werden als eine Art Black Box bezeichnet, da die zugrundeliegenden Daten meist unbekannt sind - Das gilt auch für Open-Source-Modelle. Daraus gehen datenschutzrechtliche Bedenken hervor, wie die Intransparenz der Datensammlung und -verarbeitung.<ref xmlns="http://www.tei-c.org/ns/1.0" n="5" target="ftn5" /> Außerdem kann dies auch zur unbewussten Reproduktion bestimmter Verzerrungen im generierten Code führen, welche unbeabsichtigte Diskriminierungen verstärken könnten (Rothlauf et al. 2021).