Zwar scheint die allgemeine Performance dieser Tools über der durchschnittlichen Leistung bzw. Programmiergeschwindigkeit eines Menschen zu stehen, jedoch legen diese kaum Wert auf die Vermeidung von <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">code smells</hi>, d.h. Schwachstellen im Code, die mit der Zeit zu größeren Problemen führen können, sowie die Einhaltung von Konventionen und <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">best practices</hi> in der Programmierung. Pudari und Ernst kommen in ihrer Studie (2023, preprint) zu dem Schluss, dass GitHub Copilot bei der Programmierung von Python-Code in etwa 92% der Fälle nicht jene Lösungen als erstes vorschlägt, die den Programmier-Konventionen, den sogenannten <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">programming idioms</hi>, entspricht - Das obwohl diese am häufigsten von Programmierer:innen genutzt werden und deshalb auch in den Trainings-Datenbanken stark vertreten sein müssten (Pudari und Ernst 2023). Die Abweichung von diesen Standards könnte zu ineffizienten, falschen und sogar unsicheren Code führen. Dies erzeuge Schwachstellen und mache Software anfällig für Angriffe: Bei sogenannten “ <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Indirect Prompt-Injections</hi>” wird durch das gezielte Einfügen von “ <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">malicious inputs</hi>” in Eingabeaufforderungen KI-Modelle so manipuliert, dass diese unerwünschte und unsichere Ergebnisse liefern. Ein ähnliches Problem ist das “ <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Data- and Model-Poisoning</hi>”, bei welchem die Trainingsdaten (u.a. auf GitHub oder HuggingFace) der KI-Modelle mit falschem und unsicherem Code “vergiftet” werden (Bundesamt für Sicherheit in der Informationstechnik 2024).