Für die eigentliche Bildersuche benötigen wir nur die Abbildungen in dem von uns zusammengestellten Datensatz. In einem Vorverarbeitungsschritt werden deshalb die Abbildungen erst in den Katalogen erkannt und dann ausgeschnitten. Dazu erstellen wir einen Trainingsdatensatz, indem wir auf 148 Seiten der Auktionskataloge die Position abgebildeter (Kunst)Objekte manuell markieren. Mit Hilfe dieser Trainingsdaten trainieren wir ein YOLOv8 (YOLOv8) Erkennungsnetzwerk auf die Erkennung der Abbildungen. Auf einem separaten Testdatensatz erreicht dieses Netzwerk eine Mean Average Precision (mAP) von über 98%.<ref xmlns="http://www.tei-c.org/ns/1.0" n="5" target="ftn5" /> In der Praxis bedeutet dies, dass nahezu alle abgebildeten Objekte mit hinreichender Genauigkeit erkannt werden, so dass im Detektionsschritt keine verzerrenden oder voreingenommenen Effekte zu erwarten sind und auf eine tiefergehende Analyse der Trainingsdaten und -parameter verzichten werden kann. Insgesamt werden in den 111 Katalogen 3,540 Abbildungen erkannt und extrahiert. Nach erfolgreicher Extrahierung werden die Abbildungen zudem rotiert und in Graustufen umgewandelt. Figure 4 illustriert den Prozess, den wir für die Suche nach identischen und ähnlichen Bildern in Katalogen anwenden. In der ersten Phase steht die Befüllung der Merkmalsdatenbank im Fokus: Nachdem die Abbildungen in den Auktionskatalogen zunächst detektiert und ausgeschnitten wurden, werden diese als Eingabe in das Extraktionsnetzwerk gegeben, wobei visuelle Merkmale der Abbildungen, wie z.B. Formen, Farben, Kanten oder Objekte, extrahiert, als Vektoren mit 2,048 Dimensionen weiterverarbeitet und in einer Datenbank gespeichert werden. Für die Extraktion wird ein Netzwerk mit ResNet50-Architektur (He et al., 2016) verwendet, das auf ImageNet trainiert wurde. ImageNet ist eine Datenbank mit mehr als 14 Millionen realweltlichen Bildern, die Tausende verschiedene Kategorien abdecken (ImageNet, 2021). Darüber hinaus haben wir Netzwerke ausgewertet, die auf die Erkennung von Körperhaltungen sowie die Detektion geruchsbezogener Objekte in Kunstwerken trainiert wurden – mit ähnlichen Ergebnissen. Dies bedeutet, dass das auf ImageNet trainierte Netz in unserem Fall ausreichend generalisiert, um für andere Aufgaben und auf andere Daten (z.B. Kunstwerken) angewendet werden zu können. Zukünftig wollen wir weiter untersuchen, wie sich andere Trainingsdaten und -parameter auswirken. Letztlich dienen die Merkmale der Quantifizierung und Repräsentation des Bildinhalts auf deren Grundlage in der zweiten Phase die Bildersuche stattfindet. Diese beginnt wiederum mit der Merkmalsextraktion für das Eingabebild und dessen Weiterverarbeitung als Vektor mit den bereits genannten Dimensionen; um ein dazu identisches oder ähnliches Bild zu finden, wird die Distanz zwischen den Vektoren auf Basis der Euklidischen Distanz berechnet. Dabei wird die Differenz zwischen Vektor a und b und die Länge der Geraden zwischen diesen Punkten ermittelt.